Mini app · Curso 2 · Semana 4

Deduplicación por hash

Ocho textos de un corpus, algunos idénticos, algunos casi. El hash exacto solo agrupa los idénticos byte a byte. Cada normalización que active antes de calcularlo es una decisión sobre qué diferencias se ignoran, y cambia qué cuenta como el mismo texto.

Decisiones antes del hash

idtextohashgrupo
Casi duplicados por similitud de palabras
0,80

Jaccard: palabras compartidas sobre palabras distintas entre los dos textos, con las normalizaciones activas. Señala dónde mirar; no decide.

Qué se lleva de aquí: "el mismo texto" no es un hecho sino una decisión sobre qué diferencias no importan, y esa decisión se escribe en el cuaderno antes de deduplicar. En Python, el hash es hashlib.sha256; aquí se usa una huella corta de demostración.