Catálogo maestro
Estudiante:
Proyecto:
Archivo: catalogo.csv, generado por cuadernos/02-catalogo.ipynb
Fecha de la última regeneración:
Para qué sirve este documento
El catálogo es la tabla que sabe, de cada pieza del corpus, lo que hace falta para reconstruirla, citarla y defenderla. Lo genera el cuaderno, no se edita a mano; las decisiones a mano van en decisiones.csv, que el cuaderno lee y une por id. Este documento describe el esquema, da un ejemplo y lista las reglas de integridad.
Esquema
Los campos obligatorios no pueden estar vacíos en ninguna fila. Un proyecto puede añadir columnas; no puede quitar las obligatorias ni cambiar sus nombres, para que los catálogos de distintos proyectos se puedan comparar y para que los cursos que reciben el catálogo como documento de entrada, Codificación cualitativa con IA en ciencias sociales, donde el corpus se codifica con el modelo como codificador auxiliar, y Patrones estables en datos de las ciencias sociales, donde se le aplican agrupamientos y redes de coocurrencia, lo lean sin traducción.
| Campo | Obligatorio | Formato | Qué responde | Ejemplo |
|---|---|---|---|---|
id |
Sí | Prefijo de una letra, guion, cuatro dígitos. Propio, estable, opaco | Cuál pieza es, sin depender de la fuente | P-0042 |
titulo |
Sí | Texto. Si la pieza no tiene título, las primeras ocho palabras | Cómo se nombra | Sesión de la junta de ayer |
autor |
No | Texto o vacío. "Anónimo" cuando la fuente lo dice | Quién firma | Anónimo |
fuente |
Sí | Nombre de la fuente tal como aparece en el protocolo | De dónde salió | Hemeroteca digital BNC |
url |
Sí | Dirección completa de donde se tomó, o ruta del soporte físico | Dónde está el original | https://…/1910/03/02/p3 |
fecha_documento |
Sí | ISO 8601: AAAA-MM-DD. Si solo se conoce el año, AAAA; si el mes, AAAA-MM |
Cuándo fue producida | 1910-03-02 |
fecha_descarga |
Sí | ISO 8601 con hora: AAAA-MM-DDThh:mm |
Cuándo fue tomada | 2027-03-14T18:22 |
escena |
Sí | Productor, género y situación, separados por punto y coma | Quién la produjo y en qué situación | El Tiempo; nota; página 3, sección local |
derechos |
Sí | Uno de: dominio_publico, norma_oficial, licencia_abierta, uso_academico_con_cita, restringido |
Bajo qué régimen se usa | dominio_publico |
criterio_inclusion |
Sí | Número del criterio del protocolo. Si la pieza fue excluida, E más el número |
Por qué está aquí | 2 |
hash_sha256 |
Sí | 64 caracteres hexadecimales del archivo en ruta_crudo |
Es el mismo archivo que se tomó | 9f86d08… |
ruta_crudo |
Sí | Ruta relativa al archivo intacto | Dónde está lo que llegó | crudo/P-0042.html |
ruta_limpio |
No | Ruta relativa al archivo limpio en UTF-8 | Dónde está lo que se analiza | limpio/P-0042.txt |
notas |
No | Texto libre: duplicados, error de OCR estimado, dudas | Lo que no cabe en otra columna | Duplicado exacto de P-0017; excluido |
Columnas opcionales frecuentes que un proyecto puede añadir: propuesta_modelo (lo que un modelo propuso para escena o criterio_inclusion, al lado del valor decidido), error_ocr (porcentaje estimado sobre cien palabras), unidad (unidad de segmentación aplicada).
Ejemplo
Tres filas de un catálogo sobre el caso demostrativo del curso. Las direcciones son ilustrativas.
| id | titulo | autor | fuente | url | fecha_documento | fecha_descarga | escena | derechos | criterio_inclusion | hash_sha256 | ruta_crudo | ruta_limpio | notas |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P-0001 | Sesión de la junta de ayer | Anónimo | Hemeroteca digital BNC | https://…/1910/03/02/p3 | 1910-03-02 | 2027-03-14T18:22 | El Tiempo; nota; página 3, sección local | dominio_publico | 2 | 9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08 | crudo/P-0001.html | limpio/P-0001.txt | error_ocr 4 % sobre 100 palabras |
| N-0001 | Ley 23 de 1982 | Congreso de Colombia | Secretaría del Senado | http://www.secretariasenado.gov.co/senado/basedoc/ley_0023_1982.html | 1982-01-28 | 2027-03-14T18:40 | Congreso; ley; texto consolidado | norma_oficial | 4 | 2c26b46b68ffc68ff99b453c1d30413413422d706483bfa0f98a5e886266e7ae | crudo/N-0001.html | limpio/N-0001.txt | |
| P-0002 | Sesión de la junta de ayer | Anónimo | Hemeroteca digital BNC | https://…/1910/03/02/p3-bis | 1910-03-02 | 2027-03-14T18:23 | El Tiempo; nota; página 3, sección local | dominio_publico | E1 | 9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08 | crudo/P-0002.html | Duplicado exacto de P-0001; excluido; conserva id |
Reglas de integridad
El cuaderno las aplica en una función que se ejecuta cada vez que el catálogo se regenera. Una fila que falla cualquiera de las cinco se lista; un catálogo con filas que fallan no entra al análisis.
| Regla | Qué comprueba | Qué se rompe si falla |
|---|---|---|
| 1 | Ningún campo obligatorio vacío | Una pregunta de la cadena de procedencia sin respuesta |
| 2 | Fechas en formato ISO; fecha_descarga posterior a fecha_documento |
La pieza no se puede situar en el tiempo |
| 3 | hash_sha256 igual al hash recalculado del archivo en ruta_crudo |
No se sabe si el archivo es el que se tomó |
| 4 | Ningún id repetido |
Dos piezas se citan igual |
| 5 | criterio_inclusion existe en el protocolo |
La pieza entró sin razón escrita |
Tabla de decisiones a mano
decisiones.csv tiene las columnas id, escena, derechos, criterio_inclusion, notas, fecha_decision, propuesta_modelo. El cuaderno la une al catálogo por id. Así las decisiones que ningún programa puede tomar quedan en un archivo con fecha que el programa lee, y el catálogo sigue siendo regenerable.
Cómo se cita una pieza
En el informe, cada cita lleva el id y la posición en la tabla de unidades: (P-0001, oración 12). Un lector va del id al catálogo, del catálogo a ruta_crudo, y del hash a la certeza de que lee lo mismo.
Protocolo de corpus
Estudiante: Proyecto (una frase): Pregunta de investigación que el corpus debe poder responder: Versión: protocolo (semana 3) / informe de corpus (semana 8) Modelos de lenguaje usados y para qué:
Para qué sirve este documento
El protocolo es la decisión de qué es el corpus, escrita antes de recolectarlo, de modo que otra persona pueda ejecutarla. En la semana 8 se amplía con las secciones del informe de corpus. Todo lo que diga aquí debe poder cotejarse con el catálogo y con los cuadernos.
1. Delimitación
| Dimensión | Entra | Queda afuera | Por qué |
|---|---|---|---|
| Tipo de documento | |||
| Periodo | |||
| Productores o fuentes | |||
| Asunto o criterio temático | |||
| Lengua y variedad |
Unidad de análisis (documento, párrafo, oración, artículo, otro) y por qué:
Qué cambiaría del corpus si una dimensión se moviera (por ejemplo, si el periodo empezara cinco años antes):
2. Criterios de inclusión y exclusión
Numere los criterios. El catálogo usará estos números en la columna criterio_inclusion.
| Nº | Criterio de inclusión | Cómo se verifica en una pieza |
|---|---|---|
| 1 | ||
| 2 |
| Nº | Criterio de exclusión | Cómo se verifica en una pieza |
|---|---|---|
| E1 | ||
| E2 |
3. Fuentes
Una fila por fuente. "Forma de entrega" es descarga directa, interfaz de programación, buscador, visor o navegación.
| Fuente | Dirección | Forma de entrega | robots.txt y términos permiten | Ritmo de petición | Régimen de derechos | Método de recolección |
|---|---|---|---|---|---|---|
4. Evaluación de las fuentes con los criterios de Valles
| Fuente | Autenticidad | Credibilidad | Representatividad | Interpretabilidad | Fuente más débil en… |
|---|---|---|---|---|---|
Para cada criterio, escriba qué sabe, qué no sabe y qué haría para saberlo. "Alta" o "baja" sin razón no es una evaluación.
5. Lo que no se descarga
| Qué | Por qué no | Alternativa (solicitud de acceso, recolección manual con registro, muestra, exclusión) |
|---|---|---|
6. Derechos y datos personales
Régimen de derechos por fuente (dominio público, norma oficial, licencia abierta, uso académico con cita, acceso restringido):
¿Hay piezas con datos personales de personas vivas? Si sí, qué base tiene el proyecto para tratarlos, cómo se guardan, cuándo se eliminan. Si no se puede responder, se excluyen.
Qué se podrá publicar del corpus terminado (catálogo, textos, cuadernos) y qué no:
7. Plan de recolección
Lista de lo que se va a pedir, revisada a mano (adjuntar como archivo):
Cuaderno de recolección (nombre del archivo y fecha de la primera ejecución):
Cómo se detectará que la fuente cambió entre dos ejecuciones:
8. Muestreo y saturación
¿El corpus es exhaustivo dentro de la delimitación o es una muestra? Si es muestra, con qué regla se eligen las piezas y cuándo se deja de recolectar.
Solo en el informe de corpus de la semana 8
9. Declaración de datos
| Pregunta | Respuesta y documento donde consta |
|---|---|
| Razón de la curaduría: por qué estos textos y no otros | |
| Variedad de lengua | |
| Productores y situación de producción | |
| Características del texto: género, extensión, periodo | |
| Procedencia y derechos | |
| Quién construyó el corpus y desde qué posición |
10. Los números del catálogo
Pegue aquí las tablas que produce el cuaderno: piezas por fuente, por periodo, por régimen de derechos, por criterio de inclusión. Cada tabla con el nombre del cuaderno y la celda que la produce.
11. Limpieza y pérdidas
Tabla de pérdidas de la semana 5 y porcentaje de error de OCR por fuente, con la muestra sobre la que se estimó.
12. Primera lectura computacional
| Instrumento | Qué produce | Qué sugiere | Qué líneas se leyeron para decirlo |
|---|---|---|---|
13. Auditoría de la lectura asistida
Instrucción (versión y archivo): Muestra (tamaño y cómo se eligió): Proporción de acuerdo: Kappa: Tipología de desacuerdos (cuántos de cada tipo): Decisión (aceptar con tasa declarada, corregir y repetir, rechazar) y razón:
14. Lo que queda abierto
Fuentes que no se pudieron recolectar y por qué. Pérdidas de la limpieza que podrían importar para otras preguntas. Categorías que fallaron en la auditoría. Qué parte del corpus no se leyó. Qué documento ausente cambiaría más el corpus si entrara.
15. Cómo reconstruir este corpus
Instrucciones para otra persona: qué instalar (requirements.txt), en qué orden ejecutar los cuadernos, qué debería obtener y cómo comprobarlo (hash del catálogo).
Declaración
Declaro que la delimitación, los criterios y las decisiones de este protocolo son míos. Donde usé un modelo de lenguaje lo he indicado, y respondo por la frontera del corpus que aquí propongo.
Firma y fecha:
Registro de frontera del corpus
Estudiante:
Proyecto:
Modelos usados, versiones y fechas:
Instrucciones versionadas (archivos):
Registro de llamadas (archivo .jsonl con fecha, modelo, instrucción y respuesta):
Para qué sirve este registro
No es un informe de uso de IA. Es la evidencia de que usted sabe, operación por operación, dónde terminó la máquina y dónde empezó usted en la construcción de su corpus. Un registro bien hecho permite que otra persona reconstruya qué parte del corpus es salida de un sistema y qué parte es decisión suya, por la que responde. Se llena a lo largo del curso y se entrega completo con el informe de la semana 8.
Operaciones del curso con la máquina
Una fila por operación. Si una operación tuvo varias iteraciones, una fila por iteración. La columna "tipo de inferencia" usa las tres categorías que Validación del razonamiento con IA en ciencias sociales, el curso de fundamentos del programa, distingue por su régimen de validez, con la conclusión de que una máquina puede verificar las dos primeras y solo un investigador puede responder por la tercera: D (deductiva: se sigue por forma), I (inductiva: generaliza sobre lo que hay), A (abductiva: introduce una hipótesis o categoría nueva).
| Semana | Operación | Qué propuso el modelo (literal o resumen fiel) | Tipo de inferencia | Qué decidí (aceptar, corregir, rechazar, reformular) | Criterio de mi decisión | ¿Quién responde si está mal? |
|---|---|---|---|---|---|---|
| 1 | Lista de tipos de documento y fuentes | |||||
| 2 | Corrección de errores de Python | |||||
| 3 | Función de descarga | |||||
| 4 | Valores de escena y criterio_inclusion para diez piezas |
|||||
| 5 | Expresiones regulares de limpieza | |||||
| 5 | Corrección de OCR en un fragmento | |||||
| 6 | Palabras para dominios léxicos | |||||
| 6 | Interpretación de una lista de colocaciones | |||||
| 7 | Etiquetas sobre la muestra auditada | |||||
| 8 | Borrador de la declaración de datos |
La auditoría de la semana 7 en detalle
Instrucción (versión): Muestra (tamaño y regla de selección): Proporción de acuerdo: Kappa:
| Tipo de desacuerdo | Cuántos | Ejemplo (id de la unidad) |
|---|---|---|
| El modelo generalizó desde su entrenamiento algo que aquí significa otra cosa | ||
| El modelo forzó una categoría cuando ninguna aplicaba | ||
| El modelo ignoró un contexto local que yo conozco | ||
| El modelo leyó literalmente una ironía o una fórmula | ||
| Yo me equivoqué | ||
| Otro |
Decisión (aceptar con tasa declarada, corregir la instrucción y repetir, rechazar) y razón:
Si acepté, qué categorías quedan marcadas como problemáticas en el informe:
Lo que no se le pidió al modelo
Confirme que ninguna de estas dos cosas ocurrió y, si ocurrió, explique cómo se corrigió:
- Decidir qué unidades entran al corpus.
- Producir un texto que luego se citó como fuente.
Los casos difíciles
Señale al menos una operación en que la distinción entre lo que propuso el modelo y lo que decidió usted fue difícil de trazar. Explique por qué. Esos casos son los más valiosos del registro.
Aceptaciones acríticas
Revise el registro y marque las operaciones en que aceptó la propuesta del modelo sin un criterio que pueda nombrar. No las borre: anótelas. Diga qué habría hecho falta para que la aceptación fuera una decisión.
Balance
Operaciones que la máquina podría haber verificado sola (por ejemplo, el hash, las reglas de integridad):
Operaciones que exigieron mi conocimiento del tema, del periodo o de las fuentes:
Operaciones por las que respondo yo y nadie más:
Dónde está la frontera en la construcción de este corpus, en una frase: