Carlos Isaac
Zainea Maya

Tunjos para la IA
Programa de cursos

Razonamiento, validación e inteligencia artificial en ciencias sociales y humanidades.

Curso 4 · Oficio · ocho sesiones · híbrido

Plantillas

Plantillas de los productos del curso.

Libro de códigos

Estudiante: Corpus (una frase: qué es, cuántos fragmentos, de dónde viene, cómo se anonimizó): Tradición declarada (análisis temático / teoría fundamentada / análisis de contenido, y variante): Versión: abierta (semana 4) / final (semana 8) Modelos de lenguaje usados, en qué fases y con qué instrucciones (adjuntar prompts literales en anexo):

Para qué sirve este documento

Un libro de códigos es, en la tradición de equipos, el instrumento que permite que personas distintas codifiquen igual (MacQueen et al., 1998). En este curso es además la aserción del estudiante sobre su corpus: cada código y cada categoría lleva su origen, la decisión que lo sostiene y quién responde. La versión abierta recoge los códigos iniciales; la final, las categorías con propiedades y dimensiones.

1. Lista de verificación de la fase

Copie aquí la lista de la semana 2 para la fase que este libro cierra.

Tipo de enunciado Formulación operativa ¿Pasa la prueba del registro? Quién lo comprueba
Regla de generación
Criterio de validez
Condición de terminación
Condición de imputación

2. Códigos en versión abierta y final

Una entrada por código. La definición dice qué incluye; los criterios de exclusión dicen qué parece entrar y no entra. Los fragmentos de anclaje se citan por número y se verifican contra el corpus.

Código Definición operativa Incluye Excluye (casos cercanos que no entran) Fragmentos de anclaje Origen (modelo / yo / mixto) Decisión (acepté / corregí / rechacé / reformulé) Criterio Quién responde

Códigos in vivo: liste los que toman las palabras del hablante y diga por qué se conservaron sin abstraer.

Códigos rechazados: liste los que el modelo propuso y usted rechazó, con el criterio. No se borran: son evidencia de la frontera.

3. Categorías en versión final

Una entrada por categoría. Las propiedades son los atributos que la caracterizan; las dimensiones, el rango en que varía cada propiedad. Cada extremo de cada dimensión debe tener al menos un fragmento.

Categoría [nombre]

Definición:

Códigos que agrupa:

Propiedad Dimensión (de … a …) Fragmento en un extremo Fragmento en el otro

Procedencia. ¿Propuso el nombre el modelo, usted, o salió de un memo? Si lo propuso el modelo, resultado de la prueba de anclaje: término del corpus del que sale el nombre, o constancia de que no lo hay y de por qué se conservó.

Memo de procedencia (remisión): memo n.º …, fecha …

Caso negativo buscado y resultado:

Relaciones con otras categorías (de la matriz axial, con fragmentos):

4. Cifras del registro en versión final

Propuestos por el modelo Propuestos por mí Propuestos por el modelo y corregidos Rechazados Total en el libro
Códigos
Categorías

5. Condición de terminación en versión final

Condición escrita antes de codificar el último lote (fecha):

Curva de códigos nuevos por lote (adjuntar tabla o figura):

Fecha y lote en que se cumplió:

Casos negativos buscados tras cumplirse, y qué se hizo con cada uno:

Lotes o material no codificado, y por qué:

Costo que asumo de haber parado aquí y no antes o después:

6. Lo que queda abierto

Categorías en observación, relaciones sin fragmentos suficientes, y preguntas que quedan para la validación y la interpretación del libro, que en el programa corresponden a Validar y defender investigación social asistida por IA: allí el libro de códigos se valida en tres sentidos, corrección del resultado, justificación del proceso y responsabilidad por lo afirmado, y se escribe como hallazgo propio.

7. Declaración de responsabilidad en versión final

Tradición seguida y cuatro enunciados por fase: ver sección 1. Modelo, instrucciones y fases: ver encabezado y anexo. Cifras de origen por código y categoría: ver sección 4. Condición de terminación y cumplimiento: ver sección 5. Casos negativos: ver secciones 3 y 5. Dónde noté que la frontera corrió hacia el modelo y qué hice:

Declaro que este libro de códigos es mi aserción sobre el corpus. Donde usé un modelo de lenguaje lo he indicado código por código, y respondo por cada categoría que contiene, incluidas las que el modelo propuso y yo decidí conservar.

Firma y fecha:


Matriz de acuerdo y análisis de desacuerdos

Estudiante: Libro de códigos usado (versión y fecha; debe ser el fijado en la semana 4): Fragmentos codificados (números; mínimo treinta): Orden del procedimiento: codifiqué a mano el día … sin haber visto la salida del modelo; obtuve la salida del modelo el día … Modelo, versión y fecha; instrucción literal en anexo: Situación del proyecto según McDonald, Schoenebeck y Forte (2019): libro fijo aplicado por codificadores / códigos construidos durante el análisis. Por qué:

Para qué sirve este documento

El acuerdo entre codificadores mide consistencia: que dos aplicaciones del mismo libro dan lo mismo. No mide validez. Este documento calcula el acuerdo entre usted y el modelo y, sobre todo, lee cada desacuerdo como un dato sobre el libro de códigos. La cifra se reporta; las decisiones se toman sobre los desacuerdos.

1. Matriz

Fragmento Mi código Código del modelo ¿Acuerdo?
1
2
…
30

2. Cálculo

Medida Valor Cómo se calculó (a mano / cuaderno de apoyo / mini app)
Acuerdo simple (%)
Acuerdo esperado por azar (pe)
Kappa de Cohen
Alfa de Krippendorff (nominal)
Número de categorías observadas

Si el modelo propuso un código fuera del libro, se cuenta como categoría aparte y se anota aquí cuál y en qué fragmentos:

Interpretación en una frase: el valor obtenido dice que …, y no dice que …

3. Desacuerdos uno a uno

Tipos: (A) fragmento ambiguo, falta regla de decisión; (B) definición estrecha, hay que ampliar; (C) dos códigos se solapan, fusionar o distinguir; (D) el modelo aplicó la palabra y no el sentido, añadir ejemplo negativo; (E) el modelo forzó una categoría de fuera; (F) me equivoqué yo; (G) otro, explicar.

Fragmento Mi código Código del modelo Explicación del modelo (literal) Tipo Quién tiene razón y con qué criterio Decisión sobre el libro

4. Acuerdos sospechosos

Revise los fragmentos en que coincidieron y marque los que coincidieron por compartir la literatura y no por el fragmento (consistencia sin validez). Al menos un candidato, aunque al final lo descarte.

Fragmento Código común Por qué sospecho Veredicto

5. Cambios al libro de códigos derivados de esta matriz

Cambio Desacuerdos que lo motivan Nueva formulación

6. Qué es y qué no es esta matriz

¿Es triangulación entre investigadores en el sentido de Denzin? Por qué sí o por qué no. ¿Qué instancia independiente haría falta para que lo fuera?

7. Frase final

Con este libro, el acuerdo entre el modelo y yo fue de kappa … y alfa …. Eso mide … y no mide …. Por los desacuerdos cambié …; por el acuerdo no cambié nada, porque el acuerdo no dice que los códigos estén bien puestos.

Firma y fecha:


Memo analítico

Memo n.º: Fecha: Estudiante: Tipo (de código / de categoría / teórico / operativo): Código o categoría sobre la que trata: Fragmentos que lo motivan (números):

Para qué sirve este documento

El memo es el lugar donde el investigador piensa por escrito sobre sus códigos (Strauss y Corbin, 2002; Charmaz, 2014). Se escribe en cuanto surge la idea, se fecha y no se corrige: si la idea cambia, se escribe otro memo. En este curso tiene una sección fija, la procedencia, que dice de dónde vino la categoría y qué habría que encontrar en el corpus para que se la gane.

1. Qué está pasando aquí

Escriba en prosa, sin cuidar la forma, lo que ve en los fragmentos. Qué le sorprende, qué repite algo visto, qué contradice algo que daba por sentado.

2. Propiedades y dimensiones que se perfilan

Propiedad Dimensión (de … a …) Fragmentos que la muestran

3. Procedencia

El nombre lo propuso: el modelo / yo / salió de un fragmento (in vivo) / salió de un memo anterior (n.º …)

Si lo propuso el modelo, prueba de anclaje. Pídale al modelo el término del corpus del que sale el nombre y verifíquelo:

Término que el modelo cita Fragmento ¿Está literalmente? ¿Es paráfrasis cercana o viene de fuera?

Señales de forzamiento revisadas:

  • Vocabulario de la literatura ausente del fragmento: sí / no. Cuál:
  • Cabría en casi cualquier fragmento: sí / no. Por qué:
  • Responde a la instrucción o a la pregunta de investigación, no al fragmento: sí / no.

Si la tradición declarada es dirigida o guiada por teoría, diga de qué teoría viene la categoría y qué regla del libro previo la autoriza.

Veredicto: se gana su lugar / queda en observación / se descarta. Criterio:

4. Qué habría que encontrar

Qué fragmento o qué tipo de material confirmaría la categoría, cuál la refutaría, y dónde lo buscaría (muestreo teórico).

5. Relaciones con otras categorías

Hipótesis de relación, con los fragmentos que la sugieren. Es una hipótesis hasta que la matriz axial la sostenga.

6. Decisión que este memo produce

Qué cambia en el libro de códigos a partir de este memo: un código nuevo, una definición ampliada, una categoría en observación, una fusión. Remita al registro de frontera.

7. Qué le pedí al modelo para este memo y qué hice con ello

Prompt literal en anexo. Qué aceptó, qué corrigió, qué rechazó.


Registro de frontera de codificación

Estudiante: Corpus y fase (abierta / axial / selectiva): Modelo, versión y fecha: Prompts (adjuntar literal, en anexo):

Para qué sirve este registro

No es un informe de uso de inteligencia artificial. Es la evidencia de que usted sabe, código por código, dónde terminó la máquina y dónde empezó usted. Un registro bien hecho permite que otra persona reconstruya qué parte del libro de códigos es output del sistema y qué parte es su aserción, por la que usted responde. Es la versión para codificación del registro de frontera que propone Validación del razonamiento con IA en ciencias sociales, semana 7, el curso de fundamentos del programa: allí, en un ejercicio real con un modelo, se anota para cada paso qué propuso la máquina, qué inferencia es, qué decidió el investigador y con qué criterio, y se concluye que esa frontera visible es lo que permite responder por el resultado. Aquí, en lugar de pasos, códigos.

El registro

Una fila por código. Si un código pasó por varias rondas con el modelo, una fila por ronda.

Código Qué propuso el modelo (nombre y definición, literal) Fragmentos que citó ¿Verifiqué los fragmentos contra el corpus? Origen (modelo / yo / mixto) Qué decidí (acepté / corregí / rechacé / reformulé como memo) Criterio de mi decisión ¿Quién responde si está mal?

Los casos difíciles

Señale al menos un código en que la distinción entre lo que propuso el modelo y lo que decidió usted fue difícil de trazar: por ejemplo, un nombre del modelo que usted corrigió apenas, o una definición que escribió usted sobre una idea del modelo. Explique por qué. Esos casos son los más valiosos del registro.

Aceptaciones sin criterio

Revise el registro y marque los códigos que aceptó sin un criterio que pueda nombrar. No los borre: anótelos. Diga qué habría hecho falta para que la aceptación fuera una decisión.

Código Por qué lo acepté entonces Qué habría hecho falta

Instrucciones que el modelo ignoró

Anote los casos en que la instrucción decía una cosa (por ejemplo, no usar vocabulario de la literatura, citar fragmentos literales) y el modelo hizo otra. Son datos sobre el instrumento.

Balance

Códigos que el modelo propuso y yo no habría visto:

Códigos que yo vi y el modelo no propuso:

Códigos que el modelo forzó desde fuera del corpus, con la señal que los delató:

Códigos por los que respondo yo y nadie más:

Dónde está la frontera en esta fase, en una frase: