Curso 4. Codificación cualitativa con IA en ciencias sociales

Curso corto de ocho sesiones en modalidad híbrida, adaptable a formatos de microcredencial o de educación continua. Cuarto curso del programa Tunjos para la IA, capa de Oficio.

Pregunta del curso. Cuando un modelo de lenguaje propone códigos, categorías o temas sobre un material cualitativo, ¿qué está haciendo, con qué criterio se juzga cada propuesta, cuándo se termina, y quién responde por el libro de códigos resultante?

Respuesta que el curso construye. Las metodologías cualitativas ya especifican, para cada fase del análisis, una regla de generación, un criterio de validez, una condición de terminación y un lugar para la responsabilidad del investigador. Esas especificaciones pueden convertirse en listas de verificación que gobiernan lo que el modelo produce. Lo que el modelo hace es configurar: ordena fragmentos bajo nombres con una competencia que ningún codificador humano alcanza en velocidad. Lo que no hace es validar: el acuerdo entre codificadores mide consistencia y no validez; la emergencia frente al forzamiento es el criterio que más falla en los modelos, porque sus categorías vienen de su entrenamiento y no del corpus; y la saturación no se observa, se decide. Por eso el libro de códigos es una aserción del investigador, no un output.

Contenido

Productos del estudiante

1. Libro de códigos abierto con registro de frontera (semana 4): los códigos iniciales del propio corpus, cada uno con su definición, sus fragmentos de anclaje, su origen (modelo o investigador) y la decisión que lo sostiene.
2. Matriz de acuerdo y análisis de desacuerdos (semana 6): el mismo material codificado por el investigador y por un modelo, el acuerdo medido con kappa y alfa, y cada desacuerdo leído como un dato sobre el libro de códigos.
3. Libro de códigos final (semana 8): categorías con propiedades y dimensiones, memos, condición de terminación justificada y declaración de responsabilidad, presentado y defendido ante pares.

Página del curso

izainea.github.io/tunjos-para-la-ia/curso-4/

Cómo se hizo este material

El material de este curso se elaboró con ayuda de modelos de lenguaje bajo la guía de autoría, la revisión y la responsabilidad del docente. Qué hizo la máquina, qué decidió el autor y qué queda por verificar está en la declaración de uso de IA del programa.

Syllabus

Datos generales

Problema que atiende

Codificar es la operación central del análisis cualitativo: poner nombres a fragmentos, agrupar los nombres en categorías, relacionar las categorías y decidir cuándo el análisis ha dicho lo que tenía que decir. Los modelos de lenguaje ya hacen la primera parte de esa operación con una velocidad que ningún equipo humano alcanza, y lo hacen con la forma de un codificador experto: proponen códigos con definiciones, citan fragmentos, agrupan temas. Quien los usa recibe un libro de códigos terminado y rara vez tiene criterio para decidir qué parte puede aceptar, qué parte debe verificar y qué parte le corresponde decidir. Los manuales de codificación no hablan de la máquina. Los tutoriales de herramientas no hablan de método. Este curso enseña lo que está en medio: cómo las tradiciones cualitativas ya especifican, fase por fase, qué hacer, cuándo se hizo bien, cuándo parar y quién responde, y cómo esas especificaciones se convierten en listas de verificación para gobernar lo que el modelo produce.

Competencias

Al terminar el curso el estudiante puede:

1. Reconocer en tres tradiciones de codificación (análisis temático, teoría fundamentada, análisis de contenido) la regla de generación, el criterio de validez, la condición de terminación y la condición de imputación de cada fase, y traducirlas a listas de verificación aplicables a un modelo de lenguaje.
2. Conducir codificación abierta y axial sobre un corpus propio con un modelo como codificador auxiliar, decidiendo cada código con un criterio nombrado y registrando la frontera entre lo que propuso la máquina y lo que decidió el investigador.
3. Medir el acuerdo entre el investigador y el modelo con kappa de Cohen y alfa de Krippendorff, interpretarlo como consistencia y no como validez, leer los desacuerdos como datos, y detectar cuándo el modelo fuerza categorías que vienen de su entrenamiento.
4. Decidir y justificar la condición de terminación del análisis, y presentar el libro de códigos como aserción propia, con memos, procedencia de cada categoría y declaración de responsabilidad.

Resultados de aprendizaje y evidencias

Programa por semanas

Metodología

El curso se enseña con el método que enseña. Cada estudiante trae un corpus propio y lo codifica durante las ocho semanas con un modelo de lenguaje como codificador auxiliar. Cada semana tiene tres momentos.

• Lectura guiada (asincrónica, 4 a 5 horas). Un texto central con guía de lectura y una lectura complementaria opcional.
• Sesión sincrónica (2 horas). La primera hora discute la lectura a partir de un caso de codificación, humano o del modelo. La segunda es taller sobre el corpus propio: el estudiante aplica la fase de la semana, decide y registra.
• Bitácora (asincrónica, 3 a 4 horas). El estudiante registra qué propuso el modelo, qué decidió él y con qué criterio. Las bitácoras alimentan los tres productos.

Las prácticas usan modelos de acceso gratuito en su versión web. El cuaderno de apoyo en Python permite calcular kappa y alfa, exportar el libro de códigos y, para quien quiera, llamar a un modelo por programa. Ninguna parte del curso exige programar ni herramientas de pago.

Evaluación

Se aprueba con nivel Logrado en el libro de códigos final y en el libro de códigos abierto, y con 3,5 sobre 5,0 en el promedio ponderado. La rúbrica detallada está en evaluacion.md.

Articulación

Pertenece a las rutas Texto e Imagen del programa Tunjos para la IA. Lo precede, en la ruta Texto, Corpus de textos con procedencia en ciencias sociales, que enseña a convertir documentos dispersos en un corpus con procedencia, catalogado y reproducible, y, en la ruta Imagen, Descripción auditada de imágenes en investigación social, que hace lo mismo con imágenes descritas por capas y auditadas frente a un modelo multimodal; de cualquiera de los dos sale el material que aquí se codifica. Lo sigue Validar y defender investigación social asistida por IA, que distingue tres sentidos de validar, comprobar la corrección del resultado, justificar el proceso y responder por lo afirmado, y enseña a escribir hallazgos como aserciones propias; el libro de códigos de este curso es su material de entrada. Se articula con seminarios de metodología cualitativa, análisis de datos cualitativos asistido por computador y seminarios de tesis de programas de posgrado en ciencias sociales y humanidades, a los que aporta lo que no suelen cubrir: un protocolo para codificar con modelos de lenguaje que conserva las condiciones de validez de la tradición de origen.

Política de uso de modelos de lenguaje

Se usan en todas las semanas, de forma declarada. Cada entrega incluye qué modelo se usó, con qué instrucciones, y qué parte del resultado es decisión del estudiante: para cada código, su origen y su criterio. Un uso no declarado se trata como infortunio de autoridad: el estudiante presenta como aserción propia algo por lo que no puede responder, y la entrega se devuelve para escribir el registro que faltaba. El curso promueve el uso de modelos y exige comprender y defender todo el libro de códigos.