Curso 6. Validar y defender investigación social asistida por IA

Curso corto de ocho sesiones en modalidad híbrida, adaptable a formatos de microcredencial o de educación continua. Sexto curso del programa Tunjos para la IA, capa de Juicio. Continúa Validación del razonamiento con IA en ciencias sociales, el curso de fundamentos del programa, donde se distinguieron deducción, inducción y abducción por su régimen de validez y se concluyó que la máquina configura sin poder validar ni responder por lo configurado: lo que allí se planteó como teoría de la inferencia aquí se vuelve oficio de validación.

Pregunta del curso. Cuando el trabajo de configuración ya está hecho, con o sin máquina, ¿qué significa validarlo, con qué criterios, y cómo se escribe un hallazgo de modo que quien lo firma pueda responder por él?

Respuesta que el curso construye. Validar tiene tres sentidos: comprobar la corrección del resultado, justificar el proceso que lo produjo, y que alguien responda por lo afirmado. La mayoría de los errores de la investigación asistida por modelos vienen de confundirlos: se presenta una tasa de acierto como si fuera validez, o un acuerdo entre codificadores como si fuera verdad. Los criterios de rigor de la tradición cualitativa, los de Lincoln y Guba, la triangulación de Denzin y la reflexividad, se releen aquí como criterios para gobernar lo que un modelo produjo, separando los que puede satisfacer el registro del proceso de los que exigen a alguien en posición de responder. Interpretar es refigurar, en el sentido de Ricœur: devolver lo configurado a un mundo y a un sujeto que se lo apropia. Y escribir hallazgos es convertir outputs en aserciones propias, defendibles ante pares, con una declaración de uso de IA que diga qué fue de quién.

Contenido

Productos del estudiante

1. Protocolo de validación del propio proyecto (semana 3): para cada fase del trabajo, qué sentido de validación está en juego, qué criterio lo gobierna, y si ese criterio recae sobre el registro, sobre la relación entre instancias independientes o sobre la posición de quien responde.
2. Matriz de triangulación y ficha de hipótesis sobre material propio (semana 5): qué hallazgos convergen entre fuentes, métodos, investigadores y teorías, cuáles se sostienen sobre una sola pata, y qué hipótesis interpretativa decide perseguir el estudiante con los criterios de Peirce.
3. Informe analítico con sección de validación, declaración de uso de IA y declaración de responsabilidad (semana 8), presentado y defendido ante pares.

Requisitos

Haber cursado Validación del razonamiento con IA en ciencias sociales, donde se distinguen deducción, inducción y abducción por su régimen de validez, o conocer esa distinción. Tener material propio ya configurado, con o sin máquina: un corpus con procedencia como el de Corpus de textos con procedencia en ciencias sociales, imágenes catalogadas y descritas como las de Descripción auditada de imágenes en investigación social, un libro de códigos como el de Codificación cualitativa con IA en ciencias sociales, patrones con prueba de estabilidad como los de Patrones estables en datos de las ciencias sociales, o lo que el propio proyecto haya producido. No requiere programación.

Página del curso

izainea.github.io/tunjos-para-la-ia/curso-6/

Cómo se hizo este material

El material de este curso se elaboró con ayuda de modelos de lenguaje bajo la guía de autoría, la revisión y la responsabilidad del docente. Qué hizo la máquina, qué decidió el autor y qué queda por verificar está en la declaración de uso de IA del programa.

Syllabus

Datos generales

Problema que atiende

Los cursos de oficio del programa enseñan a construir un corpus textual con procedencia, en Corpus de textos con procedencia en ciencias sociales; a catalogar y describir imágenes por capas, en Descripción auditada de imágenes en investigación social; a codificar con la máquina sin que el libro de códigos deje de ser una aserción del investigador, en Codificación cualitativa con IA en ciencias sociales; y a leer grupos, redes y series como patrones que todavía no son hallazgos, en Patrones estables en datos de las ciencias sociales. Al final de ese trabajo el investigador tiene algo configurado: códigos, categorías, patrones, descripciones de imágenes, redes. Lo que no tiene todavía es un hallazgo. Entre lo configurado y el hallazgo hay un trabajo que la literatura sobre inteligencia artificial en investigación cualitativa suele reducir a una medida: el acuerdo entre el modelo y codificadores humanos. Pero el acuerdo mide consistencia, no validez (McDonald, Schoenebeck y Forte, 2019), y cuando las categorías salieron del propio modelo no hay contra qué medirlo. El resultado es visible en los informes que circulan: tasas de acierto presentadas como validez, categorías que nadie puede defender, párrafos en que "los datos muestran" lo que ningún autor está en posición de sostener. Este curso enseña el trabajo que falta: validar en tres sentidos distintos, con criterios que la tradición cualitativa articuló durante un siglo, y escribir el hallazgo como aserción propia.

Competencias

Al terminar el curso el estudiante puede:

1. Distinguir los tres sentidos de validación (corrección del resultado, justificación del proceso, imputación) y diagnosticar, en trabajos propios y ajenos, las confusiones entre rendimiento y validez.
2. Aplicar los criterios de rigor de la investigación cualitativa (Lincoln y Guba, Denzin, reflexividad) a un proceso de configuración asistido por modelos, separando los criterios que el registro del proceso satisface de los que exigen un investigador que responda.
3. Interpretar material textual y visual configurado con máquina: elegir qué hipótesis perseguir con los criterios de Peirce y refigurar lo configurado con herramientas de la semiótica, el análisis multimodal y la teoría del encuadre.
4. Escribir y defender hallazgos como aserciones propias ante pares, con una declaración de uso de IA que diga qué hizo la máquina, qué decidió el investigador y quién responde.

Resultados de aprendizaje y evidencias

Programa por semanas

Metodología

El curso se enseña con el método que enseña. El estudiante llega con material configurado, propio, con o sin máquina, y durante ocho semanas lo valida, lo interpreta y lo escribe como hallazgo. Cada semana tiene tres momentos.

• Lectura guiada (asincrónica, 4 a 5 horas). Un texto central con guía de lectura y una lectura complementaria opcional.
• Sesión sincrónica (2 horas, presencial con participación remota). La primera hora discute la lectura a partir de un caso: un informe real, una matriz de triangulación, un párrafo con marcadores de autoridad. La segunda es taller sobre el propio material.
• Bitácora (asincrónica, 3 a 4 horas). El estudiante registra el ejercicio de la semana, lo que propuso la máquina cuando la hubo, lo que decidió él y con qué criterio. Las bitácoras alimentan los tres productos.

Las prácticas con modelos de lenguaje usan modelos de acceso gratuito. Las mini apps del curso corren en el navegador, sin red, y sirven para ver el mecanismo que el texto describe.

Evaluación

La rúbrica detallada está en evaluacion.md. Se aprueba con el nivel Logrado en el informe analítico y en la matriz de triangulación, y con 3,5 sobre 5,0 de promedio ponderado.

Articulación

Es el cierre de tres recorridos del programa: el de Fundamentos, que va de Validación del razonamiento con IA en ciencias sociales a este curso; el de Texto, que pasa por Corpus de textos con procedencia en ciencias sociales y Codificación cualitativa con IA en ciencias sociales; y el de Imagen, que pasa por Descripción auditada de imágenes en investigación social y Codificación cualitativa con IA en ciencias sociales. Recibe lo que los cursos de oficio dejan configurado, corpus con procedencia, imágenes descritas, libros de códigos y los patrones computacionales de Patrones estables en datos de las ciencias sociales, y entrega el hallazgo escrito y defendido. Se articula con seminarios de tesis, cursos de metodología cualitativa y de análisis del discurso de programas de posgrado en ciencias sociales y humanidades, a los que aporta lo que no suelen cubrir: criterios de validación para un trabajo en que parte de la configuración la hizo una máquina, y un formato de declaración de uso de IA que un jurado puede leer.

Política de uso de modelos de lenguaje

Se usan en todas las semanas, de forma declarada. Cada entrega incluye qué modelo se usó, para qué, qué se aceptó, qué se corrigió y qué se rechazó, y qué parte del resultado es decisión del estudiante. Un uso no declarado se trata como infortunio de autoridad epistémica: el estudiante presenta como propio algo por lo que no puede responder, y la entrega se devuelve para que escriba la declaración que faltaba. El curso promueve el uso de modelos y exige comprender y defender todo el trabajo.