Carlos Isaac
Zainea Maya

Tunjos para la IA
Programa de cursos

Razonamiento, validación e inteligencia artificial en ciencias sociales y humanidades.

Curso 6 · Juicio · ocho sesiones · híbrido

Semana 2. Relectura de los criterios de rigor cualitativo

Si la tradición cualitativa ya tiene criterios de rigor, ¿cuáles de ellos puede satisfacer una máquina que configuró parte del trabajo, y cuáles exigen al investigador?

Pregunta de la semana

Si la tradición cualitativa ya tiene criterios de rigor, ¿cuáles de ellos puede satisfacer una máquina que configuró parte del trabajo, y cuáles exigen al investigador?

Por qué esta semana

La semana 1 dejó una tesis y una deuda. La tesis: la validación del segundo sentido, la justificación del proceso, es la que la investigación cualitativa articuló durante un siglo y la vinculó con el tercero. La deuda: decir qué criterios son esos y qué pasa con ellos cuando parte del proceso lo ejecutó un modelo. Esta semana lee el capítulo en que Lincoln y Guba (1985) formulan los criterios de rigor de la investigación naturalista, credibilidad, transferibilidad, dependabilidad y confirmabilidad, y lo relee con una pregunta que sus autores no tenían: para cada criterio, ¿sobre qué recae la verificación? Si recae sobre el registro del proceso, un sistema puede satisfacerlo. Si recae sobre la posición de quien responde, no. La frontera entre máquina e investigador deja así de ser una línea que se postula y pasa a ser algo que se demuestra criterio por criterio. Esa es la hipótesis central del anteproyecto doctoral del docente, y aquí se vuelve instrumento de trabajo.

Contenido de la sesión

  1. Lincoln y Guba escribieron Naturalistic Inquiry contra una idea precisa: que el rigor de la investigación cualitativa debía medirse con los criterios del paradigma positivista, validez interna, validez externa, fiabilidad y objetividad.a Propusieron cuatro criterios paralelos y distintos. La credibilidad pregunta si la reconstrucción del investigador es creíble para quienes vivieron lo reconstruido. La transferibilidad pregunta si el lector tiene información suficiente para juzgar si los hallazgos aplican a otro contexto. La dependabilidad pregunta si el proceso fue consistente y rastreable. La confirmabilidad pregunta si los hallazgos están anclados en los datos y no en las preferencias del investigador. A cada criterio corresponden técnicas: compromiso prolongado, observación persistente, triangulación, revisión por pares, análisis de casos negativos, verificación con los participantes, descripción densa, registro de auditoría, diario reflexivo.
  1. La relectura del curso no cambia los criterios; cambia la pregunta que se les hace. El anteproyecto (Zainea, 2026) distingue cuatro tipos de enunciado metodológico: la regla de generación, que prescribe qué hacer; el criterio de validez, que establece cuándo se hizo bien; la condición de terminación, que fija cuándo detenerse; y la condición de imputación, que determina quién responde por el resultado. Lincoln y Guba mezclan los cuatro, como toda metodología escrita para humanos. Separarlos es la primera operación: "triangular entre fuentes" es una regla de generación; "los hallazgos convergen entre fuentes independientes" es un criterio de validez; "hasta que ninguna fuente nueva altere la categoría" es una condición de terminación; "el investigador decide cuándo la convergencia basta" es una condición de imputación.

  2. Un criterio de validez es operacionalizable en la medida en que su verificación recae sobre el registro del proceso y no sobre la posición del agente. Esa es la prueba que el curso aplica a cada criterio: si alguien que no ejecutó el proceso puede determinar, solo con el registro, si el paso fue correcto, el criterio recae sobre el registro. De ahí tres regiones. Los criterios de registro, trazabilidad, suficiencia, adecuación de nivel, admisibilidad de la hipótesis y fuerza probatoria, pueden ser satisfechos por un sistema artificial, porque un sistema puede dejar rastro de cada paso y una persona puede auditarlo. Los criterios de relación, contraste externo y resistencia a la refutación, exigen instancias realmente independientes, y la semana 3 discute cuándo un modelo lo es. Los criterios de posición, reflexividad, recepción y exclusión, no pueden ser satisfechos por un sistema artificial en razón de su tipo: no hay sujeto que reflexione sobre su lugar, ni comunidad que reciba, ni mundo del que algo quede excluido.

  3. Leídos así, los cuatro criterios de Lincoln y Guba se reparten. La dependabilidad y la confirmabilidad recaen en buena parte sobre el registro: el registro de auditoría es una técnica que una máquina puede producir mejor que un humano, porque no olvida ni reescribe. La credibilidad se reparte: la triangulación y el análisis de casos negativos son de relación, la verificación con los participantes es de posición, porque exige que alguien lleve el hallazgo a quienes lo vivieron y responda por lo que les presenta.b La transferibilidad es de posición de principio a fin: la descripción densa la produce quien estuvo ahí, y el juicio de transferencia lo hace el lector. La reflexividad, que Lincoln y Guba tratan como técnica y la tradición posterior como criterio, es el caso límite: pregunta por el lugar desde el que se interpreta, y un modelo no tiene lugar.

  1. Combinar criterios de tradiciones distintas, Lincoln y Guba con Denzin, con la Teoría Fundamentada, con Peirce, abre a la objeción del eclecticismo. El anteproyecto la responde con un principio de separabilidad: un criterio puede importarse de su metodología de origen si su contenido normativo se especifica sin referencia a estados de un sujeto. "La categoría está saturada cuando ningún fragmento nuevo la modifica" es separable; "la categoría está saturada cuando el investigador siente que ya no aprende" no lo es, y esa segunda formulación no se descarta: constituye la región de posición y, con ello, la evidencia de dónde está la frontera. Lo que no supera la prueba de separabilidad es exactamente lo que el investigador no puede delegar.

  2. La relectura se resume en una tabla de contraste entre la pregunta que Lincoln y Guba hacían y la que este curso hace.

Criterio tal como lo formulan Lincoln y Guba Criterio releído para gobernar lo que un modelo produjo
¿Es creíble la reconstrucción para quienes la vivieron? ¿Qué parte de la reconstrucción puede contrastarse con instancias independientes, y qué parte exige llevarla a alguien?
¿Tiene el lector descripción suficiente para transferir? ¿Quién produjo la descripción densa: alguien que estuvo ahí o un modelo que describe desde su corpus?
¿Es el proceso consistente y rastreable? ¿Existe el registro de cada paso del modelo, y puede otra persona auditarlo sin haber ejecutado el proceso?
¿Están los hallazgos anclados en los datos y no en el investigador? ¿Están anclados en los datos y no en la prefiguración del modelo, que no es la del investigador ni la de la comunidad?
El rigor es una propiedad del estudio. El rigor se reparte: una parte recae sobre el registro y otra sobre quien responde, y la frontera entre ambas es lo que hay que demostrar.
  1. La figura de la semana pone los criterios sobre las fases de un proyecto típico y marca dónde la verificación deja de recaer sobre el registro. La frontera no está en una fase sino que atraviesa varias: en la codificación hay criterios de registro y de posición al mismo tiempo. Por eso el protocolo de validación que el estudiante empieza hoy no se organiza por fases sino por criterios dentro de cada fase.
POSICIÓN RELACIÓN REGISTRO Recolección exclusión: qué no entró contraste de fuentes trazabilidad del corpus suficiencia declarada metadatos por pieza Codificación reflexividad: desde dónde se nombra la categoría segundo codificador casos negativos registro de cada código fragmento que lo sustenta saturación operativa Interpretación verificación con quienes lo vivieron compromiso con la hipótesis juicio de transferencia triangulación teórica admisibilidad abductiva fuerza probatoria Escritura aserción con aserente declaración de uso recepción por pares responder por el hallazgo revisión por pares procedencia de cada afirmación FRONTERA
Figura 2. Criterios por fase y la frontera que los atraviesa. Lo que hay que ver es que la frontera sube hacia la derecha: cuanto más cerca de la escritura, más criterios recaen sobre la posición de quien responde y menos sobre el registro.

IA y exigencia

Esta semana se le pide al modelo que produzca el registro de auditoría de una fase del proyecto en la que intervino: qué recibió, qué hizo en cada paso, qué criterio aplicó, qué dejó fuera. El estudiante debe poder decir, para cada criterio de Lincoln y Guba, si ese registro basta para verificarlo o si hace falta que alguien esté en una posición que el registro no da. Debe poder defender la clasificación de al menos un criterio en cada región sin consultar la figura.

Lecturas

Central

Complementaria

  • Guba, E. G. y Lincoln, Y. S. (1994). "Competing Paradigms in Qualitative Research". En N. K. Denzin e Y. S. Lincoln (eds.), Handbook of Qualitative Research, 105-117. Thousand Oaks: Sage.
  • Shenton, A. K. (2004). "Strategies for Ensuring Trustworthiness in Qualitative Research Projects". Education for Information 22(2), 63-75. https://doi.org/10.3233/EFI-2004-22201
  • Finlay, L. (2002). "Negotiating the Swamp: The Opportunity and Challenge of Reflexivity in Research Practice". Qualitative Research 2(2), 209-230. https://doi.org/10.1177/146879410200200205
  • Vallor, S. (2024). The AI Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking. Oxford University Press. Capítulo 4.

Guía de lectura

  • Lincoln y Guba presentan cada criterio con sus técnicas, y las técnicas son de naturaleza muy distinta: el registro de auditoría es un artefacto, la verificación con los participantes es una conversación. Para cada técnica del capítulo 11, ¿sobre qué recae la verificación: sobre algo que queda escrito o sobre alguien que tiene que estar ahí?
  • Los autores sostienen que la transferibilidad no la establece el investigador sino el lector, a quien el investigador debe darle descripción suficiente. Si un modelo escribió la descripción densa a partir de los datos, ¿qué le falta a esa descripción para que un lector pueda transferir, y puede el investigador reponerlo después?
  • Shenton ofrece una lista operativa de estrategias por criterio, pensada para un investigador solo. ¿Cuáles de sus estrategias cambian de naturaleza cuando una parte del trabajo la hizo un modelo, y cuáles quedan igual?
  • Finlay describe la reflexividad como un pantano: necesaria y sin fondo. ¿Qué de ese pantano puede pedirse a un modelo que no tiene lugar desde el cual mirar, y qué pasa con la reflexividad del investigador cuando el modelo le evita el esfuerzo de nombrar?

Taller de la segunda hora

Primer borrador del protocolo de validación. Cada estudiante toma la lista de fases de su proyecto que trajo y, para cada fase, llena al menos dos filas, una con un criterio que recae sobre el registro y otra con uno que recae sobre la posición. Plantilla completa en plantillas/protocolo-de-validacion.md.

Fase Intervino un modelo (sí, no, en qué) Criterio de rigor Tipo de enunciado (regla, criterio, terminación, imputación) Región (registro, relación, posición) Cómo se verifica y quién

La columna difícil es la región. Para decidirla, aplique la prueba: ¿puede alguien que no ejecutó el proceso determinar, solo con el registro, si el paso fue correcto? Si duda, escriba por qué duda; esas dudas son el contenido de la semana 3.

Guion de la sesión

Momento Docente Estudiante Material
0 a 10 min Recoge las preguntas abiertas de la bitácora anterior Lee en voz alta la suya si quiere Bitácoras
10 a 35 min Expone los cuatro criterios y sus técnicas con ejemplos del caso de apertura de la semana 1 Anota qué técnica aplicó su proyecto, aunque no la llamara así Lincoln y Guba, cap. 11
35 a 60 min Introduce la tipología de enunciados y las tres regiones; recorre la figura 2 Clasifica en voz alta dos criterios propuestos por el docente Figura 2
60 a 70 min Pausa
70 a 105 min Acompaña el borrador del protocolo, fase por fase Llena las filas sobre su propio proyecto Plantilla del protocolo
105 a 120 min Recoge los criterios cuya región fue difícil de decidir y anuncia la triangulación Anota el criterio que más dudas le dejó Bitácora

Notas para el docente. Lo que suele fallar: el estudiante pone todos los criterios de las fases con modelo en la región de registro, como si el hecho de que la máquina haya intervenido decidiera la región; conviene mostrar que la reflexividad sobre una codificación hecha por un modelo es de posición aunque la codificación sea auditable. Segundo fallo: confundir la condición de terminación con el criterio de validez (saturación con confirmabilidad). Tercero: la tabla de contraste se lee como si la segunda columna reemplazara la primera; no la reemplaza, la especifica para un caso que Lincoln y Guba no previeron.

Bitácora

Registre el borrador del protocolo, el criterio que no supo ubicar y por qué. Si pidió al modelo un registro de auditoría, adjúntelo literal y anote qué le faltaba para verificar cada criterio.

Para la próxima semana

Leer el capítulo de Denzin sobre triangulación y el capítulo de Flick. Traer un hallazgo propio, aunque sea provisional, y la lista de fuentes, métodos, investigadores y teorías que lo sostienen o podrían sostenerlo. Si parte de la codificación la hizo un modelo, traer también una muestra de diez fragmentos con su codificación, porque la práctica de la semana 3 la usa.