Práctica 5. Auditoría de exterioridad sobre una muestra propia

Duración estimada: 5 horas, de las cuales 1 en la sesión sincrónica y al menos 1 con el lector situado. Requisitos: una muestra de entre diez y veinte piezas del propio corpus que cumpla la matriz de riesgos de la semana 3, al menos un lector situado que haya aceptado participar, acceso a un modelo de uso gratuito en su versión web, y la plantilla plantillas/auditoria-de-exterioridad.md. No requiere programar.

Objetivo

Medir qué excluye un modelo al leer material situado del propio corpus, clasificando las diferencias entre su lectura y la de un lector que participa en la forma de vida que produjo el material, y derivar de ahí una regla para el protocolo de gobernanza.

Antes de la sesión

1. Elija la muestra por carga cultural. Pregúntese, pieza por pieza, si alguien de fuera la entendería sin explicación. Las que no, entran. Escriba el criterio en la sección 1 de la plantilla, con una frase sobre qué exagera la muestra por construcción: una muestra elegida así encuentra más exclusiones que el corpus completo, y eso es lo que se quiere, pero no puede presentarse como medida del modelo en general.
2. Verifique cada pieza contra la matriz de riesgos. Ninguna clasificada como "no usar". Las que tienen datos personales salen anonimizadas o como descripción densa. Si la descripción la hace usted, la pieza que el modelo lee es la descripción y la plantilla lo dice.
3. Consiga el lector situado. Explíquele qué va a leer, cuánto tiempo toma, que puede retirarse de cualquier pieza y que decide cómo se le reconoce en el informe. Registre su consentimiento con fecha en la sección 2. Si el lector situado es usted mismo porque pertenece a la comunidad, declárelo; se admite, pero la auditoría pierde la mirada externa y la sección 8 debe decirlo.
4. Pídale al lector situado que escriba, para cada pieza, una o dos frases: qué es, qué hace en la vida de quien la produjo o la usa, qué palabra local la nombra. Esto se hace antes de cualquier consulta al modelo y la fecha queda en la sección 3. El orden no se puede invertir: si el lector ve primero la lectura del modelo, su propia lectura se contamina por adhesión o por reacción.

Pasos 3 a 5 durante la sesión

Paso 3. La lectura del modelo

Fije con el grupo una instrucción única que pida descripción y significado sin sugerir categorías. Un punto de partida:

Describe esta pieza y explica qué significa para las personas que la produjeron
o la usan. Si hay algo que no puedes interpretar con seguridad, dilo. No uses
categorías generales si puedes usar el nombre específico de lo que ves.

Copie la instrucción literal en la sección 4. Consulte las piezas una por una, con la misma instrucción, y copie cada salida literal en la columna correspondiente de la sección 5. Registre modelo, versión y fecha. Si quiere comparar variantes (la misma instrucción en inglés, o con una frase de contexto sobre el lugar y la época), cada variante es una ronda y se registra aparte; no mezcle rondas en la misma tabla.

Paso 4. El contraste

Para cada pieza ponga frente a frente la categoría local y la lectura del modelo, y decida el tipo de exclusión:

• Entendió mal: el modelo dijo algo que el lector situado considera falso en los términos de la comunidad. No cuenta un error factual sobre la pieza (una fecha, un nombre), que se anota aparte; cuenta una lectura que la comunidad rechazaría.
• Aplanó: el modelo sustituyó un sentido específico por una categoría general, correcta pero vacía. "Decoración" por un altar; "costumbre local" por una práctica con nombre; "una reunión" por una escena cuyo sentido está en quién falta.
• Ignoró: el modelo no dijo nada sobre algo que el lector situado considera central. La pregunta de apoyo es qué diría el lector situado que el modelo no dijo.

La clasificación la hace usted con el lector situado, nunca el modelo. En la columna siguiente copie lo que el lector situado dijo de la diferencia, con sus palabras. En la última, decida si la exclusión sería corregible con contexto en la instrucción, con categorías locales en el andamiaje, o si es un límite que hay que declarar.

Paso 5. El perfil

Cuente las piezas por tipo de exclusión en la sección 6 y escriba qué tienen en común las piezas de cada tipo. Ahí está el resultado: no la cifra sino el patrón. Un modelo que aplana lo religioso y entiende bien lo político le dice dónde puede delegar y dónde no. Formule una hipótesis sobre la precomprensión del modelo que ese patrón sugiere, y escriba la regla que se deriva para el protocolo en la sección 7: en qué tipo de piezas la lectura del modelo no se acepta sin lector situado.

Después de la sesión

1. Vuelva con el lector situado sobre las piezas en que la clasificación fue dudosa. Registre al menos una en la sección 6. Si hubo dos lectores y discreparon, registre ambas lecturas sin promediar.
2. Escriba la sección 8, lo que no se pudo medir. Es una sección evaluada: una auditoría sin límites declarados es menos creíble que una con ellos.
3. Confirme con el lector situado la forma de reconocimiento que eligió y que ninguna pieza de la que se retiró aparece en la entrega.
4. Entregue la plantilla completa con las salidas literales del modelo como anexo.

Qué se evalúa

El criterio de la muestra, el orden entre lector situado y modelo, la clasificación con cita del lector situado, el perfil con su regla, y la declaración de límites. No se evalúa cuánto acertó el modelo: una auditoría en que el modelo leyó bien casi todo y el estudiante lo mostró con el mismo rigor vale lo mismo que una en que aplanó todo.

Variante con dos lectores situados

Dos lectores escriben las categorías locales por separado y sin verse. La auditoría registra tres lecturas por pieza y clasifica dos diferencias: entre lectores, y entre cada lector y el modelo. Las piezas en que los lectores discrepan entre sí son las que mejor muestran que la referencia es una posición y no una verdad, y la sección 8 debe discutirlo.

Variante por programa

Quien quiera repetir la auditoría con varios modelos o con varias rondas puede usar el cuaderno de apoyo de Validación del razonamiento con IA en ciencias sociales, un conjunto de bloques de Python pensado para quien no programa, que envía cada consulta a un modelo y guarda en un archivo la fecha, el modelo, la instrucción y la respuesta, de modo que el archivo sirve de anexo literal. La clasificación sigue siendo manual y con el lector situado.

Práctica 8. Redacción del protocolo de gobernanza epistémica con un equipo

Duración estimada: 6 horas repartidas entre las semanas 7 y 8, de las cuales 2 en sesiones sincrónicas. Requisitos: la matriz de riesgos y derechos (semana 3), la auditoría de exterioridad con su perfil (semana 5), la tabla de fases y andamiajes (semana 6), y las plantillas plantillas/protocolo-de-gobernanza-epistemica.md y plantillas/declaracion-de-uso-de-ia.md. Para equipos de dos a seis personas. Quien trabaja solo sigue la guía ocupando los roles y declarándolo, con la variante del final.

Objetivo

Escribir un protocolo que una persona distinta de sus autores pueda ejecutar, ponerlo a prueba ante pares sobre un caso real, e incorporar lo que la prueba muestre.

Lo que cada miembro trae a la primera sesión

Cada miembro del equipo trae sus tres insumos. Si el equipo trabaja sobre un mismo proyecto, las matrices y auditorías se consolidan en una antes de la sesión: una matriz con todos los tipos de pieza, un perfil de exclusiones que reúne las muestras. Si cada miembro tiene su proyecto y el protocolo es para un equipo o una institución que los cubre a todos, los insumos se conservan separados y el protocolo tiene un alcance que los nombra.

Las reglas en la primera sesión de la semana 7

Paso 1. Alcance y qué gobierna (20 minutos)

El equipo escribe la sección 1 de la plantilla y la frase de la sección 2: qué cuenta como afirmación válida en este proyecto y quién responde. Si no hay acuerdo sobre esa frase, el resto no puede escribirse; es preferible dedicarle más tiempo que avanzar sin ella.

Paso 2. De los riesgos a las reglas (40 minutos)

Sobre la matriz consolidada, el equipo toma cada daño con probabilidad media o alta y escribe la regla que lo evita. La regla tiene verbo (qué se hace), rol (quién), registro (dónde se verifica) y condición de rechazo (cuándo un resultado no entra en un producto). Luego hace lo mismo con el perfil de exclusiones: la regla derivada de la auditoría entra tal cual. Un ejemplo de regla completa:

Las reglas que no responden a ningún riesgo se anotan en una lista aparte y se discuten: casi siempre son principios disfrazados, y se eliminan o se devuelven a la matriz como riesgo que faltaba.

Paso 3. Roles con persona (20 minutos)

El equipo asigna los cuatro roles a personas con nombre. La única restricción es que quien revisa no haya producido lo que revisa. Si el equipo es pequeño y una persona ocupa varios roles, la tabla dice qué se pierde. Si el lector situado no está en el equipo, se nombra y se dice cómo se le convoca y se le reconoce.

Paso 4. Registros (20 minutos)

Los tres registros ya existen en borrador al llegar aquí. El equipo decide quién lleva cada uno, dónde está y quién puede leerlo. Un registro que solo puede leer quien lo lleva no sirve para auditar.

Paso 5. La regla más difícil (20 minutos)

Cada miembro marca la regla que más le costaría cumplir y dice por qué. El equipo decide si la regla se mantiene, se modifica o se asume el costo con el andamiaje de la sección 6. Esa regla es la primera que la revisión entre pares examina.

Entre sesiones

1. Completar la sección 6, andamiaje que preserva el juicio, con los costos y quién los paga.
2. Escribir las secciones 8 y 9: riesgos que el protocolo decide no cubrir, y dónde exige más o menos que las normas leídas en la semana 7.
3. Preparar el caso para la revisión: una pieza real del corpus (o su descripción, según la matriz) con la lectura del modelo, elegida porque exige aplicar al menos tres reglas del protocolo.
4. Redactar la declaración de uso de IA del propio proyecto con la plantilla, como si acompañara un producto real.
5. Preparar la presentación de ocho minutos con el formato de la semana 8.

La prueba en la segunda sesión de la semana 8

Paso 6. Presentación (8 minutos)

El equipo presenta con el formato de la semana 8: alcance, tres riesgos mayores y sus reglas, perfil de exclusiones y regla derivada, fase nunca delegada, roles con persona, regla más difícil.

Paso 7. Ejecución por pares (20 minutos)

Dos revisores que no conocen el proyecto reciben el caso y el protocolo, y lo ejecutan sin preguntar al equipo: deciden si la pieza podía salir hacia el modelo, qué rol revisa, contra qué registro, si se acepta o se rechaza. Llenan la tabla de revisión de la semana 8. Donde el protocolo no dice qué hacer, falta una regla. Donde dice algo que no pueden hacer, hay un rol sin persona o un registro que nadie lleva. Responden las dos preguntas obligatorias: ante quién no sería defendible, y qué regla sobra.

Paso 8. Incorporación después de la sesión

El equipo recibe la tabla de revisión y, por cada objeción, cambia una regla o explica por qué no la cambia. La sección 10 de la plantilla registra ambas cosas. Un protocolo que incorpora todo sin discutir nada es tan sospechoso como uno que no incorpora nada.

Qué se evalúa

La rúbrica del protocolo en programa/evaluacion.md. Lo que pesa más es que los revisores hayan podido ejecutarlo sin preguntar, que cada regla tenga un riesgo detrás, y que la revisión se haya incorporado con razones.

Variante para quien trabaja solo

Un investigador solo escribe el mismo protocolo con una diferencia: la tabla de roles tiene su nombre en varias filas y dice qué se pierde en cada una, casi siempre la separación entre producir y revisar. La sección 10 debe decir cómo se repetirá la revisión externa después del curso, con un colega, un director de tesis o un lector situado, y con qué periodicidad. En la sesión de la semana 8 el protocolo individual se revisa igual que el de un equipo.

Variante para una institución

Cuando el protocolo es para una entidad y no para un proyecto, el alcance nombra los tipos de material y los procesos que cubre, los roles se escriben por cargo y no por persona, y la sección 9 se vuelve la más larga: qué obligaciones de la Directiva Conjunta 007 de 2025 y del CONPES 4144 adopta la entidad para su investigación interna, y qué canal de objeción ofrece a las personas sobre las que produce resultados. El docente construyó una matriz de alineación normativa de ese tipo para la política institucional de IA de una entidad pública, y puede mostrar su estructura en la sesión sin exponer su contenido.