Semana 5. Auditar la exterioridad

Pregunta de la semana

¿Cómo se mide lo que un modelo excluye de un archivo situado, si lo excluido es por definición lo que el modelo no muestra?

Por qué esta semana

La semana anterior nombró el fenómeno; esta lo mide. Medir la exterioridad tiene una dificultad propia: no hay una respuesta correcta contra la cual comparar, porque la referencia habitual, un conjunto etiquetado, se construyó con el mismo acervo que el modelo. La salida del curso es sustituir la referencia por una persona: un lector situado, alguien que participa en la forma de vida que produjo el material, lee la misma muestra que el modelo y la diferencia entre ambas lecturas se clasifica. La auditoría de exterioridad es ese protocolo en cinco pasos: muestra, categorías locales, lectura del modelo, contraste con lectores situados y clasificación de las exclusiones. Es la segunda entrega del curso y es una propuesta del programa, no un estándar del campo, y por eso se enseña con sus límites.

De la semana 4 se necesita la distinción entre error factual e imposición hermenéutica y la triple pregunta: qué entendió mal, qué aplanó, qué ignoró. De la semana 3, la muestra ya debe cumplir la matriz de riesgos: si una pieza no puede salir hacia un modelo, no entra en la muestra o entra como descripción.

Contenido de la sesión

1. La muestra se elige por carga cultural y no por representatividad estadística, y esa elección hay que justificarla. Una auditoría de exterioridad no pregunta cuánto acierta el modelo en promedio sino dónde deja de acertar, y por eso la muestra se concentra donde el sentido depende del contexto: expresiones regionales, objetos de práctica local, escenas que se leen por lo que falta. Entre diez y veinte piezas bastan para una primera auditoría. El criterio queda escrito en la plantilla, porque un lector del informe debe poder objetarlo^a.

2. Las categorías locales se escriben antes de consultar al modelo, y las escribe el lector situado, no el investigador solo. Para cada pieza, una o dos frases: qué es, qué hace en la vida de quien la produjo o la usa, qué palabra local la nombra. Esa escritura previa es la referencia de la auditoría, y su calidad decide la calidad de todo lo demás. El orden es obligatorio: si el lector situado ve primero la lectura del modelo, su propia lectura se contamina, ya sea por adhesión o por reacción.

3. La lectura del modelo se obtiene con una instrucción fija, igual para todas las piezas, que pide descripción y significado sin sugerir categorías. La instrucción se copia literal en la plantilla, con el modelo, la versión y la fecha. Si se hacen variaciones (lengua de la instrucción, con o sin contexto), cada una es una ronda distinta y se registra aparte. El docente contrasta en su propio proyecto instrucciones en español y en inglés sobre el mismo subcorpus, y la diferencia en la especificidad de las referencias es uno de los resultados que espera medir^b.

4. El contraste clasifica cada diferencia en una de tres exclusiones. Entendió mal: el modelo dijo algo que el lector situado considera falso en los términos de la comunidad. Aplanó: el modelo sustituyó un sentido específico por una categoría general correcta pero vacía (lo devocional por "decorativo", una práctica con nombre por "costumbre local"). Ignoró: el modelo no dijo nada sobre algo que el lector situado considera central. Las tres se cuentan por separado porque exigen correcciones distintas: la primera se corrige con contexto en la instrucción, la segunda con categorías locales en el andamiaje, la tercera casi nunca se corrige y hay que declararla como límite.

5. El resultado de la auditoría no es una cifra sino un perfil: cuántas piezas en cada tipo de exclusión, cuáles, y qué tienen en común. Un modelo que aplana lo religioso y entiende bien lo político le dice al investigador dónde puede delegar y dónde no. Ese perfil entra directo en el protocolo de gobernanza de la semana 8 como una regla: en las piezas de tal tipo, la lectura del modelo no se acepta sin lector situado. La mini app de la semana recorre el protocolo con diez ítems preparados por el docente, para que el estudiante lo practique antes de aplicarlo a su muestra.

6. Los límites del protocolo son parte del protocolo. Un lector situado es una persona con su propia posición, y dos lectores situados pueden discrepar; cuando hay dos, la auditoría registra la discrepancia y no la promedia. Un lector situado puede estar cansado de explicar lo obvio y omitir justo lo que el modelo también omitió. Y la muestra elegida por carga cultural exagera por construcción la tasa de exclusión, lo que es deseable para encontrar el perfil y engañoso si se presenta como medida del modelo en general. La plantilla tiene una sección para escribir lo que no se pudo medir, y esa sección se evalúa.

7. La auditoría es también un acto con las personas que leen. Pedirle a alguien de la comunidad que lea veinte piezas y explique lo que un modelo no entendió es pedir trabajo y es pedir que se exponga a material que puede dolerle. La matriz de riesgos de la semana 3 cubre a las personas del corpus; la auditoría añade a los lectores situados, y el protocolo del curso exige para ellos consentimiento informado, la opción de retirarse de cualquier pieza, y reconocimiento en el informe en la forma que ellos elijan.

IA y exigencia

Esta semana se le pide al modelo la lectura de la muestra con instrucción fija, y nada más. El estudiante debe poder, sin el modelo, defender el criterio de la muestra, la clasificación de cada exclusión y la lista de lo que no pudo medir. Si el modelo clasifica sus propias exclusiones, el ejercicio pierde sentido: la auditoría es el lugar donde el modelo es objeto y no instrumento.

Lecturas

Central

• Guía de la práctica: practicas/practica-05-auditoria-de-exterioridad.md y plantilla plantillas/auditoria-de-exterioridad.md.
• Schneider, F., Holtermann, C., Biemann, C. y Lauscher, A. (2025). "GIMMICK: Globally Inclusive Multimodal Multitask Cultural Knowledge Benchmarking". Secciones 1, 3 y 5. https://arxiv.org/abs/2502.13766

Complementaria

• Pouget, A., Beyer, L., Bugliarello, E. et al. (2024). "No Filter: Cultural and Socioeconomic Diversity in Contrastive Vision-Language Models". Advances in Neural Information Processing Systems 37. https://arxiv.org/abs/2405.13777
• Lincoln, Y. S. y Guba, E. G. (1985). Naturalistic Inquiry. Sage. Capítulo 11, sobre la verificación con los participantes.
• Zainea, C. I. (2026). Agencia sin imputación. Sección sobre el contraste empírico. https://izainea.github.io/escritos/agencia-sin-imputacion.pdf

Guía de lectura

• Schneider y sus coautores distinguen conocimiento cultural tangible (objetos, lugares) e intangible (prácticas, significados) y encuentran la brecha mayor en el segundo. ¿Qué proporción de su muestra es intangible, y qué espera que eso haga con el perfil de exclusiones?
• Pouget y sus coautores muestran que la métrica no ve la brecha porque se construyó con los mismos datos. ¿Qué hace el lector situado que un conjunto etiquetado no puede hacer? ¿Qué no puede hacer el lector situado que un conjunto etiquetado sí?
• Lincoln y Guba llaman verificación con los participantes a devolverles la interpretación para que la objeten. ¿En qué se parece y en qué se diferencia de la auditoría de exterioridad? ¿Quién es el participante aquí?

Taller de la segunda hora

El taller ejecuta los pasos 3 a 5 sobre la muestra que el estudiante trajo con las categorías locales ya escritas. La guía de la práctica tiene el paso a paso. En resumen:

Al terminar, el perfil: número de piezas por tipo de exclusión, qué tienen en común las piezas de cada tipo, y la regla que se deriva para el protocolo.

Guion de la sesión

Notas para el docente. Suele fallar que el estudiante no haya conseguido lector situado y proponga serlo él mismo; se admite solo si pertenece a la comunidad y se declara. Suele fallar que todas las diferencias se clasifiquen como "aplanó" porque es la categoría cómoda; pedir que cada clasificación cite lo que dijo el lector situado. Y hay que vigilar que ninguna pieza de la muestra viole la matriz de riesgos de la semana 3: si tiene datos sensibles sin anonimizar, no sale hacia el modelo.

Entrega

Auditoría de exterioridad sobre una muestra del propio corpus, en la plantilla plantillas/auditoria-de-exterioridad.md: criterio de la muestra, categorías locales, instrucción literal, tabla de contraste, perfil de exclusiones, regla derivada, lo que no se pudo medir, y consentimiento y reconocimiento del lector situado. Rúbrica en evaluacion.md.

Para la próxima semana

Leer Vallor (2024), capítulos 4 y 6, y Feenberg (2012), capítulo 7. Traer el flujo del propio proyecto dividido en fases, con una estimación honesta de cuánto delega en el modelo en cada una. El simulador de la próxima semana parte de esa estimación.