Carlos Isaac
Zainea Maya

Tunjos para la IA
Programa de cursos

Razonamiento, validación e inteligencia artificial en ciencias sociales y humanidades.

Curso 4 · Oficio · ocho sesiones · híbrido

Evaluación

Rúbricas de los productos y la bitácora.

El curso se evalúa por productos, no por exámenes. Los tres productos y la bitácora son evidencias verificables de las cuatro competencias. Cada uno tiene una rúbrica de cuatro niveles. La nota final es la suma ponderada.

Producto Peso Competencias
Libro de códigos final con memos, condición de terminación y declaración de responsabilidad 40 % 2, 4
Libro de códigos abierto con registro de frontera 25 % 1, 2
Matriz de acuerdo y análisis de desacuerdos 20 % 3
Bitácora semanal 15 % 1 a 4

Se aprueba con nivel Logrado en el libro de códigos final y en el libro de códigos abierto, y con 3,5 sobre 5,0 en el promedio ponderado.

Libro de códigos final (40 %)

Criterio Insuficiente Básico Logrado Sobresaliente
Categorías Rótulos sin propiedades Propiedades nombradas sin dimensiones ni fragmentos Cada categoría con propiedades, dimensiones y fragmentos de anclaje en cada extremo Además, cada categoría tiene un caso negativo buscado y resuelto
Procedencia No se distingue lo propuesto por el modelo de lo decidido Se distingue en el conjunto, no por código Cada código y categoría tiene origen, decisión y criterio, con remisión al registro Además, las categorías del modelo pasaron por la prueba de anclaje y el memo lo documenta
Memos Ausentes o descriptivos Memos sin fecha ni procedencia Memos fechados, con procedencia y con la decisión que produjeron Memos que muestran cómo cambió una categoría y por qué
Condición de terminación No se formula Se formula después de parar o de forma no verificable Formulada antes, verificable por un tercero, con la curva y la fecha de cumplimiento Además, se discute el costo de haber parado antes o después con los lotes no codificados
Declaración de responsabilidad Ausente o reducida a "se usó IA" Declara el modelo y las instrucciones, sin las cifras del registro Declara tradición, modelo, instrucciones, cifras de origen por código, terminación, casos negativos y lo que queda abierto, en primera persona Además, señala dónde la frontera corrió hacia el modelo y qué se hizo al notarlo
Presentación y defensa No defiende la categoría obligatoria o lo hace con el registro en la mano Defiende con generalidades Defiende una categoría del modelo con fragmentos y criterio, sin el registro Además, reformula la pregunta de un par y muestra qué cambiaría en su libro

Libro de códigos abierto con registro de frontera (25 %)

Criterio Insuficiente Básico Logrado Sobresaliente
Lista de verificación de la fase Ausente Reglas sin criterios de validez o sin prueba del registro Los cuatro tipos de enunciado formulados, con citas del manual y prueba del registro decidida Además, discute un criterio que no pasa la prueba y lo presupuesta como trabajo propio
Anclaje Códigos sin fragmentos Fragmentos citados sin correspondencia verificada Cada código con fragmentos literales verificados contra el corpus Además, códigos in vivo donde la tradición lo pide y justificación donde se abstrae
Registro de frontera por código Ausente o resumido Origen marcado, sin decisión ni criterio Origen, decisión, criterio y quién responde para cada código Además, las aceptaciones sin criterio están anotadas como tales
Emergencia frente a forzamiento No se examina Se rechaza toda abstracción o se acepta toda categoría del modelo Al menos una categoría forzada detectada con la señal que la delató y la prueba de anclaje Además, se relativiza a la tradición declarada y queda un memo de procedencia
Anexo de prompts Ausente Parcial o resumido Prompts y salidas literales, fechados Además, se señala dónde el modelo ignoró una instrucción

Matriz de acuerdo y análisis de desacuerdos (20 %)

Criterio Insuficiente Básico Logrado Sobresaliente
Procedimiento Se codificó después de ver al modelo Orden correcto sin libro fijo Codificación propia antes y a ciegas, libro fijo, misma instrucción Además, se declara en qué situación de McDonald et al. está el proyecto
Cálculo Solo porcentaje simple o cálculo erróneo Kappa sin interpretación Kappa y alfa calculados e interpretados como consistencia, con los umbrales relativizados Además, se explica por qué difieren o coinciden los dos valores en este caso
Análisis de desacuerdos No se leen Se listan sin clasificar Cada desacuerdo clasificado por tipo con una decisión sobre el libro Además, se identifica al menos un acuerdo sospechoso de "consistencia sin validez"
Frase final Ausente Confunde acuerdo con validez Dice qué mide y qué no mide el acuerdo obtenido Además, dice qué cambiaría del libro por los desacuerdos y qué no cambiaría por el acuerdo

Bitácora semanal (15 %)

Criterio Insuficiente Básico Logrado Sobresaliente
Continuidad Menos de cinco semanas Cinco o seis semanas Las ocho semanas, con los prompts literales Las ocho, con revisión de entradas anteriores a la luz de las posteriores
Honestidad del registro No distingue lo propuesto por el modelo de lo decidido Lo distingue de forma general Lo distingue en cada entrada e incluye aceptaciones sin criterio y dudas Además, registra errores propios y lo que el modelo vio que el estudiante no vio

Política de integridad

El uso de modelos de lenguaje es obligatorio y declarado. Un código, una categoría o una matriz presentada como propia sin registro de su origen se trata como infortunio de autoridad epistémica: no como fraude, sino como una aserción por la que el estudiante no puede responder. La entrega se devuelve para escribir el registro que faltaba, y se califica después. Los fragmentos del corpus con datos personales de terceros no se aceptan en ninguna entrega; se usa material público o anonimizado.

Certificación

Curso del programa Tunjos para la IA, capa de Oficio, en el formato de microcredencial o de educación continua que adopte la institución. El certificado enumera las cuatro competencias y el nivel alcanzado en cada producto. Es apilable con los demás cursos de las rutas Texto e Imagen del programa: Validación del razonamiento con IA en ciencias sociales, que da los fundamentos sobre qué inferencia hace la máquina y cuál exige a alguien que responda; Corpus de textos con procedencia en ciencias sociales y Descripción auditada de imágenes en investigación social, que enseñan a construir el corpus con procedencia del que aquí salen los fragmentos; y Validar y defender investigación social asistida por IA, que recibe el libro de códigos y enseña a validarlo y a escribir hallazgos defendibles.