¿Te puedes fiar de tus propios datos? Las tres comprobaciones que lo deciden

Alguien mira tu gráfica y hace la única pregunta que importa: ¿cómo sabes que esto es cierto?

No “¿ha mejorado el niño?”. Algo anterior y más difícil: ¿cómo sabes que esa línea habla del niño, y no de quién sostenía la hoja de registro, o de lo que se tecleó después?

Un registro puede estar mal de tres maneras distintas, y hacen falta tres respuestas distintas.

1. ¿Habría escrito lo mismo otra persona?

Esto es el acuerdo entre observadores, y es lo que decide si una variable dependiente se puede reportar siquiera. Si un ensayo lo puntuó una sola persona, no hay ninguna prueba de que la puntuación fuera consistente; solo de que fue segura.

El procedimiento no tiene ningún glamour: un segundo adulto observa al mismo niño y puntúa los mismos ensayos, por su cuenta, y después se comparan los dos registros. La palabra que hace todo el trabajo es por su cuenta. Dos observadores que pueden verse las respuestas son un observador con testigo.

De ahí salen dos números:

• Porcentaje de acuerdo. Ledford y Gast (2018) ponen el listón en el 90% o más para investigación aplicada, y consideran inaceptable cualquier cosa por debajo del 80%. Son sus umbrales, y no se vuelven más amables porque una sesión haya salido mal.
• Kappa de Cohen. El acuerdo bruto se infla cuando una categoría domina. Si el niño acierta casi todo, dos observadores coinciden constantemente por accidente. La kappa resta el acuerdo que cabría esperar solo por azar y reporta lo que queda.

Hay un tercer número que se olvida y que cambia el significado de los otros dos: cuántos ensayos se puntuaron dos veces. Un acuerdo del 100% sobre tres ensayos y un acuerdo del 100% sobre ochenta no son la misma afirmación. Solo el denominador te dice cuál estás leyendo.

En Interlaza, la próxima sesión se prepara para un segundo observador antes de que empiece, desde la pestaña de Resultados del niño. El acuerdo no se puede montar después: los ensayos hay que observarlos mientras ocurren. El segundo adulto puntúa en su propio dispositivo, y la pantalla no le enseña cómo puntuó el primero hasta que él ha respondido. Después, el informe da el acuerdo y la kappa, desglosados por sesión y por concepto, con el número de ensayos sobre el que se calcularon.

El desglose no es un adorno. Ledford y Gast advierten expresamente contra dar una única cifra promediada de acuerdo, porque el promedio esconde justo la condición en la que los dos observadores se separaban. Así que el total nunca sale sin sus tablas.

2. ¿La sesión se ejecutó como estaba diseñada?

Esto es la fidelidad del procedimiento, y se trata como criterio de riesgo de sesgo, no como un trámite: un estudio que la mide y la reporta tiene bajo riesgo de sesgo, y uno que no, no.

En papel esto es caro. Significa un segundo adulto con una lista de comprobación marcando casillas: si la ayuda se dio en el nivel previsto, si se respetó el intervalo, si el reforzador se entregó según lo programado, si la corrección de errores se aplicó cuando tocaba.

Un programa sabe casi todo eso sin preguntarle a nadie. El motor que ejecutó la sesión ya anotó, en cada ensayo, lo que hizo. Así que la lista de comprobación es una lectura del registro, no una persona más en la sala. Interlaza comprueba cuatro cosas:

• El desvanecimiento de la ayuda se mantuvo dentro del rango configurado, nunca subió después de un error y nunca saltó más de un paso.
• Las oportunidades sin ayuda — sondas y ensayos de corrección — llegaron sin ayuda en pantalla. Una sonda con ayuda mide la ayuda.
• El refuerzo correspondía a la respuesta, y el adelgazamiento no empezó antes de que el concepto se lo hubiera ganado.
• La corrección de errores siguió el procedimiento configurado y se mantuvo dentro de su techo.

Solo se cuentan invariantes que sobreviven a la adaptatividad de la propia app. Si el monitor de intervenciones retiene una fase de desvanecimiento, o el desvanecimiento adaptativo cambia cuántos aciertos pide una fase, o una corrección se detiene antes porque el niño da señales de rechazo, nada de eso es una desviación y nada de eso se cuenta como tal.

Y el panel dice en voz alta lo que no puede comprobar. El registro guarda cuándo llegó la respuesta, no cuándo empezó el ensayo, así que el intervalo entre ensayos no es verificable desde ahí; el número de comparaciones en pantalla tampoco se guarda. Las dos aparecen en pantalla, con el motivo, y ninguna entra en el porcentaje. Una cifra de fidelidad que se salta calladamente lo que no pudo medir es peor que no dar ninguna.

3. ¿Se pudo cambiar el registro después?

Las dos comprobaciones anteriores hablan de cómo se produjo el dato. Esta habla de lo que le ha pasado desde entonces.

Cada ensayo en Interlaza lleva un hash calculado sobre el ensayo anterior, así que los ensayos forman una cadena. Editar un ensayo después — una marca de tiempo, una respuesta, un tiempo de reacción — rompe la cadena a partir de ahí, y la rotura se ve. Cuando una sesión termina queda bloqueada, y el servidor rechaza insertar ensayos nuevos en una sesión ya cerrada.

Aquí las palabras exactas importan. Esto no hace que los datos sean imposibles de alterar. Hace que la alteración sea evidente, que es la propiedad que de verdad hace falta: nadie tiene que fiarse de que el archivo se dejó en paz, porque al archivo se le puede preguntar.

Lo que nada de esto demuestra

Ninguna de las tres te dice que el niño haya aprendido algo. El acuerdo dice que dos personas vieron lo mismo. La fidelidad dice que el procedimiento se ejecutó como estaba diseñado. La cadena dice que el registro es el que se escribió en su momento.

Juntas te compran algo más estrecho y más útil que la confianza: convierten la gráfica en una afirmación sobre el niño, en vez de una afirmación sobre el registro. Si el niño está aprendiendo es la pregunta siguiente, y solo merece la pena hacerla cuando estas tres están contestadas.

Los umbrales de acuerdo y el criterio de fidelidad del procedimiento son de Ledford, J. R., y Gast, D. L. (2018). Single Case Research Methodology: Applications in Special Education and Behavioral Sciences (3ª ed.), capítulo 5.