Un instructor termina una sesión y la pantalla dice 92% de aciertos. Buena semana, en apariencia. Pero el niño trabajó con la tarjeta correcta resaltada al lado de la muestra en casi todos esos ensayos, tres de los conceptos ya los dominaba desde marzo, y los dos que de hecho se estaban enseñando sumaron 4 de 12 entre los dos. El 92% es una operación aritmética. No es un hecho sobre el niño.
Esa distancia —entre un número que una herramienta puede producir y un número que puedes defender ante un supervisor, una familia o un comité de ética— es de lo que trata esta lista. Está escrita para Instructores que están evaluando cualquier herramienta de este tipo, la nuestra incluida.
1. ¿Separa las respuestas independientes de las que llevaron ayuda?
Pide ver un informe que muestre las dos cosas. Una respuesta correcta con ayuda te dice que la ayuda funcionó; solo una respuesta correcta sin ayuda te dice que el niño sabe hacerlo. Una herramienta que las junta en un único porcentaje de aciertos produce sus cifras más altas justo cuando más se está ayudando al niño, que es lo contrario de lo que necesitas.
Una buena respuesta se parece a esto: el informe muestra los ensayos independientes como una cuenta aparte, y la decisión de dominio sale solo de esos.
2. ¿Comprueba lo que enseñó, o solo lo que practicó?
Una sonda es un puñado de ensayos que se pasan sin ayuda y sin corrección, con material que el niño no ha practicado: esa combinación es lo que la convierte en una comprobación en vez de en más enseñanza. Practicar y comprobar responden preguntas distintas. Casi cualquier herramienta informa de la práctica. Pregunta expresamente si puede pasar ensayos con la corrección apagada e informar de ellos por separado.
Una buena respuesta se parece a esto: la herramienta puede presentar material no entrenado, retiene la corrección en él por diseño, y nunca deja que una sonda cuente para la racha de dominio.
3. ¿Puede decir cuál era el criterio antes de que corriera la sesión?
«Dominado» no significa nada por sí solo. Tres aciertos seguidos es una afirmación distinta de un 80% en los últimos diez ensayos, que a su vez es distinta de una estimación de probabilidad que cruza un umbral. Pregunta dónde está escrito el criterio, si se fijó de antemano, y si el informe lo imprime al lado del veredicto.
Una buena respuesta se parece a esto: cada etiqueta de «dominado» se muestra junto a la regla que la produjo.
4. ¿Una segunda persona puntuaría igual la misma sesión?
Esto es el acuerdo entre observadores, y es la prueba estándar de que una medida describe al niño y no a quien observa. Ledford y Gast (2018) consideran preferible un acuerdo del 90% o más —la proporción de ensayos en los que dos observadores independientes anotaron el mismo resultado— e inaceptable por debajo del 80%. Pregunta si la herramienta puede producir siquiera ese número.
Una buena respuesta se parece a esto: un segundo observador puede puntuar una sesión sin ver cómo la puntuó el primero, y el informe da el acuerdo por sesión y por concepto, no una única cifra promediada.
5. ¿Registra si el procedimiento corrió como estaba diseñado?
Greer (2002) defiende comprobar la enseñanza antes de analizar al aprendiz: un requisito previo que falta y una sesión con presentaciones poco claras dibujan la misma línea plana en una gráfica. La fidelidad de procedimiento es el registro de lo que la sesión hizo realmente —ayudas dadas, correcciones entregadas, intervalos respetados— y la mayoría de las herramientas tienen esos datos y no los informan nunca.
Una buena respuesta se parece a esto: la herramienta lee la fidelidad de la sesión que ya grabó, nombra lo que no pudo comprobar, y no mete lo no medible dentro del porcentaje.
6. ¿Qué pasa cuando no hay internet?
Una sala de terapia en el sótano de un colegio, una visita a domicilio, un centro con una sola conexión compartida. Pregunta qué hace la aplicación si la conexión se cae a mitad de sesión: si los ensayos ya pasados se quedan en el dispositivo, si la sesión se puede terminar, y si se pierde algo al volver a conectar.
Una buena respuesta se parece a esto: la sesión llega hasta el final sin conexión y los datos están en el dispositivo antes de que intervenga ningún servidor.
7. ¿Dónde viven los datos del niño, y puedes sacarlos?
Estás manejando datos de salud de un menor. Pregunta tres cosas por separado: qué sale del dispositivo y cuándo, si la copia en la nube es algo que tú enciendes o algo que ya venía encendido, y qué contiene realmente una exportación. Una exportación que no puedes abrir en una hoja de cálculo ni entregar a un comité no es una exportación.
Una buena respuesta se parece a esto: la respuesta sobre el almacenamiento es concreta, la copia en la nube se activa a propósito, y la exportación es un formato de fichero documentado que puedes leer sin el proveedor.
El patrón de las siete
| Una respuesta vaga suena así | Una respuesta comprobable suena así |
|---|---|
| «Nuestros informes son completos» | «Este es el campo, y este es el sitio del informe donde sale» |
| «La IA se adapta al niño» | «Esta es la regla, esto es lo que cambia, y aquí queda anotado el cambio» |
| «Cumplimos toda la normativa» | «Esto se guarda, esto se transmite, y esta persona lo controla» |
| «Los datos están seguros» | «Este es el mecanismo, y esto es lo que garantiza y lo que no» |
Las preguntas no son una rúbrica de puntuación y no hay un total para aprobar. Lo que hacen es mover una demostración desde el aspecto que tiene la interfaz hasta aquello a lo que se comprometen sus números; y un proveedor que responde seis de las siete con precisión, y dice sin rodeos que la séptima todavía no está construida, te está diciendo más que uno que responde las siete con soltura.