Cómo detectar efectos no previstos al evaluar

Una institución implementa un sistema de alertas tempranas para acompañar a estudiantes con dificultades. El tablero mejora: aumentan las derivaciones y disminuye el tiempo de respuesta. Sin embargo, algunos grupos comienzan a sentirse vigilados, las tutorías reciben una demanda que no pueden absorber y ciertos docentes dejan de conversar directamente con sus estudiantes porque confían en la alerta automática. El ejemplo es hipotético, pero muestra un problema frecuente de evaluación: medir con precisión lo que se esperaba y dejar fuera lo que la intervención produjo sin haberlo prometido . Los efectos no previstos no son necesariamente negativos. Una innovación puede generar colaboraciones, aprendizajes o usos que nadie anticipó. Tampoco todo cambio posterior es atribuible a la intervención. La tarea consiste en ampliar el campo de observación sin convertir cada anécdota en causalidad. Evaluar bien exige una doble mirada: comprobar si ocurrió lo previsto y buscar activamente qué más cambió, para quién, en qué momento y mediante qué mecanismo. Los indicadores heredan la intención del diseño Toda intervención comienza con una selección. Se define un problema, se eligen actividades y se fijan resultados. Luego, los indicadores siguen esa arquitectura. Si el objetivo es reducir deserción, se medirá permanencia; si se busca mejorar docencia, aparecerán satisfacción, aprobación o logro; si se implementa una plataforma, se observarán acceso, uso y tiempo de respuesta. Esa coherencia es necesaria, pero tiene un límite: el sistema de medición suele mirar hacia donde el diseño ya apuntaba. Puede registrar el beneficio principal y no ver el costo que se desplazó hacia otra unidad, la carga que asumió un grupo, la conducta oportunista que generó una meta o una desigualdad que el promedio oculta. El enfoque de Sumera Jabeen para evaluar resultados no intencionados propone observarlos según varias dimensiones: si podían anticiparse, si son valorados como positivos o negativos, cómo se distribuyen y cuándo aparecen. Su artículo sobre evaluación de resultados no previstos organiza el trabajo en tres movimientos: explicitar intenciones, anticipar efectos plausibles y mapear tanto lo esperado como lo que emerge durante la implementación. La idea central es sencilla: una evaluación no debe esperar al informe final para descubrir que estaba haciendo las preguntas equivocadas. No previsto no significa inexplicable Cuando aparece un resultado inesperado, la primera reacción suele ser clasificarlo como “externo” o “anecdótico”. Otra respuesta, igualmente riesgosa, es atribuirlo de inmediato a la intervención. Entre ambos extremos existe una ruta más rigurosa: construir una explicación contrastable. Un equipo puede comenzar por reconstruir la secuencia. ¿El efecto apareció después de la implementación? ¿Se concentra donde la intervención tuvo mayor intensidad? ¿Existen explicaciones alternativas? ¿Qué decisiones, incentivos o interacciones podrían conectar la actividad con el resultado? Bonell y colaboradores propusieron los “modelos lógicos oscuros” para teorizar cómo una intervención bien intencionada podría producir daño. Su trabajo, desarrollado en salud pública, sostiene que no basta con contar eventos adversos: también hay que comprender los mecanismos que podrían generarlos. El artículo sobre consecuencias perjudiciales de las intervenciones recomienda combinar teoría, comparación con experiencias semejantes y consulta a actores locales. En educación superior, una versión práctica consiste en añadir al modelo de cambio una columna incómoda: “¿Cómo podría salir mal?”. No para paralizar la innovación, sino para identificar señales tempranas y decisiones preventivas. Cuatro formas en que una evaluación puede perder lo importante 1. El problema se desplaza Una solución puede mejorar un indicador y trasladar la dificultad a otra parte. Una plataforma reduce trámites presenciales, pero aumenta solicitudes de soporte. Una nueva política acelera la resolución de casos, pero transfiere trabajo administrativo al profesorado. Un programa amplía cobertura, pero satura los apoyos que daban profundidad a la experiencia. El efecto desaparece si cada unidad reporta solo sus propios resultados. Por eso conviene observar el proceso completo y preguntar qué nuevas tareas, tiempos y costos aparecieron en otros equipos. 2. El promedio esconde distribución Un resultado institucional positivo puede coexistir con perjuicios concentrados. Una modalidad flexible podría beneficiar a quienes disponen de autonomía y conectividad, mientras aumenta las barreras para quienes requieren más estructura, accesibilidad o acompañamiento. Un sistema automatizado puede funcionar razonablemente en promedio y cometer más errores con grupos subrepresentados. La evaluación debe desagregar por variables pertinentes —sede, modalidad, jornada, trayectoria, discapacidad, género, edad u otras— sin convertir diferencias descriptivas en explicaciones causales automáticas. La pregunta no es solo “¿funcionó?”, sino “¿quién recibió el beneficio y quién asumió los costos?”. 3. La meta cambia la conducta Los indicadores influyen en aquello que pretenden medir. Si una unidad es premiada por cantidad de actividades, puede fragmentar iniciativas. Si una carrera recibe presión por mejorar aprobación, puede concentrar esfuerzos en el resultado visible y descuidar aprendizajes menos inmediatos. Si el éxito de un apoyo se define por número de atenciones, la duración o complejidad de los casos puede volverse un obstáculo para la meta. Esto no prueba manipulación. Muestra que toda métrica crea incentivos. Evaluar requiere observar adaptaciones estratégicas, atajos y cambios en la calidad de la práctica, no solo el cumplimiento numérico. 4. Los efectos aparecen tarde Algunas consecuencias son inmediatas; otras requieren varios ciclos. Una innovación puede elevar satisfacción durante el piloto y volverse insostenible cuando desaparece el equipo extraordinario. Un rediseño curricular puede mejorar aprobación inicial, pero desplazar brechas hacia asignaturas posteriores. Una alianza territorial puede cerrar con productos visibles y dejar compromisos de continuidad que nadie financió. El calendario de evaluación debe corresponder al tiempo del efecto. Un corte demasiado temprano confunde entusiasmo de implementación con sostenibilidad. Una pauta para buscar lo que el tablero no muestra La guía británica Magenta Book sobre evaluación insiste en diseñar evidencia útil para decisiones, articular teoría de cambio, implementación e impacto y ajustar el esfuerzo evaluativo al riesgo y al uso previsto. A partir de ese principio y de los enfoques anteriores, una institución puede organizar una pauta de ocho pasos. Definir con precisión la intención. Registrar qué resultados se esperan, para quiénes, en qué plazo y bajo qué supuestos. Sin una intención explícita, resulta difícil distinguir lo previsto de lo emergente. Hacer un premortem. Antes de implementar, reunir a docentes, estudiantes, equipos de apoyo y responsables operativos para imaginar desplazamientos, cargas, exclusiones y mecanismos de daño plausibles. Crear preguntas abiertas. Incorporar en entrevistas y encuestas preguntas como “¿qué cambió que no esperábamos?” o “¿qué se volvió más difícil?”. Una lista cerrada solo encontrará lo que ya conoce. Usar señales diversas. Combinar datos administrativos con observación, grupos de conversación, registros de soporte, apelaciones, reclamos, abandonos del servicio y experiencias de quienes no participaron. Desagregar y comparar. Revisar distribución por grupos, lugares y momentos. Los promedios netos pueden cancelar beneficios y daños que ocurren simultáneamente. Reconstruir el mecanismo. Elaborar una cronología, buscar evidencia de implementación y contrastar explicaciones alternativas antes de atribuir el efecto. Definir umbrales de acción. Acordar quién puede pausar, adaptar o escalar una intervención ante una señal adversa. Detectar un riesgo sin autoridad para responder produce informes, no protección. Reportar balance y desacuerdo. Presentar beneficios, costos, incertidumbre y diferencias entre actores. Un efecto puede ser conveniente para una unidad y gravoso para otra. La escucha abierta también necesita método Buscar hallazgos emergentes no significa reemplazar evidencia por una colección de testimonios. Un reclamo puede revelar un mecanismo importante, pero no estima por sí solo su frecuencia. Un patrón administrativo puede mostrar asociación, pero no explica necesariamente por qué ocurrió. Una entrevista puede ayudar a construir hipótesis, no confirmar automáticamente causalidad. La respuesta es triangulación. Si una señal aparece en relatos, registros operativos y cambios temporales, merece investigación. Si solo surge en un caso, puede seguir siendo relevante por su gravedad, aunque no sea generalizable. La evaluación debe registrar qué sabe, qué infiere y qué todavía necesita comprobar. También conviene proteger los canales de reporte. Si estudiantes, docentes o socios territoriales creen que señalar un daño pondrá en riesgo su relación con la institución, la evaluación recibirá respuestas complacientes. Confidencialidad, vías independientes y devolución de resultados forman parte de la calidad metodológica. Detectar daños no es estar contra la innovación Una cultura institucional madura no confunde evaluación crítica con resistencia. Las innovaciones educativas operan en sistemas complejos: modifican tiempos, incentivos, relaciones y distribuciones de responsabilidad. Que aparezcan efectos no anticipados no demuestra automáticamente que la iniciativa deba cerrarse. Demuestra que necesita aprendizaje y gobierno. A veces la respuesta será ajustar una regla. Otras veces habrá que ampliar apoyos, cambiar un indicador, reducir escala o detener una práctica. También pueden aparecer beneficios emergentes que justifiquen extender una experiencia hacia usos no contemplados inicialmente. El fracaso metodológico no consiste en encontrar un efecto negativo. Consiste en no haber creado las condiciones para verlo, discutirlo y actuar. Evaluar también es dejarse sorprender Una evaluación diseñada únicamente para confirmar promesas puede ser ordenada, comparable y tranquilizadora. Pero será incompleta. La evidencia más útil no siempre coincide con el indicador que abrió el proyecto; a veces aparece en una carga inesperada, una voz minoritaria, una desigualdad emergente o un beneficio que el diseño nunca imaginó. Mirar esos resultados no reduce el rigor. Lo aumenta. Obliga a distinguir señal de prueba, asociación de causalidad, promedio de distribución y actividad de consecuencia. También convierte la evaluación en una herramienta de cuidado institucional: permite corregir antes de que una dificultad se normalice. Si trabajas en evaluación, calidad, docencia o innovación en educación superior, regístrate gratis en InnovacionAcademica.org. Podrás seguir explorando enfoques y herramientas para tomar decisiones con evidencia, reconocer incertidumbres y aprender también de aquello que no estaba en el plan. Fuentes consultadas Jabeen, S. (2018). Unintended outcomes evaluation approach: A plausible way to evaluate unintended outcomes of social development programmes . Evaluation and Program Planning, 68, 262–274. Bonell, C., Jamal, F., Melendez-Torres, G. J., & Cummins, S. (2015). ‘Dark logic’: theorising the harmful consequences of public health interventions . Journal of Epidemiology and Community Health, 69(1), 95–98. HM Treasury. The Magenta Book: Central Government guidance on evaluation .