Cómo saber por qué funciona una iniciativa educativa

Una institución implementa el mismo programa de acompañamiento en tres sedes. En la primera mejora la progresión; en la segunda, el cambio es modesto; en la tercera, los estudiantes casi no participan. El promedio institucional podría sugerir un resultado aceptable. Sin embargo, ese dato no responde las preguntas que importan para decidir: ¿qué produjo la diferencia?, ¿qué encontraron los estudiantes en una sede que no encontraron en otra?, ¿conviene escalar, adaptar o detener el programa? Medir si hubo cambio es indispensable, pero no siempre explica cómo ocurrió. Entre una iniciativa y sus resultados existe una “caja negra” formada por decisiones, recursos, relaciones, interpretaciones y condiciones de contexto. Si no se abre, una institución puede copiar el componente visible de una experiencia —una tutoría, una plataforma, un taller— sin reproducir aquello que realmente activó el cambio. La pregunta más útil deja entonces de ser solamente “¿funcionó?” y se vuelve más precisa: ¿qué funciona, para quién, mediante qué mecanismos y bajo qué condiciones? Un promedio puede ocultar varias historias Supongamos que una estrategia de tutorías aumenta la retención de primer año. El resultado agregado es positivo, pero admite explicaciones diferentes. Quizás ayudó especialmente a estudiantes que necesitaban orientación para comprender reglas académicas. Tal vez funcionó donde las tutorías estaban integradas al horario y fracasó donde competían con el trabajo remunerado. Puede que la confianza con el tutor importara más que el número de sesiones. Incluso es posible que una mejora simultánea en beneficios estudiantiles explique parte del cambio. Estas hipótesis conducen a decisiones distintas. Si el mecanismo fue la anticipación de dificultades, escalar exige alertas oportunas y capacidad de respuesta. Si fue el sentido de pertenencia, una aplicación automatizada difícilmente sustituirá la relación humana. Si el horario excluyó a estudiantes vespertinos, repetir el diseño ampliará la desigualdad. Por eso, desagregar resultados por sede, jornada, carrera o características estudiantiles es necesario, aunque no suficiente. Una diferencia estadística identifica dónde mirar; no revela automáticamente qué la produjo. La teoría del programa: hacer visibles los supuestos Una vía para abrir la caja negra es reconstruir la teoría del programa: cómo se supone que las actividades generan cambios, qué pasos intermedios deben ocurrir y qué condiciones sostienen esa cadena. En su artículo “Evaluación de impacto: más allá de la experimentación” , Ester García Sánchez y Myriam Cardozo Brum explican que la teoría del programa permite estudiar lógica, supuestos, mecanismos y contexto sin obligar a escoger una técnica única. No reemplaza la medición de resultados ni invalida los diseños contrafactuales. Responde otra parte del problema: qué ocurrió entre la intervención y el cambio observado. Una teoría útil no se limita a dibujar flechas entre “actividad”, “producto” e “impacto”. Debe formular afirmaciones que puedan contrastarse. Por ejemplo: si las alertas llegan antes de una evaluación crítica, los equipos pueden ofrecer apoyo oportuno; si el apoyo es comprensible y no estigmatiza, más estudiantes estarán dispuestos a utilizarlo; si los docentes reciben tiempo, retroalimentación y reconocimiento, podrán incorporar una innovación a su práctica; si un socio territorial participa en la definición del problema, aumentará la pertinencia de una iniciativa de Vinculación con el Medio. Cada afirmación contiene condiciones. Una alerta no produce apoyo si nadie tiene tiempo para responder. Una tutoría no genera confianza por el solo hecho de existir. Una capacitación no cambia prácticas cuando la carga laboral castiga la experimentación. Explicitar esos supuestos transforma intuiciones en preguntas evaluables. Contexto, mecanismo y resultado no son tres columnas aisladas La evaluación realista organiza esta indagación mediante configuraciones de contexto, mecanismo y resultado. Su aporte no consiste en elaborar una lista genérica de factores internos y externos, sino en examinar cómo ciertas condiciones hacen posible —o impiden— que una iniciativa active respuestas determinadas. El contexto puede incluir horarios, reglas, capacidades, liderazgo, recursos, historia de relaciones, modalidad, disciplina o características de la población. No es un decorado: modifica lo que las personas pueden hacer y cómo interpretan la intervención. El mecanismo tampoco es la actividad. “Realizar tutorías” describe lo que ofrece el programa. El mecanismo puede ser que un estudiante comprenda antes una regla, perciba que pedir ayuda es seguro, confíe en una persona o considere que el esfuerzo adicional vale la pena. Incluye recursos ofrecidos y la respuesta que estos provocan. El resultado es el cambio observado, previsto o inesperado: uso del apoyo, aprendizaje, progresión, confianza, modificación de una práctica docente o, también, sobrecarga y exclusión. La literatura ha aplicado este enfoque a problemas de educación superior. Un estudio sobre aseguramiento de la calidad en educación médica del Reino Unido utilizó evaluación realista para indagar cómo y en qué circunstancias operaban procesos de calidad. Otra investigación examinó competencias de educación emprendedora desde esta perspectiva. Estos trabajos no entregan una receta universal; muestran el valor de estudiar condiciones y mecanismos cuando una intervención compleja produce resultados variables. Cinco pasos para investigar por qué cambia un resultado 1. Elegir una decisión concreta “Comprender el programa” es demasiado amplio. Conviene precisar si la evaluación apoyará una decisión de continuidad, mejora, expansión o adaptación. Para escalar, por ejemplo, interesa distinguir componentes esenciales de elementos modificables. 2. Formular hipótesis de mecanismo Las hipótesis pueden surgir de documentos, literatura, entrevistas y talleres con estudiantes, docentes, equipos y actores externos. Deben expresar una relación contrastable: en este contexto, determinado recurso genera una respuesta que contribuye a cierto resultado. La participación es valiosa, pero una percepción no se transforma por sí sola en prueba causal. Las versiones de los actores deben contrastarse con registros, observación, secuencias temporales y explicaciones rivales. 3. Comparar casos que permitan aprender No siempre conviene estudiar solo la sede “exitosa”. Comparar implementaciones con resultados diferentes ayuda a identificar condiciones relevantes. Una carrera diurna y otra vespertina, una innovación con alta y baja adopción o dos sedes con capacidades distintas pueden revelar más que un promedio general. La selección debe ser intencional y transparente. Unos pocos casos no representan automáticamente a toda la institución, pero pueden sostener inferencias razonadas sobre mecanismos y transferibilidad. 4. Integrar evidencia cuantitativa y cualitativa Los datos cuantitativos permiten localizar variaciones, estimar magnitudes y examinar subgrupos. Entrevistas, observación, documentos y trazado de procesos ayudan a reconstruir cómo se implementó la iniciativa y qué respuestas generó. Métodos mixtos no significa acumular instrumentos. La integración ocurre cuando cada fuente cumple una función y cuando las contradicciones se investigan. Si los registros muestran alta participación, pero las entrevistas revelan asistencia obligatoria y escaso uso real, la discrepancia es evidencia, no un problema que deba ocultarse. 5. Buscar explicaciones alternativas y casos que contradigan la historia Una evaluación débil recoge ejemplos compatibles con su teoría. Una más rigurosa busca aquello que podría refutarla. ¿El resultado comenzó antes del programa? ¿Hubo un cambio curricular simultáneo? ¿Existen participantes expuestos que no mejoraron o personas que mejoraron sin recibir la intervención? La guía Magenta del Gobierno británico destaca la importancia de desarrollar teorías de cambio, considerar mecanismos y contexto, y escoger enfoques según la pregunta. El rigor basado en teoría no consiste en contar una historia plausible, sino en someterla a evidencia rival. Escalar no es copiar el componente visible Cuando una iniciativa obtiene buenos resultados, la tentación es reproducir su formato: el mismo número de talleres, una plataforma similar o idénticos materiales. Pero lo transferible puede estar en otro lugar. Una innovación docente puede depender de coordinación entre asignaturas, tiempo protegido y una comunidad que permite probar sin temor al castigo. Un programa de permanencia puede requerir horarios compatibles, derivación efectiva y acceso a beneficios. Una iniciativa territorial puede sostenerse en años de confianza que no viajan en un manual. Antes de escalar, conviene separar: recursos esenciales: aquello que la iniciativa debe ofrecer; mecanismos esperados: respuestas que esos recursos buscan activar; condiciones necesarias: capacidades, tiempos, relaciones y reglas; componentes adaptables: formatos que pueden cambiar sin destruir la lógica; señales tempranas: evidencias de que el mecanismo está —o no— operando; riesgos de exclusión: grupos para quienes el diseño podría no funcionar. Esta distinción evita dos errores opuestos: copiar una forma sin su lógica o modificar tanto la experiencia que ya no conserva aquello que producía valor. Abrir la caja negra no autoriza a sobreinterpretar La evaluación realista y la teoría del programa fortalecen la explicación, pero no convierten una hipótesis plausible en certeza. Tampoco permiten generalizar sin límites desde entrevistas o estudios de caso. Si la pregunta exige estimar un efecto atribuible, será necesario incorporar comparaciones y diseños capaces de sostener esa inferencia. Lo razonable es combinar preguntas. ¿Cambió el resultado? ¿Cuánto? ¿Para quién? ¿Cómo se implementó? ¿Qué mecanismo parece explicar la variación? ¿Qué otras causas compiten con esa explicación? ¿Qué condiciones serían necesarias para trasladar la iniciativa? Una buena evaluación no termina con la frase “funcionó”. Entrega una explicación suficientemente precisa para decidir qué preservar, qué adaptar, dónde invertir y cuándo no conviene replicar. De demostrar éxito a producir aprendizaje institucional Las instituciones de educación superior desarrollan pilotos, tutorías, innovaciones curriculares, sistemas de IA y proyectos con el entorno. El desafío no es solo acumular casos exitosos. Es aprender por qué producen resultados distintos y convertir ese conocimiento en capacidad institucional. Abrir la caja negra permite pasar del entusiasmo por una experiencia a una decisión más responsable: no copiar porque algo luce prometedor, sino comprender la combinación de recursos, respuestas y condiciones que le dio sentido. Esa explicación no elimina la incertidumbre, pero permite escalar con mejores preguntas y menos promesas. Si te interesa fortalecer la evaluación, la calidad y la innovación en educación, puedes registrarte gratuitamente en InnovacionAcademica.org y acceder a nuevos análisis y recursos para la toma de decisiones institucionales. Fuentes consultadas García Sánchez, E., y Cardozo Brum, M. (2017). Evaluación de impacto: más allá de la experimentación . Universidad Autónoma Metropolitana: PDF oficial del artículo . Crampton, P. E. S. et al. (2019). Realist evaluation of UK medical education quality assurance . Brentnall, C., Rodríguez, I. D., y Culkin, N. (2018). Realist evaluation and entrepreneurship education competitions . HM Treasury: The Magenta Book, guía de evaluación . Imagen de portada: reunión de Wikimedia Chile por el proyecto Wikipedia en la Universidad 2014. Warko/Wikimedia Commons, licencia CC BY-SA 4.0.