Cómo elegir un diseño de evaluación educativa

Cuando una institución quiere evaluar una tutoría, un programa de innovación docente o una iniciativa de Vinculación con el Medio, la conversación suele comenzar por una herramienta: “hagamos una encuesta”, “necesitamos un grupo de control” o “construyamos un tablero”. El método aparece antes que la pregunta. Ese orden es cómodo, pero riesgoso. Una encuesta puede medir satisfacción sin mostrar aprendizaje. Un experimento puede estimar un efecto promedio sin explicar por qué ocurrió. Un estudio de caso puede revelar mecanismos valiosos sin permitir generalizar a toda la institución. Un tablero puede organizar indicadores y, aun así, no responder la decisión que motivó la evaluación. No existe un método rey. Existen diseños más o menos adecuados para una pregunta, un programa, un contexto y una decisión. El rigor no consiste en usar siempre la técnica más sofisticada, sino en construir una relación defendible entre lo que necesitamos saber, la evidencia disponible y las conclusiones que realmente podemos sostener. Empezar por la decisión, no por el instrumento Antes de discutir muestras, entrevistas o modelos estadísticos conviene formular una pregunta aparentemente simple: ¿qué decisión deberá apoyar esta evaluación? No es lo mismo decidir si una iniciativa debe continuar que explicar cómo mejorarla. Tampoco es igual determinar si produjo un cambio, identificar para quién funcionó o saber si puede transferirse a otra sede. Cada propósito abre preguntas distintas: Continuar o cerrar: ¿los resultados justifican los recursos y costos? Mejorar: ¿dónde se interrumpe la implementación y qué barreras enfrentan los participantes? Escalar: ¿qué componentes son esenciales y cuáles pueden adaptarse? Rendir cuentas: ¿qué resultados se alcanzaron y con qué evidencia? Aprender: ¿qué mecanismos operaron, para quién y en qué condiciones? Si la decisión no está clara, la evaluación puede producir información impecable y poco útil. Un cuestionario de satisfacción no resolverá por sí solo si una estrategia de nivelación mejora la progresión. Una comparación de tasas tampoco explicará por qué una sede obtiene resultados distintos de otra. No toda iniciativa está lista para una evaluación de impacto Una iniciativa recién iniciada necesita preguntas diferentes de un programa estable. Si todavía cambia su población objetivo, su modelo de atención o sus actividades centrales, intentar estimar un efecto atribuible puede generar una precisión engañosa. En una etapa inicial conviene verificar primero: si el problema fue definido con suficiente claridad; si la población objetivo está efectivamente siendo alcanzada; si las actividades se implementan como fueron diseñadas; si existen recursos, capacidades y tiempos mínimos; si la cadena entre actividades, resultados e impacto es plausible. Aquí la evaluación de diseño y de implementación suele aportar más que una estimación prematura de impacto. No es una opción “menos rigurosa”. Es la evaluación adecuada para reducir la incertidumbre que existe en esa fase. Cuando el programa está estabilizado, cuenta con registros consistentes y presenta una exposición suficientemente diferenciada, puede ser razonable avanzar hacia preguntas sobre resultados e impacto. La madurez no garantiza un diseño experimental, pero determina qué preguntas son contestables. La pregunta causal no obliga a una sola respuesta metodológica Preguntar si una intervención produjo un cambio exige construir una comparación creíble: qué habría ocurrido sin ella. Los diseños experimentales y cuasiexperimentales pueden ser muy valiosos cuando existe una intervención bien delimitada, datos adecuados y condiciones éticas y operativas para comparar grupos. Sin embargo, la literatura también advierte los límites de convertirlos en sinónimo de toda evaluación de impacto. En su artículo “Evaluación de impacto: más allá de la experimentación” , Ester García Sánchez y Myriam Cardozo Brum plantean que la elección debe considerar la naturaleza del programa, el contexto, la factibilidad y el propósito. Su argumento no descarta los experimentos; cuestiona que una sola familia metodológica monopolice la idea de rigor. En educación superior, muchas intervenciones ocurren en sistemas abiertos. Una política de acompañamiento puede coincidir con cambios curriculares, nuevos beneficios, modificaciones docentes y variaciones en la composición de las cohortes. Una iniciativa de Vinculación con el Medio puede depender de relaciones territoriales, decisiones de socios y procesos que evolucionan durante la ejecución. En esos casos, prometer atribución exclusiva puede ser menos honesto que investigar contribución: qué papel desempeñó la iniciativa dentro de una combinación de causas y qué explicaciones alternativas siguen siendo plausibles. Seis preguntas para elegir el diseño La elección metodológica puede ordenarse mediante seis preguntas encadenadas. 1. ¿Qué necesitamos saber? “¿Funcionó?” es demasiado amplio. Conviene distinguir resultados, mecanismos, implementación, equidad, costos, sostenibilidad y transferibilidad. Una misma evaluación no siempre puede resolverlos todos con igual profundidad. 2. ¿Qué tan madura es la iniciativa? Un piloto inestable requiere aprender sobre factibilidad y operación. Un programa consolidado permite comparar trayectorias y examinar efectos. Evaluar el impacto de algo que aún no se implementa de manera reconocible confunde fallas de diseño, ejecución y teoría. 3. ¿Cómo se supone que ocurre el cambio? La teoría del programa explicita actividades, resultados esperados, supuestos y condiciones. Sirve para abrir la “caja negra”: no solo observar si hubo cambio, sino identificar qué mecanismo podría haberlo producido. También ayuda a detectar qué evidencia falta y dónde podrían aparecer consecuencias no previstas. 4. ¿Cuánta complejidad causal existe? Si la intervención es acotada y la exposición puede diferenciarse, una comparación contrafactual puede ser viable. Si múltiples actores, políticas y contextos interactúan, será necesario combinar trazado de procesos, análisis de contribución, casos comparados o evaluación realista. Complejidad no significa renunciar a la causalidad; significa formularla sin fingir que una sola variable controla el sistema. 5. ¿Qué permiten la ética y la operación? Asignar apoyos al azar puede ser defendible cuando existe incertidumbre genuina, recursos limitados, consentimiento y un estándar de atención protegido. Puede ser problemático si implica negar un apoyo ya considerado necesario o aumentar desigualdades evitables. Alternativas como implementación escalonada, series temporales, comparaciones naturales o diseños basados en teoría también pueden producir evidencia útil. 6. ¿Qué datos existen y qué sesgos contienen? Los registros administrativos suelen cubrir a muchas personas, pero fueron creados para gestionar, no necesariamente para evaluar. Las encuestas capturan experiencias y percepciones, aunque sufren autoselección y no respuesta. Las entrevistas explican procesos, pero no representan automáticamente a toda la población. El diseño debe reconocer esas limitaciones antes de convertir disponibilidad en validez. Una matriz práctica de correspondencias No hay una receta automática, pero sí correspondencias razonables: Si la pregunta es si hubo un efecto atribuible , considerar experimentos, cuasiexperimentos, discontinuidades, diferencias en diferencias o series temporales, siempre que sus supuestos puedan sostenerse. Si la pregunta es por qué y cómo ocurrió el cambio , usar teoría del programa, evaluación de procesos, trazado de mecanismos, entrevistas, observación y análisis documental. Si interesa saber para quién funciona y en qué contexto , combinar datos desagregados con casos comparados o evaluación realista. Si se necesita estimar la contribución en un sistema complejo , contrastar la cadena causal con múltiples fuentes, explicaciones rivales y evidencia de actores. Si la prioridad es mejorar durante la implementación , usar ciclos formativos, retroalimentación rápida, indicadores de proceso e incidentes críticos. Si la legitimidad y pertinencia son centrales , incorporar participación de estudiantes, docentes y actores del entorno, sin tratar cada percepción como prueba causal. La guía Magenta del Gobierno británico insiste en planificar la evaluación junto con el diseño de la intervención y en ajustar el enfoque al uso esperado de la evidencia. Esa anticipación permite crear líneas de base, acordar definiciones y evitar que, al final, la institución descubra que nunca registró la información necesaria. Métodos mixtos no significa acumular instrumentos Combinar una encuesta, entrevistas y datos administrativos no constituye por sí solo un diseño mixto. La integración ocurre cuando cada fuente cumple una función explícita y las evidencias dialogan. Por ejemplo, los registros pueden mostrar que la progresión mejoró; una comparación puede estimar cuánto difiere respecto de una trayectoria plausible sin el programa; entrevistas y observación pueden explicar qué componentes fueron utilizados, cuáles generaron barreras y por qué el resultado varió entre estudiantes. Si las fuentes discrepan, esa tensión no debe esconderse: puede revelar sesgos, implementación desigual o mecanismos no considerados. Triangular no es buscar tres formas de confirmar la misma historia. Es construir una interpretación capaz de resistir evidencia que la contradiga. El diseño también debe declarar lo que no puede concluir Toda evaluación rigurosa necesita una frontera de inferencia. Si solo se midió satisfacción, no corresponde afirmar impacto. Si existe asociación sin comparación suficiente, no debe hablarse de causalidad. Si se estudió una carrera en una sede, la transferibilidad a toda la institución requiere argumentos adicionales. Una ficha de diseño debería dejar por escrito: la decisión que se apoyará; las preguntas prioritarias; la teoría del programa; la unidad de análisis y comparación; las fuentes y sus limitaciones; los supuestos causales; los riesgos éticos; los criterios de interpretación; las conclusiones permitidas y prohibidas. Este último punto es especialmente importante. Acordar de antemano qué no podrá decir la evaluación protege a los equipos frente a la presión posterior por convertir resultados modestos en promesas institucionales. Elegir mejor antes de medir más Las instituciones de educación superior no necesitan adherir a una escuela metodológica única. Necesitan capacidad para formular preguntas, comprender supuestos, combinar evidencia y explicar límites. A veces el diseño más sólido será experimental. En otras ocasiones, una serie temporal, un estudio comparado, un análisis de contribución o una evaluación de implementación responderán mejor. Incluso puede ser responsable concluir que todavía no corresponde evaluar impacto y que primero hay que estabilizar la iniciativa. La pregunta decisiva no es “¿cuál es el mejor método?”, sino “¿qué diseño nos permite tomar esta decisión sin afirmar más de lo que la evidencia demuestra?”. Cambiar el orden —pregunta, contexto y decisión antes que herramienta— no simplifica la evaluación. La vuelve más útil y más honesta. Si trabajas en calidad, docencia, Vinculación con el Medio o planificación institucional, puedes registrarte gratuitamente en InnovacionAcademica.org para acceder a análisis y recursos orientados a tomar decisiones educativas con mejor evidencia. Fuentes consultadas García Sánchez, E., y Cardozo Brum, M. (2017). Evaluación de impacto: más allá de la experimentación . Universidad Autónoma Metropolitana: PDF oficial del artículo . HM Treasury: The Magenta Book, guía de evaluación . BetterEvaluation: Rainbow Framework . Imagen de portada: jornada de formación para bibliotecarios y gestores de información en la Universidad de Santiago de Chile. Mimartinez (WMCL)/Wikimedia Commons, licencia CC BY-SA 4.0.