Dos décadas de evaluación
To cite this article: Sola Fernández, M. y Murillo Mas, J. F. (2022). Dos décadas de evaluación. Márgenes, Revista de Educación de la Universidad de Málaga, 3(3), 129-135. https://doi.org/10.24310/mgnmar.v3i3.15378
DOI: https://doi.org/10.24310/mgnmar.v3i3.15378
* Miguel Sola Fernández 0000-0001-9195-1597
Universidad de Málaga (España). misola@uma.es
** José Francisco Murillo Mas 0000-0002-9070-8314
Universidad de Málaga (España). kiko@uma.es
RESUMEN:
Los autores hacen un recorrido por toda la trayectoria del grupo de investigación que dirige Ángel Pérez Gómez respecto a los proyectos dedicados a evaluaciones educativas. De hecho, tal y como relatan los autores, buena parte de las investigaciones de envergadura realizadas por el grupo se corresponden con esta etapa evaluativa. En gran medida evaluaciones de políticas educativas auspiciadas y financiadas por la Consejería de Educación de la Junta de Andalucía.
PALABRAS CLAVE: investigación; evaluación; política educativa
ABSTRACT:
The authors take a tour of the entire trajectory of the research group directed by Ángel Pérez Gómez regarding projects dedicated to educational evaluations. In fact, as the authors explain, a large part of the extensive research carried out by the group corresponds to this evaluative stage. To a great extent evaluations of educational policies sponsored and financed by the Ministry of Education of the Junta de Andalucía.
KEYWORDS: research; evaluation; educational policy
Una de las líneas de investigación del grupo que con mano experta y amable ha dirigido Ángel Pérez a lo largo de más de 30 años es la de Evaluación Educativa. De hecho, buena parte de las investigaciones de envergadura son evaluaciones, y en gran medida se trata de evaluaciones de políticas educativas auspiciadas y financiadas en su mayoría por la Consejería de Educación de la Junta de Andalucía.
Las aportaciones del grupo de investigación hay que entenderlas en este ámbito desde dos puntos de vista: por una parte, por lo que representaron en su momento para la comprensión profunda de situaciones complejas y como soporte para la toma de decisiones políticas por parte de las administraciones educativas con respecto a planes y programas. Por otra, no menos importante, por lo que supuso para la investigación educativa la apuesta decidida por la investigación cualitativa, un terreno en el que el grupo puede considerarse sin la menor duda pionero en España.
Los finales de los años 80 y primeros 90 se caracterizan en este sentido por ser de hecho los primeros pasos de un grupo de investigadores e investigadoras pertrechados con una ingente cantidad de lecturas y visitas de autores en su mayoría anglosajones (Lawrence Stenhouse, John Elliott, Barry MacDonald, Helen Simons, Ernst House, John Eisner, Robert Stake…) pero nula experiencia en el trabajo de campo, lo que supuso un extraordinario esfuerzo de formación que convirtió al grupo de investigación en un foro de permanente debate con innumerables reuniones científicas en las que discutir acerca de todo lo relacionado con un campo entonces virgen que había que desbrozar para dominar en extensión y profundidad.
En esos primeros esfuerzos se enmarca la Evaluación de la reforma del Ciclo Superior de EGB en Andalucía, en la que 20 investigadores e investigadoras colaboraron para elaborar un relato descriptivo y comprensivo de lo que había sido la experimentación de un proceso de innovación educativa que afectó a la anterior Segunda Etapa de EGB y pretendía establecer las bases para un proceso de transformación general de la enseñanza, extrayendo conclusiones desde las aulas y los centros en experimentación con el propósito de redactar la siguiente reforma educativa en el país. En 1994 se publicó el informe de la investigación bajo el título “Evaluación de un proceso de innovación Educativa”, coordinado por Ángel Pérez Gómez y José Gimeno Sacristán, en el que se da cuenta detallada de las opiniones de profesorado, alumnado, directivos, administradores, familias… recogidas por medio de diversos instrumentos. Previamente se habían publicado los siete estudios de casos que nutren en buena parte el informe final.
La “Evaluación de las distintas modalidades de Jornada Escolar en Andalucía Oriental” es el siguiente hito en la experiencia evaluadora del grupo de investigación. Nuevamente por encargo de la Junta de Andalucía, se emprende la tarea de valorar las bondades y limitaciones de las tres diferentes jornadas escolar entonces en vigor: continua, partida y mixta. Fueron visitados en un año (1996) 65 colegios y se enviaron cuestionarios a otros 100, dirigidos a familias, alumnado de sexto y segundo de EGB, y profesorado, en las provincias de Almería, Granada, Córdoba, Jaén y Málaga. En los centros que fueron visitados se entrevistó a profesorado y alumnado de sexto. En total se obtuvieron 8566 cuestionarios cumplimentados. Como resultado de todo ello, se elaboraron 9 informes: uno por provincia (5), tres sectoriales (profesorado, alumnado, familias) y un informe de síntesis. Ninguno de ellos vio la luz, seguramente porque los hallazgos de la investigación distaban mucho de las presumibles expectativas de la Administración al respecto, ya que a la luz de los datos se concluía que es preciso tener presentes ideas dispares como la jornada escolar, la jornada lectiva y las legítimas aspiraciones de profesorado y familias, la compensación de desigualdades sociales y la necesidad de ir caminando hacia lo que denominamos la “jornada completa”, considerando a los centros educativos no solo como centros de enseñanza sino como espacios de recreación de cultura y puertas abiertas. Fieles al compromiso ético de la investigación, a falta de la publicación de los resultados, todos los informes fueron enviados a todos los colegios participantes en envíos postales que contenían un disquete, la tecnología disponible en la época.
El cambio de década supuso para el grupo de investigación una dedicación, no exclusiva pero sí muy intensa, a numerosas evaluaciones de programas educativos institucionales. Desde comienzos del año 2000 hasta finales del 2007 se suceden los encargos, plasmados en convenios, gracias a la impecable embajada ejercida por su director, las garantías que ofrecía en cuanto a seriedad, rigor y compromiso con la educación de calidad.
Han pasado años desde la promulgación de la LOGSE en 1990 y se ha completado la progresiva implantación del nuevo sistema educativo. La Educación Secundaria Obligatoria es objeto de todo tipo de comentarios en toda clase de mentideros, pero nadie sabe a ciencia cierta qué está sucediendo con ella en los centros educativos, cuáles son las perspectivas de cada grupo de actores y actrices en ese teatro tan complejo y transido de intereses, creencias ideológicas, pensamiento práctico y metafórico, al que se vienen a sumar muchas otras circunstancias que es preciso conocer y poner en conocimiento de la ciudadanía y de las autoridades competentes, esto es, la Consejería de Educación.
En semejante escenario, y siempre con la mayor urgencia, Ángel Pérez atiende a la petición y, como es su costumbre, reúne al grupo, expone la información que posee y pregunta si podemos hacernos responsables del encargo teniendo en cuenta la envergadura del trabajo para realizar en un año, las fuerzas que poseemos y el presupuesto que se nos ofrece. Solo entonces, cuando el grupo de investigación acepta, da él su conformidad al patrocinador. Esa forma de proceder es una constante a lo largo de todos estos años.
Comienza la que denominamos “Investigación evaluativa sobre el Desarrollo del currículum y factores de calidad en la Enseñanza Secundaria Obligatoria en Andalucía”, conocida por sus siglas EVESO. A estas alturas el grupo de investigación es una máquina perfectamente engrasada y tiene recursos para afrontar una tarea que en principio parecía imposible en un año: hacer una evaluación de la ESO en Andalucía, como suena, y siendo respetuosos con las opiniones de todos los sectores, desde estudiantes hasta administradores y académicos.
Para llevar a cabo la EVESO se diseñó nuevamente un análisis de muestras (por supuesto con todas las garantías de representatividad por sectores y dimensiones) y de ese modo se recabaron respuestas mediante cuestionarios cumplimentados por 948 docentes, 1779 estudiantes y 1056 familias. A esa información se sumaron 59 informes singulares correspondientes al mismo número de entrevistas realizadas a equipos directivos de centros de Secundaria, 8 estudios de casos en todas las provincia de Andalucía, cuidosamente seleccionados con criterios de muestreo teórico, y se realizó un foro de debate en que además de miembros del grupo de investigación con Ángel al frente participaron académicos de reconocido prestigio como José Gimeno Sacristán, Mariano Fernández Enguita, Rafael Feito Alonso y Miguel Ángel Santos Guerra; docentes experimentados y reconocidos como Félix García Moriyón, Lourdes Martínez Reina, Manuel Zafra Jiménez y Rafael Yus Ramos, y personal de la Dirección General de Innovación y Profesorado de la Junta de Andalucía. Durante los tiempos dedicados a entrevistar a equipos directivos y a realizar los estudios de casos hubo 65 investigadores e investigadoras haciendo trabajo de campo simultáneamente y remitiendo informes parciales a la coordinación del proyecto.
Con la ingente cantidad de información recibida por todos estos medios se elaboraron un informe de síntesis del análisis de muestras, los correspondientes cuatro informes sectoriales (alumnado, profesorado, directivos y familias) en los que se integraban los datos cuantitativos y cualitativos procedentes de todas las fuentes, los 8 estudios de casos y el informe multicasos y por fin una síntesis final que representa un esfuerzo de triangulación de instrumentos, de personas y de momentos para ofrecer unos resultados de investigación sólidos y contrastados.
Aún sin ver la luz esos informes en 2002, que previamente habían sido alojados también en el repositorio de la Consejería, el grupo de investigación ya está embarcado en otro proyecto de evaluación en el ámbito andaluz. De 2001 a 2003, una treintena de investigadoras e investigadores vuelve a abarcar a toda la Comunidad Autónoma para realizar la Evaluación de los Servicios Sociales de atención primaria, un terreno en principio desconocido para nosotros por su temática pero del que pronto descubriremos no pocas semejanzas con el compromiso y la práctica educativa, si bien no en centros de enseñanza reglada. El trabajo culmina con la redacción de 13 estudios de casos sobre sendos centros de atención primaria, 600 páginas publicadas en 2004 que dan cuenta de la diversidad de enfoques y de interpretación y puesta en práctica de la normativa en vigor, poniendo de relieve las opiniones y argumentos manifestados por los educadores y trabajadores sociales, directivos, administrativos, usuarios… obtenidas a través de entrevistas en innumerables visitas prolongadas a los centros.
De 2004 a 2006 el infatigable director del grupo pone sobre la mesa una nueva propuesta de la Consejería de Educación a la que no tardamos en sumarnos con interés. Se trata de dos proyectos consecutivos que llevan por título “Evaluación externa de los proyectos educativos de centro para la incorporación de las Tecnologías de Información y comunicación a la práctica docente”, por sus siglas, EVACENTIC I y II. Se trataba, como se escribió en su día en la propuesta de investigación, de “conocer y comprender lo que ha ocurrido y está ocurriendo en los centros TIC, y la virtualidad pedagógica de los procesos y fenómenos que los proyectos han puesto en marcha”.
Nuevamente la administración educativa siente la necesidad de valorar sus políticas, y la creación pocos años antes de los centros TIC no era un asunto menor. El programa de centros TC en Andalucía representó una iniciativa ambiciosa y modernizadora y llevó aparejado un esfuerzo económico considerable y la puesta en marcha casi inmediatamente de buen número de programas de formación para coordinadores y coordinadoras y para el profesorado en general.
La investigación en su conjunto volvió a acudir al análisis de muestras para dirigirse a toda la población escolar andaluza y elaboró cuestionarios para el profesorado y para alumnado de Secundaria, de Bachillerato y de F.P. Al informe de síntesis de este análisis se sumaron 8 estudios de casos en centros de Educación Primaria y de Secundaria nuevamente repartidos por todas las provincias andaluzas. Durante la permanencia prolongada de investigadoras e investigadores en los centros educativos se realizaron observaciones y se analizaron documentos además de entrevistas en profundidad a 175 estudiantes y 134 docentes, incluidos los equipos directivos y en algunos casos orientadores y orientadoras. En tres de los casos se entrevistó además a representantes de las asociaciones de madres y padres, y en uno a personal de administración y servicios. Posteriormente a la elaboración de los estudios de casos y con los debates y reflexiones producidos en el seno del grupo de investigación, se redactó el correspondiente estudio multicasos, y por último un breve informe de síntesis de la investigación dividido en tres capítulos: ejemplos de buenas prácticas, objeciones importantes y por fin un apartado de sugerencias y recomendaciones dirigidas a la Administración Educativa.
Todos los estudios de casos y el informe de síntesis final, que lleva por título “La emergencia de nuevas prácticas”, fueron publicados en 2006 y alojados en el repositorio correspondiente de la Consejería de Educación.
No fue ya hasta 2010 cuando recibimos la por el momento última propuesta de investigación evaluativa de planes, programas o políticas. Fundación Telefónica, a través de la editorial Wolter-Kluwers, adjudica al grupo un proyecto nuevamente ambicioso, pero con un año escaso para ser ejecutado y un presupuesto nada acorde con el requerimiento. Se trata de hacer una evaluación del estado de las TIC en la Educación en el Estado Español. En exactamente un año. Como suena. Reunido un exiguo grupo de solo 7 investigadores e investigadoras decidimos que es todo un reto y nos proponemos aceptar con entusiasmo la propuesta una vez elaborado un boceto de proyecto de investigación que supone una auténtica contraoferta a la solicitud del patrocinador, puesto que la suya es una visión exclusivamente cuantitativa (se espera, en palabras de la propuesta recibida, “hacer una foto fija”) y nuestro grupo expone las razones por las que para conocer y comprender en profundidad es preciso abordar el problema desde un diseño mixto que incorpore en gran medida instrumentos naturalistas de investigación cualitativa. Contra todo pronóstico, Fundación Telefónica da luz verde y nos ponemos manos a la obra. El informe anual 2011 de esa institución lleva por título “Las TIC en la Educación. Realidad y expectativas” y está publicado por Ariel y miles de ejemplares fueron distribuidos gratuitamente en centros y a profesorado español y latinoamericano.
El apasionante reto aceptado se concreta en un análisis de muestras dirigido a una muestra representativa de docentes de centros de Educación Primaria, Secundaria y Bachillerato de absolutamente todas la Comunidades Autónomas, en total 1304, y el aporte cualitativo que permitía el contraste con esa información se obtuvo mediante la realización de 3 grupos focales (en Cataluña, Andalucía y Galicia) con la asistencia de profesorado de reconocida trayectoria en el uso de las TIC, académicos, familias y representantes de la Administración; la realización de 4 estudios de casos en centros unánimemente considerados por la comunidad educativa como de buenas prácticas con TIC (Andalucía, Cataluña, Galicia y Madrid); el relato de autor de un proyecto colaborativo internacional; y un estudio comparativo del estado de la cuestión en ese momento en el marco internacional. Un multicasos y un informe final proporcionan los elementos de contraste necesarios, la imprescindible triangulación y corroboración y el resalte de las similitudes y diferencias sin ignorar los casos singulares.
Desde el primero hasta el último proyecto de investigación evaluativa, es decir, desde 1989 hasta 2011, han pasado 22 años. Simultáneamente el grupo realizaba otras investigaciones, especialmente desde el cierre de la EVACENTIC en 2006, pero la magnitud y los plazos siempre cortos para evaluar planes y programas de política educativa mantuvieron a la mayor parte de los componentes del grupo ocupados en ese menester durante mucho tiempo.
Es imposible saber hasta qué punto las investigaciones del grupo en este terreno han influido en el diseño y desarrollo de planes y programas de la Junta de Andalucía, pero existen indicadores claros que sugieren que muchas de las recomendaciones y sugerencias recogidas en los informes fueron tenidas en cuenta, al pie de letra en algunos casos, con matices o variaciones en otros. Pero siempre es posible encontrar la huella de los resultados de las evaluaciones en el rediseño de planes (el de los Centros TIC, por ejemplo, en sucesivos llamamientos), instrucciones a Centros de Profesorado y equipos directivos de centros educativos o convocatorias de formación (EVESO, EVACENTIC). Incluso en el caso de la evaluación de la jornada, ignorada por el patrocinador, como explicamos más arriba, el hecho de que no se llegaran a implantar las modificaciones que en principio habían sido anunciadas, es más que plausible que deba interpretarse como fruto directo de la investigación.
Al tratarse de un grupo de investigación sensible a la innovación (no en vano se denomina Innovación y Evaluación…) y comprometido con la calidad de la educación, y dado que no se trató en ningún caso de evaluaciones meramente técnicas, sino encaminadas al conocimiento y a la comprensión profunda de los fenómenos bajo estudio, respetuosas con las opiniones, intereses y necesidades de todos y de todas, puede decirse que la influencia de tales investigaciones ha contribuido en buena medida a la mejora del sistema educativo andaluz.
Es innecesario hacer notar que el papel de Ángel Pérez Gómez en su grupo de investigación ha sido de la mayor trascendencia, dado que ya se ha podido entrever que siempre fue el interlocutor con los patrocinadores y por tanto quien ha conseguido los contratos y convenios que han permitido el fortalecimiento del grupo como tal y el aprendizaje y desarrollo de los investigadores e investigadoras. Pero quizás no está de más añadir que su participación siempre ha sido mucho más activa de lo que cabría esperar para un director de grupo. El estilo innegable de liderazgo democrático que ha exhibido a lo largo de estos años le ha llevado a participar activamente en los diseños, a hacer ocasionalmente trabajo de campo y a participar en la discusión de resultados y en los debates en el seno del grupo a partir de los datos en bruto o de informes previos, en los que siempre hizo gala de un fino análisis proporcionando la frase delicada, la sugerencia oportuna, la intuición experta. Como director de las investigaciones no solo firmó todos los informes finales; también dejó en ellos abundantemente su sello.
REFERENCIAS
AA. VV. (2004). Evaluación de los servicios sociales de atención primaria en Andalucía. Junta de Andalucía.
AA. VV. (1994). La vida en las aulas, en los colegios de la reforma. Siete estudios de casos. Grupo de investigación HUM311.
AA. VV. (2006). Aprendiendo de la experiencia. Estudio de casos. Tomo I. Junta de Andalucía.
AA. VV. (2006). Aprendiendo de la experiencia. Estudio de casos. Tomo II. Junta de Andalucía.
Murillo Mas, J. F. y Sola Fernández, M. (coord.). (2011). Las Tic en la educación: realidad y expectativas. Ariel.
Pérez Gómez, A. I. (2002). Foro de debate sobre la ESO en Andalucía. Grupo de investigación HUM311.
Pérez Gómez, A. I. y Gimeno Sacristán, J. (1994). Evaluación de un proceso de innovación educativa. Junta de Andalucía.
Pérez Gómez, A.I. y Sola Fernández, M. (2006). La emergencia de buenas prácticas. Informe final. Junta de Andalucía.
Sola Fernández, M. (coord.) (2002). Estudio de múltiples casos de la ESO en Andalucía. Grupo de investigación HUM311.
Sola Fernández, M. (coord.). (2002). Síntesis del análisis de muestras sobre la ESO en Andalucía. Grupo de investigación HUM311.
Sola Fernández, M. (coord.). (2002). Las familias de la ESO en Andalucía. Grupo de investigación HUM311.
