Publicado: 12 de julio de 2020
LUZ MARÍA DÍAZ GALEAS
Universitat Autònoma de Barcelona.
luzmariadiazgaleas@gmail.com
DAVID RODRÍGUEZ GÓMEZ
Universitat Autònoma de Barcelona.
david.rodriguez.gomez@uab.cat
RESUMEN:
La evaluación de los centros educativos ha sido una estrategia implementada como herramienta para la mejora. Sin embargo, escasos estudios han abordado los procesos y eventuales logros experimentados por las escuelas en la trayectoria posterior. El presente artículo ofrece un análisis preliminar del efecto de las Visitas de Evaluación y Orientación de Desempeño realizadas en Chile por la Agencia de Calidad de la Educación, como dispositivo movilizador para el progreso de sus instituciones educativas.
La investigación, que se realizó mediante un diseño de método mixto convergente, consideró en su fase cuantitativa una encuesta aplicada a 85 líderes escolares de establecimientos evaluados el año 2014, en la etapa de marcha blanca del Sistema de Aseguramiento de la Calidad de la Educación Escolar en Chile, cuyo primer plan ha finalizado el 2019.
Los primeros reportes revelan efectos positivos en la planificación de la gestión pedagógica e institucional, así como en la motivación y compromiso de la comunidad educativa; sin embargo, otorgan una menor incidencia en la mejora de logros educativos, de aprendizaje y eficiencia interna alcanzados a posterior. Asimismo, los directores consultados coinciden en demandas de mayor celeridad en la retroalimentación, efectividad en el acompañamiento y periodicidad en el seguimiento a los procesos e indicaciones relevados en la visita. Desde su mirada, la evaluación tiene un efecto movilizador, pero su objetivo de contribución a la mejora es limitado, debido a carencias en la focalización del apoyo y la orientación.
PALABRAS CLAVE: Evaluación, calidad de la educación, gestión del centro de enseñanza, Chile.
ABSTRACT:
Evaluation for improvement in Chilean schools: its effects from the principals' point of view
The evaluation of schools has been a strategy implemented as a tool for improvement. However, few studies have addressed the processes and eventual achievements experienced by schools in the subsequent trajectory. This article offers a preliminary analysis of the effect of the Evaluation and Performance Orientation Visits carried out in Chile by the Education Quality Agency, as a mobilizing device for the progress of its educational institutions.
The research, which was carried out through a mixed convergent method design, considered in its quantitative phase a survey applied to 85 school leaders of schools evaluated in 2014, in the trial period of the School Education Quality Assurance System in Chile, whose first plan has ended in 2019.
The first reports reveal positive effects in the planning of pedagogical and institutional management, as well as in the motivation and commitment of the educational community; nevertheless, they grant a lower incidence in the improvement of educational, learning and internal efficiency achievements reached later. Likewise, the principals consulted agree on demands for moving more quickly in the feedback, effectiveness in the accompaniment and periodicity in the monitoring of processes and indications highlighted in the visit. From their point of view, the evaluation has a mobilizing effect, but its objective of contribution to improvement is limited, due to lack of focus on support and guidance.
KEYWORDS: Evaluation, quality of education, management of the teaching center, Chile.
1. Introducción
Tras cincuenta años de investigación y discusión respecto del “peso” de la escuela en las oportunidades de aprendizaje de sus estudiantes, evidencias nacionales e internacionales inclinan la balanza: la escuela sí importa, pero aún es mayor la influencia de las características de origen de niños y jóvenes (Cervini, 2012; OCDE, 2017; Torrents, Merino, García y Valls, 2018). Esta lamentable afirmación no desconoce la importancia de la escuela y su gestión en el éxito o fracaso escolar, pero advierte que la influencia de la cuna sigue siendo mayor.
Diversas investigaciones previas han tratado de avanzar en el estudio de la equidad social desde el ámbito educativo. La mayoría de los estudios analizan los factores de organización de la escuela, concluyendo que tienen el potencial de mejorar los efectos de las múltiples desventajas tempranas (Chapman, Muijs, Reynolds, Sammons y Teddlie, 2016; OCDE, 2015). Son las escuelas académicamente eficaces, las que pueden optimizar los resultados educativos y potencialmente las oportunidades de los grupos desfavorecidos. En concordancia, las políticas públicas han centrado sus objetivos en potenciar a la escuela como centro neurálgico de la mejora y la igualdad de oportunidades, relevando la importancia de la cultura escolar que construya y promueva, como el camino hacia una sociedad más justa, equitativa e inclusiva (OCDE, 2017).
El análisis evidencia que las políticas más efectivas son aquellas centradas en el estudiante y sus aprendizajes, en la capacidad de los docentes, y en el involucramiento de todos los agentes implicados en el proceso educativo (OCDE, 2015). Asimismo, se destaca la examinación periódica del currículum nacional, los estándares de desempeño y la rendición de cuentas, como ejes orientadores en la implementación de políticas destinadas a la clasificación y responsabilización de las escuelas, de acuerdo a con sus resultados (Falabella y de la Vega, 2016; Hopkins, 2009; Marchesi, Tedesco y Coll, 2009).
En este contexto, la evaluación de los establecimientos cobra especial importancia, en tanto supone descripciones e indicaciones contextualizadas acerca de sus procesos de gestión pedagógica e institucional, con el fin de movilizar a la escuela hacia el diseño de sus propios caminos para alcanzar la mejora (Bolívar y Murillo, 2017; Hopkins, 2017).
Esta perspectiva es compartida en la discusión actual en América Latina y el Caribe (ALC), como estrategia para avanzar en calidad de la educación. Entre las recomendaciones para la mejora destacan: sistemas de evaluación estandarizada y accountability, diseñados con el objetivo de mejorar las oportunidades de aprendizaje (UNESCO, 2013); políticas educativas orientadas a calidad y equidad en cobertura y desempeño, destacando la importancia de la evaluación interna y externa de los procesos educativos, así como la incorporación activa y crítica de todos los actores del sistema (OCDE, 2015); y estándares, competencias y evaluación, como guías de la gestión educativa (PREAL, 2015). En tanto, un análisis de la Comisión para la Educación de Calidad de Todos (Fiszbein, 2015), cuestiona la inexistencia de un balance actualizado del estado de los sistemas de evaluación de la región, en contraste con cambios significativos en la institucionalidad a cargo del tema, en distintos países. Por otro lado, se advierte carencia de estudios, respecto del diseño y seguimiento de la implementación de los procesos de cambio en la escuela (Bolívar & Murillo, 2017), así como escaso monitoreo al impacto de las políticas implementadas, limitando las posibilidades de aprovechar las iniciativas que pudieran resultar más exitosas entre las desarrollados en la última década, donde sólo un 10% han sido medidas (OCDE, 2015).
Se identifican potenciales avances imposibles de abordar desde la evidencia, por el vacío analítico producto de la carencia de estudios actualizados. Siguiendo a Bolívar y Murillo (2017), la mayoría de los estudios en ALC, refieren al liderazgo y la mejora, desde la perspectiva interpretativa de un determinado contexto, sin realizar explotaciones secundarias, ni utilizar bases de datos internacionales. Sin embargo, otros análisis destacan la relevancia de estándares y metas en el diseño y monitoreo de políticas públicas, que además permitirían comprometer a los distintos actores del proceso educativo (Fiszbein, 2015). Es el caso de: 1) Todos pela Educaçāo, en Brasil, que incorpora metas de aprendizaje, cobertura y financiamiento; 2) el Consejo Nacional de Normalización y Certificación de Competencias Laborales (CONOCER) en México, responsable por el sistema nacional de competencias; o 3) el Consejo Nacional de Educación en Chile, a cargo de aprobar las normas referidas a estándares en distintos niveles del sistema, los que se aplican en la evaluación de escuelas que realiza la Agencia de Calidad de la Educación, de acuerdo a su rol en la institucionalidad educativa.
En este contexto, los desafíos que impone la medición del efecto escuela en las estrategias de mejoramiento escolar implican la revisión de la gestión institucional y pedagógica, profundizando en la implementación de la enseñanza, la promoción y construcción del clima escolar, la distribución de recursos pedagógicos y financieros, y éstos en relación con los resultados logrados en los diferentes niveles de enseñanza. Así lo indican estudios y análisis de políticas públicas que detallan iniciativas y metodologías para reportar la calidad alcanzada por los colegios, desde la evaluación externa orientada a la eficacia; y la revisión interna de los procesos de la escuela, dirigida a valorar las características que tienen efecto propio y significativo en los aprendizajes de los estudiantes y permiten, por tanto, la mejora (Bolívar, 2016; OCDE, 2015).
Bajo este enfoque la gestión escolar en Chile es objeto de evaluación. Una primera etapa se inició el 2014, cuando la Agencia de Calidad de la Educación visitó 178 escuelas a lo largo del país, la mayoría de ellas de Desempeño Insuficiente y de las cuales 154 respondieron al dispositivo denominado Visita Integral de Evaluación y Orientación de Desempeño. En cada caso, el proceso de recolección y análisis de los antecedentes derivó en un informe dirigido a la institución, en el que se especificaban las principales fortalezas y oportunidades de mejora detectadas, así como recomendaciones para favorecer la mejora.
Se considera pertinente conocer los efectos que tuvieron estas visitas de evaluación, en los procesos de mejora de la escuela y, específicamente, en los resultados de aprendizaje e Indicadores de Desarrollo Personal y Social. Asimismo, explorar en las percepciones de directores y directoras de escuelas evaluadas, en relación con las implicancias del dispositivo y sus recomendaciones. Son interrogantes a las que pretende dar respuesta el estudio que aquí se presenta y que, desde una aproximación cuantitativa, recoge la opinión de los líderes escolares respecto de la evaluación y su efecto en la mejora.
En un primer apartado, se revisa la literatura disponible respecto de la evaluación de la escuela y su aporte a los procesos de mejora. A continuación, se plantean los objetivos y estrategias metodológicas utilizadas en la investigación. En una tercera sección se presentan los resultados y principales hallazgos derivados del análisis y, finalmente, se cierra el artículo con la discusión y las conclusiones que emanan al enfrentar los resultados con las investigaciones previas y su potencial aporte en el análisis de la política pública y estudios que pretenden medir su efecto en la mejora escolar.
2. Revisión de la literatura
La medición del efecto escuela es, técnicamente, la valoración de su peso en la trayectoria educativa de un estudiante (Bolívar, 2017; Cervini, 2012). Un cuestionamiento a su implicancia inició una vorágine de estudios y movimientos en educación desde la década de 1.970, cobrando especial relevancia en Estados Unidos, posterior al denominado Informe Coleman (1966), que reportó los resultados de la investigación sobre segregación de los colegios, igualdad de oportunidades, desempeño de sus estudiantes y causas de las diferencias en los logros obtenidos. Desde entonces se inició la búsqueda de respuestas sobre los procesos que interactúan en el sistema educativo en general y en la escuela en particular, intentando despejar la incógnita respecto de su efecto sobre los logros de los estudiantes. Así, en los últimos cincuenta años se han desarrollado múltiples estudios que buscan medir el efecto escuela, mediante el trabajo de investigadores que han centrado su quehacer en efectividad y mejoramiento escolar, orientando el proceso educativo y los mecanismos de gestión de los sistemas educativos (ej., Chapman et al., 2016; Hopkins, Stringfield, Harris, Stoll y Mackay, 2014; Reynolds, 2015).
Las tesis que declaraban que las escuelas no generan diferencias, o que los centros educativos no pueden compensar las diferencias de capital cultural de los estudiantes, responden a una primera época investigativa a la que siguieron estudios sobre la estabilidad de sus efectos y las diferencias de éstos en niños y jóvenes (Bolívar y Murillo 2017). Más tarde, el movimiento de mejora escolar avanzó hacia la concepción de la escuela como unidad básica del cambio y centro neurálgico de la potencial mejora, donde convergen todos los niveles involucrados en el sistema educativo.
Esta idea se ha mantenido en las últimas décadas de investigación sobre cambio escolar, especificando factores y elementos que caracterizan a los centros educativos que mejoran (ej. Bellei, Morawietz, Valenzuela y Vanni, 2015; Murillo, 2007). Se sistematizan los aportes recopilados, en un intento por globalizar el conocimiento acumulado, construyendo una teoría capaz de explicar el qué, cómo y porqué de la mejora escolar (Murillo, 2015; Reynolds, Teddlie, Chapman y Stringfield, 2015; Senge, 2002). Al respecto, existe consenso en señalar la transformación de la escuela como la estrategia más eficaz. Ello, aprendiendo de experiencias exitosas, atendiendo a los cambios que requiere su propia cultura escolar, reconociendo el valor de su autonomía en la construcción del camino a la mejora, y reconociendo la relevancia del liderazgo desde todos los niveles (Bolívar y Murillo 2017; Murillo, 2007).
En este contexto de estudios y movimientos sobre efectividad y mejora escolar, se iniciaron dispositivos de evaluación que han ampliado perspectivas sumando actores, integrando nuevas dimensiones y creando instituciones con dedicación exclusiva a la tarea de medir logros (Tedesco, 2016; Zacarías, 2018). Durante las últimas tres décadas se han desarrollado planes sistemáticos, elaborando indicadores orientados a distintas realidades, derivando en la evolución conceptual de la evaluación, que significó entenderla como disciplina científica y como práctica profesional, cuyos reportes han tenido un rol trascendental en la orientación de políticas públicas (Bolívar, 2016; Gil, Morales y Mesa, 2017; Malone, 2017; Ruiz, 2004; Tiana, 1996).
En la revisión de marcos de referencia para la evaluación de sistemas y programas educativos, destacan tres conceptos, cuyo uso, exclusivo o integrado, depende de las necesidades, propósitos y objetivos de la medición: el monitoreo, entendido como recopilación de información periódica que se utiliza para ajustar o modificar decisiones; la rendición de cuentas o accountability, que supone la fiscalización externa de la calidad del objeto evaluado; y la evaluación, entendida como un examen exhaustivo, que considera medición interna y/o externa (Mora, 2004; Poggi, 2008), la que estaría definida por una dimensión ética y política, vinculada a su sentido e impacto en las prácticas pedagógicas en las escuelas y en el sistema educativo (Monarca, 2012).
La recopilación de información sistemática caracteriza a la evaluación en educación, que busca realizar algún juicio de valor respecto del objeto, sea un sistema, programa, escuela o estudiante. Constituye un juicio de valor, una actividad de reflexión sobre la acción que surge de la necesidad de introducir cambios, mediante un proceso reflexivo que se basa en preguntas claves (Di Virgilio y Solano, 2012). Sus resultados pueden ser utilizados para tomar decisiones, cuya argumentación recae en la obtención de datos de distintas fuentes que revelen en forma empírica la calidad del sistema, objetivo trascendental en la evaluación en educación (Scheerens, Glass y Thomas, 2003).
Bajo este marco se han desarrollado planes sistemáticos de evaluación e indicadores nacionales en distintos países del mundo. En experiencias de países como el Reino Unido, Holanda, Francia, Argentina, México y Chile o de organismos internacionales como la OCDE, la UNESCO, la Unión Europea y la OEI, se han implementado políticas de evaluación educativa adscribiendo a algún modelo, necesario para la definición de los elementos claves a medir dentro del sistema y, en consecuencia, para la construcción de los indicadores (García, 2010).
2.1. El caso de Chile
El caso de Chile y su actual sistema de evaluación tiene su origen en un movimiento ciudadano sin precedentes. Fue la llamada “revolución pingüina” del año 2006, donde estudiantes segundarios salieron a las calles exigiendo el fin de la desigualdad. Demandaron cambios radicales en educación, referidos a financiamiento, equidad y calidad. Al respecto, Uribe (2008) describe ese momento histórico como una crisis generalizada del sistema escolar chileno, relevante no sólo por manifestarse mediante una paralización de proporciones, sino por las implicancias de las exigencias que se plasmaban en las calles.
Desde ese momento Chile inició un camino en busca de acuerdos e iniciativas orientadas a alcanzar la demanda ciudadana. Una primera estrategia se consolida con la promulgación de la Ley de Subvención Escolar Preferencial (Ley Nº 20.248, 2008), orientada a otorgar más recursos para los estudiantes vulnerables y dinamizar las iniciativas de las escuelas, junto con elevar su responsabilización.
En este contexto de reformas se publicó un año más tarde la Ley General de Educación, LGE (Ley Nº 20.370, 2009), que contempló modificaciones importantes en los procesos de admisión, currículum y reconocimiento oficial de las escuelas. Sin embargo, la normativa requería complementariedad con mecanismos que protegieran el derecho de los ciudadanos a recibir una educación de calidad. Este es el objetivo que sustenta a la Ley de Aseguramiento de la Calidad de la Educación Parvularia, Básica y Media y su Fiscalización, Ley SAC (Ley Nº 20.529, 2011), que crea la nueva institucionalidad educativa en Chile, cuya tarea independiente, pero articulada, tiene como propósito asegurar la equidad frente a los procesos educativos.
Este nuevo enfoque de la política pública tiene a la base el fortalecimiento de la escuela como gestora del desarrollo de sus propias capacidades y procesos de autoevaluación institucional, generando así la anhelada movilización a la mejora. Para lograr su objetivo, la normativa busca impactar en la educación formal mediante un conjunto de políticas, estándares, indicadores, evaluaciones y mecanismos de apoyo y fiscalización a los establecimientos, para lograr la mejora continua de los aprendizajes de los estudiantes.
Un Plan de Aseguramiento de la Calidad Escolar es el instrumento que define el Sistema de Aseguramiento de la Calidad para sistematizar acciones, resguardar condiciones y potenciar las capacidades del sistema escolar; como asimismo articular el trabajo de las instituciones que conforman la arquitectura educacional de Chile, que son el Ministerio de Educación, la Superintendencia de Educación, el Consejo Nacional de Educación y la Agencia de Calidad de la Educación.
Para operacionalizar el desafío, el Plan SAC considera metas y objetivos, los que a su vez se sistematizan con indicadores y acciones proyectadas a cuatro años, desde un primer período determinado entre 2016 y 2019, donde uno de sus siete objetivos aborda la necesidad de “ampliar y optimizar los sistemas de evaluación, orientación y fiscalización del Sistema de Aseguramiento” (Mineduc, 2016, p.38).
Bajo este afán se inscribe la Evaluación y Orientación de Desempeño desarrollada por la Agencia de Calidad de la Educación, creada para levantar y entregar información estratégica a las escuelas, que permita mejorar sus procesos y resultados educativos. Ello bajo la premisa de que todas pueden mejorar si se dan las condiciones de: 1) proponérselo; 2) recibir orientación y apoyo de los niveles intermedios y nacionales; y 3) responsabilizar e involucrar a los distintos actores.
Bajo un modelo sistémico, el dispositivo contempla la aplicación de instrumentos cualitativos y cuantitativos que permiten identificar las fortalezas y oportunidades de mejora de las escuelas, analizando los resultados bajo el marco de los Estándares Indicativos de Desempeño, EID, determinados para medir el nivel de logro de las distintas dimensiones de la gestión escolar: Liderazgo, Gestión Pedagógica, Formación y Convivencia y Gestión de Recursos.
3. Objetivos y metodología
El objetivo del estudio que se presenta ha sido analizar el efecto de las Visitas de Evaluación y Orientación de Desempeño en los ciclos de mejora de escuelas evaluadas en Visita Integral el 2014. En concordancia y de manera específica, busca identificar la importancia que atribuyen directivos a la Evaluación y Orientación de Desempeño, como aporte a los ciclos de mejora que han enfrentado las escuelas, así como explorar en las relaciones de los perfiles directivos con las percepciones de implicancia del dispositivo.
La investigación consideró como universo a las escuelas evaluadas el 2014, período de marcha blanca del Sistema de Aseguramiento de Calidad de la Educación, debido a que serían los primeros centros en recibir el apoyo posterior y las retroalimentaciones que compromete la iniciativa. Según el entonces secretario ejecutivo de la institución, Carlos Henríquez, en esta etapa, los aportes realizados por la Agencia de Calidad al diagnóstico institucional de las escuelas visitadas derivarían en planes de apoyo desde el MINEDUC que, en el caso de las escuelas municipalizadas y en el marco del Fortalecimiento de la Educación Pública, deberían aplicar como exigencia; mientras que para los establecimientos particulares subvencionados, tendrían carácter de sugerencia y las podrían utilizar como insumos (Herrera, 2015).
La información de las percepciones de directores y directoras fueron obtenidas mediante un cuestionario integrado por 22 ítems contenidos en dos dimensiones, cuyas variables fueron identificadas a partir de la revisión de la literatura. De esta manera, Perfil directivo consideró reactivos relacionados con: sexo, experiencia, formación, selección y evaluación de desempeño. En tanto, Visita Integral incluyó: movilización a la mejora; uso de resultados; satisfacción con la retroalimentación; apoyos recibidos y percepción del efecto en los resultados. Al finalizar la encuesta, se realizó una pregunta de desarrollo, que buscó recoger recomendaciones al dispositivo, desde la voz de los directores.
La muestra final quedó compuesta por 85 escuelas, lo que representa el 78% de la muestra inicial (N=109), con un 5% de margen de error y un 95% de nivel de confianza. Al respecto, Mangione (Citado en Cea D’Ancona, 2012), afirma que respuestas en el rango del 70% al 85% se consideran muy buenos y científicamente aceptables.
El análisis se desarrolló en tres etapas: 1) organización de los datos, mediante distribución de frecuencias, distribución porcentual y distribución acumulada; 2) establecimiento de datos representativos del conjunto de valores de cada variable, a través de medidas de tendencia central; 3) determinación de las principales características que definen el conjunto de valores de cada variable; y 4) exploración de relación entre variables.
Las fases descritas se aplicaron de manera diferenciada, según los reactivos de cada ítem. En el caso del primer apartado, se obtienen las frecuencias, porcentajes y moda, lo que permite explicar datos del perfil directivo de los líderes escolares consultados. En tanto, en variables medidas en el segundo apartado, mediante Escala Likert, se suman al análisis la media, mediana, desviación estándar, rango, mínimo y máximo, con el objetivo de precisar información respecto de la distribución de las variables, identificando la concentración de valores y su representatividad.
Esta exploración ha sido útil para describir los datos del segundo apartado y los porcentajes de consenso o disenso de los directores consultados, respecto de las afirmaciones contenidas en el cuestionario. Pero, insuficiente para explorar eventuales relaciones entre los perfiles de los líderes visitados por la ACE y su relación con la percepción de implicancia de este dispositivo con los procesos de mejora. Con este objetivo y después de los análisis univariables, se procedió a la exploración de relaciones, realizando un análisis cruzado bivariable, para analizar asociación, a través de frecuencias relativas.
4. Resultados
Los resultados de la aplicación del cuestionario aportan información relacionada con los objetivos de la investigación en tres sentidos: 1) perfil directivo, asociado a experiencia en el cargo, formación y selección; 2) valoración de la visita y sus alcances; y 3) la relación o asociación entre las características de los líderes escolares y su percepción sobre los aportes a la mejora de la visita de la Agencia de Calidad de la Educación.
En el cuadro siguiente se presentan los datos más relevantes para la caracterización del perfil directivo. Con el fin de sistematizar la información, se identificaron las variables de: género, experiencia directiva, formación, selección y evaluación de desempeño, midiendo su distribución en la muestra.
Tabla 1. Perfil directivo.
*: Sistema de selección del Estado de Chile, que busca dotar a las instituciones públicas de directivos con probada capacidad de gestión y liderazgo.
**: Sistema de selección de convocatoria pública, pero bajo bases definidas por fundaciones
Respecto de la importancia que atribuyen directivos a la Evaluación y Orientación de Desempeño, como aporte a los ciclos de mejora que han enfrentado las escuelas, los resultados indican que reconocen su capacidad movilizadora (véase tabla 2). Más de un 68% señala que la visita logra conducir a la escuela hacia procesos de mejora, generando reflexiones y propuestas sobre la base de los resultados informados por la ACE. En este sentido, un 76% indica que el informe de la visita fue socializado con los distintos estamentos, generando propuestas de mejora.
Cabe señalar que este reporte constituye el resultado del levantamiento de información realizado en los días de visita, la siguiente triangulación y posterior análisis de panel, sobre la base de los Estándares Indicativos de Desempeño, EID. En este sentido y remitiéndonos a la encuesta del CEDLE (2018), sobre el 80% de los directores sostiene que este instrumento refleja las principales áreas de la gestión pedagógica e institucional y contribuye a su mejora; mientras que un 74% afirma haberlas utilizado en su gestión. Estas opiniones son más favorables que las recogidas en la presente investigación, donde un 68% de los casos opinó que la visita permitió profundizar en los EID como herramienta orientadora de los Planes de Mejora Educativa. En este caso, fueron los líderes de las escuelas particulares subvencionadas los que manifestaron mayor acuerdo, con diez puntos porcentuales sobre los de escuelas municipales.
Un 76% de los directores consultados valora la visita de la ACE como favorable a la reformulación de los Planes de Mejora; mientras que el 79% consideró sus recomendaciones en el diseño de acciones PME, valoración mayor a la otorgada al apoyo del Mineduc en este sentido (67%), recogido en la IV versión de la encuesta nacional “La voz de los directores” (CEDLE, 2017). En este último reactivo, se advierten diferencias significativas entre dependencias administrativas, siendo mayor la valoración de los directores de escuelas municipales.
Tabla 2. Percepción de la visita y su relación con la movilización a la mejora y el uso de resultados.
(% Muy de acuerdo y De acuerdo con afirmaciones).
La retroalimentación de la visita alcanza percepciones positivas, pero distintas dependiendo de las instancias (recomendaciones, 78%; taller, 45% e informe, 70%), siendo necesario especificar que el Taller de Orientación a la Mejora se realizó en escuelas evaluadas desde diciembre de 2014.
Un 79% percibe que los resultados sintetizados en el informe describen adecuadamente los procesos pedagógicos e institucionales. Igual porcentaje coincide en que las debilidades y fortalezas descritas ampliaron la autoevaluación institucional. El 78% de los encuestados manifiesta que las recomendaciones contenidas fueron pertinentes a la realidad de la escuela. Sin embargo, sólo un 61% identifica que los plazos transcurridos entre la visita y la entrega del informe a la escuela, fue funcional a las modificaciones que ameritaron los hallazgos de la ACE.
Tabla 3. Satisfacción con la retroalimentación. (% Muy de acuerdo y De acuerdo con afirmaciones).
Las preguntas referidas a los apoyos recibidos por la escuela para alcanzar la mejora aparecen escasamente valoradas. La participación del sostenedor en la implementación de las recomendaciones es uno de los reactivos peor evaluados, con el 51% favorable. Sin embargo, la percepción entre directores de escuelas particulares subvencionadas y municipales evidencia diferencias significativas, siendo mejor la valoración de los líderes de establecimientos de financiamiento mixto, con trece puntos porcentuales de diferencia.
Los participantes manifiestan una percepción similar ante otras consultas referidas a la colaboración recibida post visita. En este ámbito, un 45% señala haber recibido apoyo de los supervisores del Ministerio de Educación; un 19% de una ATE privada; mientras que un 63% señala que la escuela ha emprendido en forma autónoma sus procesos de mejora.
Tabla 4. Satisfacción con apoyos recibidos para la mejora. (% Muy de acuerdo y De acuerdo con afirmaciones).
Entre las preguntas referidas a percepción de directores sobre el efecto de la visita en la mejora de su escuela, las respuestas revelan una incidencia discreta y según el ámbito denotan diferencias: un 46% señala que ha repercutido en mejoras en resultados Simce; un 52% manifiesta acuerdo en que ha permitido avances en rendimientos por asignatura; y un 67% valora su efecto en los Indicadores de Desarrollo Personal y Social, IDPS.
Esta es la dimensión en la que se aprecian mayores diferencias entre los líderes escolares, con distancias de alrededor de veinte puntos porcentuales. En este sentido, los resultados muestran mayor valoración de directores de escuelas particulares subvencionadas. Pese a ello, son los reactivos que reflejan menor acuerdo.
Tabla 5. Percepción del efecto de la visita en la mejora de resultados. (% Muy de acuerdo y De acuerdo con afirmaciones).
Estos resultados se complementan con las respuestas a la única pregunta abierta del cuestionario, en la cual se consultó acerca de las recomendaciones para la mejora del dispositivo. Los patrones de respuesta identificados otorgaron la mayor frecuencia a: 1) necesidad de mayor periodicidad y amplitud en las visitas de la ACE; 2) capacitación y asesoría; 3) aseguramiento en la entrega, socialización y análisis de resultados; 4) focalización en la gestión pedagógica; y 5) focalización en la participación del sostenedor.
En tanto, la exploración de relaciones entre variables evidenció que la presencia del encuestado como director, durante la primera visita de la ACE, estaría asociado a una mayor valoración de la visita en cuanto a la profundización de los Estándares Indicativos de Desempeño, EID, como herramienta orientadora del PME. Asimismo, a la percepción de que la mejora lograda por la escuela se ha alcanzado en función de acciones derivadas de las recomendaciones de la ACE, traducidas en modificaciones al PME post visita. Al respecto, este grupo es el que otorga mayor ponderación positiva a su incidencia en mejora en resultados Simce e IDPS.
En relación a la experiencia en el cargo y la valoración de la visita, el cruce de variables muestra que los resultados de la visita derivaron en modificaciones al PME en mayor medida en directores nóveles, seguido de quienes cuentan con una experiencia que se ubica entre nueve y doce años de ejercicio. En tanto, entre quienes cuentan con menos años aumenta la opinión favorable respecto de la incidencia de la visita en la profundización de los EID, como herramienta orientadora del PME; en oposición a la valoración que realizan en este sentido los que cuentan con más experiencia como director.
La percepción de las recomendaciones de la ACE, transformadas en acciones del PME y valoradas como conducentes a la mejora, estaría relacionada con la experiencia de los directores, aumentando entre quienes cuentan con más años de servicio bajo este rol. Por otro lado, la opinión más favorable a las mejoras en resultados Simce, en razón de modificaciones al PME post visita, aumenta en directores que cuentan con experiencia intermedia y disminuye entre los de mayor experiencia. La misma valoración se aprecia respecto de la incidencia de las modificaciones al PME post visita, como factor de mejora en los resultados de los IDPS, aumentando en directores con una experiencia intermedia (9-12 años), y siendo menos favorable entre quienes cuentan con más años en el rol (sobre 17 años).
Respecto del proceso de selección al cargo y la valoración de la visita, las tablas de contingencia evidencian que la estimación de los directores respecto de su capacidad movilizadora se asocia con la fuente de acceso al cargo, aumentando en líderes seleccionados por Alta Dirección Pública, ADP. La misma valoración se detecta respecto de los resultados de la visita materializados en acciones del PME, aumentando en directores elegidos por ADP y disminuyendo en aquellos nombrados por sostenedores. En el mismo sentido, la opinión favorable a las mejoras en resultados Simce, en razón de modificaciones al PME post visita, aumenta en directores ADP y disminuye en aquellos nombrados por el sostenedor.
Por otro lado, el análisis de resultados muestra que la formación del director se relaciona con la percepción de la visita, en cuanto a su capacidad movilizadora, aumentando en líderes educativos con formación para el ejercicio de su cargo. Por el contrario, la opinión desfavorable a los efectos de la visita materializados en mejoras al PME, aumenta en directores sin formación específica, como también en su valoración a la incidencia de la visita en la profundización de los EID, como herramienta orientadora del PME, las mejoras en Simce e IDPS, en oposición a las respuestas de líderes educativos con preparación para el rol.
5. Discusión y conclusiones
Parece relevante destacar la valoración de directores y directoras respecto de la Visita de Evaluación y Orientación de Desempeño y sus efectos en los procesos de mejora. Los resultados compartidos revelan percepciones de efectos positivos en la planificación de la gestión pedagógica e institucional, así como en la motivación y compromiso de la comunidad educativa. En este sentido, el dispositivo logra que la escuela estructure y controle su gestión pedagógica e institucional. Sin embargo, la menor incidencia que otorgan a su efecto en la mejora de resultados de aprendizaje y en indicadores de desarrollo personal y social de estudiantes, revelan que el objetivo de contribución a la mejora tiene límites, representados por los directores en carencias en retroalimentación, efectividad en el acompañamiento y periodicidad en el seguimiento a las indicaciones relevadas en la visita.
Según estudios relacionados (Bravo, 2019; Carrasco y Urrejola, 2017; Falabella, 2016), la falta de valoración de elementos contextuales, el excesivo peso de los resultados de pruebas estandarizadas y la escasa articulación entre los demás estamentos de la institucionalidad educativa, explicarían la baja incidencia de las visitas evaluativas en los resultados de la escuela. Por otro lado, la investigación en percepción de calidad realizado por la ACE (2016), coincide con los resultados expuestos en este artículo. El documento registra la demanda de definiciones claras y consensuadas en la conceptualización, junto con reflejar expectativas acerca de la focalización en el apoyo y orientación para la mejora, sintetizando que se espera de la ACE que: 1) entregue retroalimentación cualitativa y contextualizada respecto del trabajo que realizan las escuelas, con indicaciones concretas de mejora; 2) que evalúe procesos y no sólo resultados; 3) y mayor acompañamiento y seguimiento del trabajo realizado por las escuelas.
En su análisis, la Agencia de Calidad señala que a estas demandas responden las visitas de evaluación, sosteniendo que cumplen con el perfil descrito en las peticiones de los líderes escolares. Atribuye estos emplazamientos al desconocimiento del dispositivo en tanto su corta data, razón por la cual no estaría integrado en las percepciones de los actores entrevistados. Sin embargo, la encuesta aplicada en el presente estudio fue dirigida exclusivamente a líderes escolares conocedores de la visita y, pese a las precepciones positivas reflejadas en los resultados expuestos, su percepción acerca del débil efecto del dispositivo en resultados de aprendizaje y de las carencias de estas visitas, se relacionan con las expectativas planteadas en el estudio de la ACE.
Al organizar los reactivos por dimensión, se pueden observar con mayor claridad las percepciones de directores respecto del dispositivo y sus efectos. En este sentido, su relación con la movilización a la mejora y la utilización de los resultados de la visita en modificaciones al Proyecto de Mejoramiento Escolar, PME, fue mejor valorado. En un segundo lugar se ubica la satisfacción respecto de la retroalimentación recibida de parte de la ACE, mediante reunión final, Taller de Orientación a la Mejora e informe de la visita. Una tercera valoración la obtuvo la percepción de su efecto en los resultados de la escuela durante los años posteriores. En este sentido, las estimaciones más descendidas tienen relación con los resultados de aprendizaje, según mediciones Simce, aumentando en relación a su efecto en la mejora en Indicadores de Desarrollo Personal y Social.
La dimensión con menor valoración es la relacionada con los apoyos recibidos, post visita de la ACE. En este sentido, parece razonable observar la escasa presencia de las Asesorías Técnicas Educativas, ATE, en los procesos de acompañamiento. Ello, bajo el entendido que son entidades privadas que se contratan bajo un costo asociado al alcance de su apoyo y que, en general, resultan onerosas. Sin embargo, sorprende la percepción reflejada respecto del escaso apoyo del Ministerio de Educación, mediante las supervisiones técnicas, reflejando la falta de articulación entre los estamentos de la institucionalidad educativa, aspecto ya relevado en estudios anteriores (Bravo, 2019; Falabella, 2016). Más aún cuando las escuelas en categoría de Insuficientes son su prioridad por disposición de la institucionalidad educativa, que decretó este apoyo y lo sistematizó mediante el “Plan Escuelas Arriba, que todos los niños aprendan”, promulgado en marzo del 2019, para apoyar a las 218 escuelas que en los últimos tres años siguen en Categoría Insuficiente y, por lo tanto, debieran cerrar el 2021. Al respecto, un estudio de Ideapaís (Berg, 2019), respecto del impacto de cierre de escuelas evaluadas como Insuficientes por la Agencia de Calidad, indica que, de concretarse la medida, faltarían cupos escolares para cinco ciudades de Chile.
Ante este eventual escenario ¿qué responsabilidades competen a la institucionalidad educativa y cuál es la de la escuela? Las discusiones al entonces proyecto de ley del Sistema de Aseguramiento de la Calidad de la Educación, adelantaban este escenario, destacando la ineficiencia del cierre de escuelas como medida y relevando la construcción de capacidades como la base del mejoramiento continuo de los centros escolares (C. Bellei, notas acerca del proyecto de ley que crea el Sistema de Aseguramiento de la Calidad de la Educación, presentadas ante la Comisión de Educación de la Cámara de Diputados, 04 de agosto de 2009). En este sentido, un estudio acerca de esta política (Falabella, 2016), señala que no ha logrado el desarrollo de capacidades al interior de las escuelas analizadas y que, por el contrario, ha legitimado y acrecentado las diferencias entre instituciones escolares. En este sentido, destaca la relevancia del contexto en que se desempeña la tarea de educar, atribuyendo a la política efectos perjudiciales en colegios de bajo desempeño, ubicados en sectores de vulnerabilidad social y económica.
En síntesis, las visitas de la ACE no contribuyen a alcanzar logros sostenidos. Las eventuales razones que explicarían esta limitación han sido abordadas por algunos estudios nacionales (ej. Bravo, 2019) y conforman también la etapa cualitativa de la presente investigación, siendo posible y necesario ampliar posibles respuestas a la luz de nuevas indagaciones. Sin embargo, es relevante afirmar que su importancia actual radica en su efecto movilizador. La tarea pendiente es alcanzar su cometido de contribuir a la mejora sostenida de la calidad de la educación de las escuelas de Chile, abordando la disyuntiva de equilibrar su significado entre resultados de aprendizaje y mejoras en el desarrollo personal y social de los estudiantes.
Referencias
Agencia de Calidad de la Educación (2016). Calidad educativa desde la percepción de los actores claves del sistema. Santiago: Agencia de Calidad de la Educación. Recuperado de http://www.agenciaeducacion.cl/wpcontent/uploads/2016/02/Estudio_Calidad_educativa_percepcion_actores_clave_del_sistema.pdf
Bellei, C.; Morawietz, L.; Valenzuela, J.; Vanni, X. (2015). Nadie dijo que era fácil. Escuelas efectivas en sectores de pobreza, diez años después. Santiago: LOM.
Berg, A. (2019). Cierre de escuelas. Apuntes de Política Pública (2). Santiago: Ideapaís. Recuperado de http://ideapais.cl/wp-content/uploads/2019/10/Cierre-de-Escuelas_Final.pdf
Bolívar, A. (2016) ¿Cómo puede la evaluación institucional contribuir para mejorar la escuela? Est. Aval. Educ., São Paulo, 27(65), 284-313. doi: http://dx.doi.org/10.18222/eae.v0ix.3812
Bolívar, A. (2017). El mejoramiento de la escuela: líneas actuales de investigación. Revista Portuguesa de Pedagogía, 51(2), 5-27. doi: https://doi.org/10.14195/1647-8614_51-2_1
Bolívar, A. y Murillo, J. (2017). El efecto escuela: un reto de liderazgo para el aprendizaje y la equidad. En Weinstein y Muñoz (Eds.), Mejoramiento y liderazgo en la escuela. Once miradas (págs. 71-112). Santiago: Ediciones Universidad Diego Portales. Centro de Desarrollo del Liderazgo Educativo (CEDLE).
Bravo, S. (2020). Visitas de orientación y evaluación realizadas por la Agencia de Calidad de la Educación en Chile: significados otorgados por directivos de escuelas públicas. Temps d’Educaciò, 57, 267-282. Recuperado de http://www.publicacions.ub.edu/revistes/tempsDEducacio57/default.asp?articulo=1588&modo=re sumen
Carrasco, A. y Urrejola, A. (2017). La Agencia de Calidad de la Educación ¿Una política de evaluación integral? Revista Educación, Política y Sociedad, 2(1), 8-26. Recuperado de https://repositorio.uam.es/handle/10486/676822
Cea DÁncona, M. (2012). Fundamentos y aplicaciones en metodología cuantitativa. Madrid: Editorial Síntesis.
CEDLE (2017). Estudio de opinión a directores de establecimientos educacionales, para la retroalimentación del diseño, la implementacióny la y la creación de políticas de liderazgo escolar. Santiago: CEDLE.
Recuperado de: http://cedle.cl/wp-content/uploads/2017/12/cuaderno-8.pdf
Cervini, R. (2012). El “efecto escuela” en países de América Latina: Reanalizando los datos SERCE. Education Policy Analysis Archives/Archivos Analíticos de Políticas Educativas, 20(39)1-25. doi: https://doi.org/10.14507/epaa.v20n39.2012
Coleman, J., Campbell, E., Hobson, C., Mc Partland, J., Mood, A., Weinfeld, F. y York, R. (1966).
Equality of educational opportunity. Washington, DC: US Department of Health, Education & Welfare, Office of Education.
Chapman, C., Muijs, D., Reynolds, D., Sammons, P. Y Teddlie, C. (Eds.) (2016). Routledge International handbook of educational effectiveness and improvement research . Abingdon: Routledge.
Dale, R. (1998). Evaluation Frameworks for Development: Programmes and Projects. New Delhi: Sage Publications.
Di Virgilio, M. y Solano, R. (2012). Monitoreo y evaluación de políticas, programas y proyectos sociales. Buenos Aires : Fundación CIPPEC. Recuperado de https://www.cippec.org/wp-content/uploads/2017/03/1415.pdf
Falabella, A. y de la Vega, L. (2016). Políticas de responsabilización por desempeño escolar: Un debate a partir de la literatura internacional y el caso chileno. Estudios Pedagógicos, XLII(2), 395-413. doi: https://doi.org/10.4067/S0718-07052016000200023
Fiszbein, A. (2015). Hacia una educación de calidad para todos. Washington: Inter- American Dialogue. Recuperado de http://www.thedialogue.org/wp-content/uploads/2015/01/FINAL-Hacia-una-educaci%C3%B3n-de-calidad-para-todos-7-27-2015.pdf
García, B. (2010). Modelos teóricos e indicadores de evaluación educativa. Revista Electrónica Sinéctica. 35, 1-22. Recuperado de http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1665-109X2010000200005
Gil, J., Morales, M., y Meza, J. (2017). La evaluación educativa como proceso histórico social. Perspectivas para el mejoramiento de la calidad de los sistemas educativos. Universidad y Sociedad, 9(4), 162-167. Recuperado de http://rus.ucf.edu.cu/index.php/rus
Hargreaves, A., Lieberman, A., Fullan, M. y Hopkins, D. (Eds.) (1998). International Handbook of Educational Change. Dordretch: Kluwer Academic Publishers.
Herrera, J. (16 de marzo de 2015). Agencia y Superintendencia adelantan cómo revisarán el cumplimiento de la reforma escolar. El Mercurio. Recuperado de http://impresa.elmercurio.com/Pages/NewsDetail.aspx?dt=2015-03-16&dtB=16-03-2015%200:00:00&PaginaId=5&bodyid=3
Hopkins, D. (2009). Mi escuela, una gran escuela. Cambio escolar para el mejoramiento de los aprendizajes. Santiago: LOM Ediciones.
Hopkins, D., Stringfield, S., Harris, A., Stoll, L., Mackay, T. (2014). School and system improvement: A narrative state of the art review. School Effectiveness and School Improvement, 25(2), 257-281. doi: https://doi.org/10.1080/09243453.2014.885452
Hopkins, D. (2017). Mejora escolar, liderazgo y reforma sistémica: una retrospectiva. En Weinstein y Muñoz (Eds.), Mejoramiento y liderazgo en la escuela. Once miradas (págs. 71-112). Santiago: Ediciones Universidad Diego Portales. Centro de Desarrollo del Liderazgo Educativo (CEDLE).
Ley Nº 20.248. Diario Oficial de la República de Chile, Santiago, Chile, 1 de febrero de 2008.
Ley Nº 20. 370. Diario Oficial de la República de Chile, Santiago, Chile, 12 de septiembre de 2009.
Ley Nº 20.529. Diario Oficial de la República de Chile, Santiago, Chile, 27 de agosto de 2011.
Malone, H. (2017). El rumbo de la transformación educativa. Temas, retos globales y lecciones sobre la reforma estructural. México: Fondo de Cultura Económica.
Marchesi, A.; Tedesco, J.; Coll, C. (2009). Calidad, equidad y reformas en la enseñanza. Madrid: OEI. Recuperado de http://www.redage.org/sites/default/files/adjuntos/CALIDAD%2C%20EQUIDAD%20Y%
20REFORMAS%20EN%20LA%20ENSE%C3%91ANZA.pdf
Martín, E. y Martínez, F. (Eds.) (2009). Avances y desafíos en la evaluación educativa. Madrid: OEI.
Mineduc (2016). Plan de Aseguramiento de la Calidad Escolar 2016-2019. Santiago: ACE. Recuperado de https://bibliotecadigital.mineduc.cl/handle/20.500.12365/442
Monarca, H. (2012). La racionalidad de las políticas de evaluación de la calidad de la educación. Revista Iberoamericana de Educación. 59(1),1-9. doi: https://doi.org/10.35362/rie5911407
Mora, A. (2004). La evaluación educativa: concepto, períodos y modelos. Actualidades Investigativas en Educación, 4(2), 1-29. Recuperado de https://revistas.ucr.ac.cr/index.php/aie/article/view/9084/17481
Murillo, F. (Coord.) (2007). Investigación Iberoamericana sobre Eficacia Escolar. Bogotá: Convenio Andrés Bello.
Murillo, F. (2015). Mejora de la escuela: Medio siglo de lecciones aprendidas. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 13(1), 69-102. Recuperado de file:///Users/negrita/Downloads/Dialnet-MejoraDeLaEscuela-5122340.pdf
OCDE (2015). Perspectivas de las políticas de educación 2015. Las reformas en marcha. Paris: OECD. Recuperado de
https://www.oecd-ilibrary.org/sites/9a0f60de-es/index.html?itemId=/content/component/9a0f60de-es
OCDE (2017). Panorama de la educación 2017. Indicadores de la OCDE. Madrid: Fundación Santillana. Recuperado de https://www.fundacionsantillana.com/PDFs/PANORAMA%20EDUCACION%202017.pdf
Poggi, M. (2008). Evaluación educativa. Sobre sentidos y prácticas. Revista Iberoamericana de Evaluación Educativa, 1(1), 36-44. Recuperado de https://revistas.uam.es/index.php/riee/article/view/4678
Reynolds, D., Bollen, R., Creemers, B.P.M., Hopkins, D., Stoll, L. y Lagerweij, N. (1996). Making good schools. Linking school effectiveness and school improvement. London: Routledge.
Reynolds D., Teddlie, Ch., Chapman, C., Stringfield, S. (2015). Effective school processes from: The Routledge International Handbook of Educational Effectiveness and Improvement,Research, policy, and practice Abingdon: Routledge. Recuperado de https://www.routledgehandbooks.com/doi/10.4324/9781315679488.ch3
Ruiz, J. (2004). Cómo hacer una evaluación de centros educativos. Madrid: Editorial Narcea.
Sammons, P., Hall, J., Sylva, K., Melhuish, E., Siraj, I., & Taggart, B. (2013). Protecting the development of 5-11 year olds from the impacts of early disadvantage: The role of primary school academic effectiveness. School Effectiveness and School Improvement 24(2), 251-268. doi: https://doi.org/10.1080/09243453.2012.749797
Scheerens, J., Glass, C. y Thomas, S. (2003). Educational Evaluation, Assessment, and monitoring. A Systemic Approach. Lisse: Swets y Zeitlinger.
Senge, P. (2002). Escuelas que aprenden. Colombia: Editorial Norma.
Tedesco, J. (2016). Diez notas sobre los sistemas de evaluación de los aprendizajes. Reflexiones en curso sobre cuestiones fundamentales y actuales del currículo, el aprendizaje y la evaluación, (5),1-11. Recuperado de https://unesdoc.unesco.org/ark:/48223/pf0000245774_spa
Tiana, A. (1996). La evaluación de los sistemas educativos. Revista Iberoamericana de Educación, (10), 37-61. Recuperado de https://rieoei.org/historico/oeivirt/rie10a02.htm
Torrents D., Merino R., García M., y Valls O. (2018). El peso del origen social y del centro escolar en la desigualdad de resultados al final de la escuela obligatoria. Papers 2018, 103(1), 29-50. doi: https://doi.org/10.5565/rev/papers.2300
UNESCO (2013). Situación educativa de América Latina y el Caribe: Hacia la educación de calidad para todos. Santiago: OREALC/UNESCO. Recuperado de http://www.unesco.org/new/fileadmin/MULTIMEDIA/FIELD/Santiago/images/SITIED-espanol.pdf
Uribe, M. (2008). De la investigación a la práctica efectiva: Aplicaciones del Modelo de Gestión Escolar de Calidad de la Fundación Chile. Uribe, M. (2008). Ponencia presentada al V Congreso Internacional sobre Dirección de Centros Educativos, Universidad de Deusto, Bilbao.
Weinstein, J. y Muñoz, G. (Eds.) (2017). Mejoramiento y liderazgo en la escuela. Once miradas. Centro de Desarrollo del Liderazgo Educativo (CEDLE).
Zacarías, I. (2018). Las políticas de evaluación educativa en América Latina. Revista Fuentes, 20(2), 29-35. doi: https://doi.org/10.12795/revistafuentes.2018.v20.i2.02