Investigaciones evaluativas y políticas públicas en educación: cercamientos (enclosures) y apropiaciones
enclosures and appropriations
To cite this article: Martínez, J. B. (2022). Investigaciones evaluativas y políticas públicas en educación: cercamientos (enclosures) y apropiaciones. Márgenes, Revista de Educación de la Universidad de Málaga, 3(3), 55-72. http://dx.doi.org/10.24310/mgnmar.v3i3.15118
DOI: http://dx.doi.org/10.24310/mgnmar.v3i3.15118
* ORCID: 0000-0002-8329-0503
Universidad de Granada (España). jbmr@ugr.es
RESUMEN:
Entendemos que toda investigación que implica un conjunto de juicios sobre las políticas educativas públicas es evaluativa, porque afecta a los derechos de información y conocimiento de los ciudadanos de un asunto común como es la educación. Identificaremos las condiciones en las que se desarrolla la investigación evaluativa en su aplicación a las políticas públicas en educación, especialmente aquellas que son objeto de cercamientos (enclosures) o apropiaciones que excluyen voces o contextos narrativos, sea por parte de las administraciones educativas, por las ideologías del mercado o por sesgadas categorías científicas. Para ello, utilizaremos los principios de procedimiento de la perspectiva interpretativa naturalista, una fructífera “comunidad científica” cuyas ideas y debates penetran en nuestro país, hace cuatro décadas, de la mano del grupo de investigación liderado por Ángel Pérez Gómez en la Universidad de Málaga. Concretaremos sus aplicaciones a proyectos alternativos de investigación evaluativa; por su singularidad científica y trascendencia histórica destaca la “Evaluación de un Proceso de Innovación Educativa”. Sus aportaciones sobre las resistencias, condiciones y huellas de dicha investigación evaluativa nos permiten identificar cercamientos y apropiaciones en los procesos de evaluación. Finalmente, para rescatar, reforzar y recrear los argumentos y principios básicos de justicia social que eviten las usurpaciones en los procesos de evaluación de las políticas educativas, utilizamos una poderosa herramienta heurística impulsada por el movimiento de lo común, los “commons”, el procomún, los bienes comunes, “comunalizar”, conceptos analíticos que ayudan a repensar las políticas educativas y su evaluación.
PALABRAS CLAVE: investigación evaluativa; políticas públicas; innovación educativa
ABSTRACT:
We understand that all research that involves a set of judgments about public educational policies is evaluative because it affects the rights of information and knowledge of citizens of a common issue such as education. We will identify the conditions in which evaluative research is developed in its application to public policies in education, especially those that are subject to enclosures or appropriations that exclude voices or participants, either by educational administrations or by ideologies. of the market or by biased scientific categories. To do this, we will use the procedural principles of the naturalist interpretive perspective, a fruitful “scientific community” whose ideas and debates have penetrated our country four decades ago, hand in hand with the research group led by Ángel Pérez Gómez at the University of Malaga. We will highlight its applications to alternative evaluative research projects due to its scientific uniqueness and historical significance, the «Evaluation of an Educational Innovation Process» stands out. The contributions on the resistance, conditions and traces of this evaluative research allow us to identify enclosures and appropriation of decisions in the evaluations. Finally, to rescue, reinforce and recreate the arguments and basic principles of social justice that avoid usurpations in the evaluation processes of educational policies, we use a powerful heuristic tool promoted by the movement of the common, the “commons”, the commons, common goods, “communalize” as analytical concepts to rethink education policies.
KEYWORDS: evaluative research; public policies; educational innovation
1. INTRODUCCIÓN
El campo de la educación, dada la extensión y volumen socioeconómico así como el crecimiento progresivo y la complejidad de su papel en el presente siglo XXI, muestra, paradójicamente, cierto estancamiento e importantes retos pendientes en las condiciones sociales cambiantes, ante las que el sistema educativo no acaba de reaccionar. Han crecido las evaluaciones de los órganos internos de las administraciones nacionales e internacionales, las evaluaciones de programas de los Fondos Europeos de la UE se expanden, también los programas nacionales y los de las entidades de ayuda al desarrollo. Esta expansión ha conducido a un proceso de institucionalización de la evaluación interna cuya decepción ha provocado retrocesos. Sirva el ejemplo de la publicación en la Comunidad Autónoma de Andalucía del Decreto 525/2019, de 30 de julio, por el que se extingue la Agencia Andaluza de Evaluación Educativa cuyos fines y objetivos son asumidos por la Consejería competente en materia de educación a través de la Dirección General de Ordenación y Evaluación Educativa. Un ejemplo del fracaso del principio de independencia y autonomía de las investigaciones de corte evaluativo en la política pública en educación. La burocratización que se promueve desde los diferentes niveles de las administraciones educativas, por un lado, y el carácter instrumental y tecnológico de las expansivas propuestas evaluadoras del mercado, que invaden el sector público, no ayudan a resolver las distorsiones de las prácticas públicas a las que se les ha robado los principios políticos y éticos básicos, que deben marcar la valoración de la política educativa y no las veleidades metodológicas. La propuesta de la evaluación centrada en los objetivos y de orientación positivista, de utilidad mayormente técnica, ha proporcionado pocos avances y bastantes decepciones.
La emergencia de prácticas de evaluación pluralista centrada en las condiciones de los múltiples entornos y en los intereses de una pluralidad de actores, de mayor utilidad política y con una mayor atención a la incidencia social, supone un conjunto paraguas que permite analizar los procesos de los programas públicos, enlazar los múltiples niveles y contextos en que se encuadran y clarificar las condiciones bajo las cuales sus resultados son transferibles. La utilización de estas aplicaciones principalmente cualitativas, “naturalistas”, sostienen la necesidad de estudiar un programa en la realidad donde se desarrolla, sin buscar la generalización. Entendemos que las singularidades y condiciones de los diferentes niveles, contextos y actores son más abundantes que los aspectos comunes que se identifican y que justifican un tratamiento único, generalista y técnico, por lo que aquí no se trata de un debate polarizado por la lucha entre paradigmas. En la medida que la evaluación pluralista legitima la diversidad de intereses presentes, reconoce la multiplicidad de perspectivas que estos intereses implican, y de hecho promueve la participación activa de los diversos grupos que tienen relación con un programa, “democratiza” la evaluación, aunque ello se haga a menudo desde arriba, por decisión de los evaluadores (Weiss, 1983).
Sin embargo, muchos autores han comprobado el problema central que se refiere a las escasas y complicadas relaciones entre los resultados producidos por la investigación evaluativa y su adecuación o influencia en el diseño de las políticas educativas (Subirats, 2005, 2006). Si esta relación resulta problemática y poco fructífera, en términos generales, en el caso de las aplicaciones de tipo interpretativo no se valora suficientemente su potencial comprensivo y exploratorio en los múltiples contextos y dimensiones de la gobernanza educativa.
La investigación evaluativa, como práctica aplicada, se caracteriza por la importancia del juicio sobre las prácticas políticas educativas o sobre las instituciones en las que se valora la bondad del trabajo a través de observación, evidencias, juicios y decisiones de las prácticas colectivas, personales e institucionales. Entendemos que el proceso que va desde la observación a la acción ha de hacerse de forma democrática lo que significa valorar quiénes deciden lo que es objeto de valoración, cómo abordar las actividades o acciones y cuándo hacerlo, comprobar si se observa imparcialmente, sin imponer preferencias que se extiendan a la elección de métodos y a los asuntos que se quieren conocer y, posiblemente, cambiar. Los valores o técnicas se eligen para llegar al significado en el proceso seguido para obtener el conocimiento y decidir sobre los criterios y las voces, y sobre si el juicio es de conocimiento público y la transparencia sostiene el proceso bajo el principio de justicia social (Kushner, 2017).
2. El extenso territorio de las políticas públicas en educación y su evaluación
El hecho de que al evaluar ciertas políticas o prácticas escolares se opere con juicios, que pueden llegar a tener consecuencias sociales y personales, exige entenderla como una actividad humana y moral, no sólo racional, sino también política, social, cultural y ética. Por los distintos programas, planes e instituciones educativas circulan las políticas con el propósito general de facilitar su comprensión, emitir juicios de acuerdo con sistemas de creencias y valores que han de ser explícitos y bien justificados. La difusión del conocimiento y los juicios evaluativos contribuyen a crear y sostener un espacio social y cívico, no solo profesional y administrativo, de conocimiento informado y público (Weiss, 2004). Otros autores afirman que la investigación evaluativa es una actividad política y de dirección:
El umbral que conduce al complejo mosaico del cual emergen las decisiones políticas y el lugar de su aplicación en la planificación, el diseño, la ejecución y la continuidad de los programas para mejorar la condición humana. (Rossi y Freeman, 1989, p. 20)
Este territorio de la evaluación no es privativo de ámbito científico o político, se extiende sobre la actividad vital de los ciudadanos y de sus medios de comunicación con un poder excesivo sobre las políticas. La opinión pública, la más hegemónica o la minoritaria, contiene en su seno imágenes, representaciones y juicios que son el testimonio del valor y la valoración atribuida a la educación, lo que resulta fundamental para las políticas educativas, no es independiente ni ajena a la evaluación más formal, global y rigurosa. (Escudero, 2010, p. 13). Es difícil negar las influencias mediáticas especialmente desde la expansión de la comunicación digital, no obstante, el objeto de estudio del análisis de políticas públicas consiste tanto en los problemas públicos y cómo estos son definidos como, precisamente, en cómo los poderes públicos intentan dar respuesta a dichos problemas (Subirats, 2005, 2006).
La potencialidad de la investigación evaluativa consiste en su posibilidad de producir información y comprensiones acerca de los impactos que producen los recursos puestos en marcha desde las políticas educativas generan los contextos escolares y las tareas formativas. Jobert (2004) considera que se debe a que, en realidad, determinan el modelo social que pretendemos y también porque los asuntos de la política tienen una dependencia recíproca de las racionalidades instrumentales que se utilizan para su definición y planificación (Surel, 2006).
El conocimiento que elabora la investigación evaluativa de políticas y acción pública se sitúa en el amplio contexto de los procesos de transformación de las sociedades, y en consecuencia es parte de la deliberación, negociación política y la toma de decisiones sobre los problemas públicos (Weiss, 2004). La investigación evaluativa de las políticas educativas se encuentra en un espacio especialmente polémico sobre sus posibilidades y efectos en la medida en que afecta a la construcción de conocimiento complejo sobre los problemas públicos de la ciudadanía y los procesos de cambio que influyen o tratan sobre los territorios y poblaciones locales (Subirats, 2005). La amplitud del territorio objeto de estudio viene siendo abordado desde una triple conceptualización que resulta de interés para a las políticas educativas: 1) como principios, opiniones y convicciones personales de los ciudadanos en la distribución de poder en educación ( polity ), como negociación de las relaciones de poder en la práctica parlamentaria y partidista de los ciudadanos (politics) y como las estrategias de intervención o diagnóstico de los resultados educativos de la actividad del gobierno policy. Un territorio extenso pero parcelado y disociado que, como considera Surel (2006), se aborda de manera dividida en la esfera pública. El supuesto de la autonomía relativa de la toma de decisiones resulta conocido y demuestra el progresivo desacoplamiento de la racionalidad técnica en la construcción y gestión de la decisión pública, respecto de los criterios y mandatos políticos.
Al ampliar nuestro campo de estudio nos encontramos, además, con el análisis de los resultados no esperados de las actividades del gobierno y de políticas que conviene explorar (Weiss, 1972; Meny y Thoenig, 1992). Este enfoque supone integrar los desafíos de la validez externa y apreciar las potencialidades que abre para observar y comprender la relación entre los procesos de cambio social y las políticas públicas en contextos locales (Bustelo, 1999). Supone abrirse a contextos más amplios de análisis de políticas, reconstituyendo la complejidad de los procesos y sus resultados, sus potenciales efectos múltiples y contradictorios (Subirats, 2005), en cuanto a las condiciones del contexto, la multiplicidad de actores, sus racionalidades, y las interacciones que desarrollan con independencia de las fases de implementación de las. Ello exige abrir enfoques y recursos teóricos que permitan analizar y comprender las interacciones entre las condiciones estructurales de la educación y las decisiones prácticas que adoptan los distintos implicados en la educación.
3. La relación entre las políticas educativas y la investigación evaluativa
Partimos de la base de que una teoría de la evaluación debe ser tanto una teoría de la interacción política entre los diferentes actores y entornos de relación con sus correspondientes interdependencias materiales y culturales, así como una teoría del modo de acceder al conocimiento y a la información (Simon, 1999) por parte de los sujetos que lo producen y difunden a distintos niveles. La evaluación es un proceso político que compite con otros factores de la política y el evaluador está implicado en la acción y mantiene una postura política ante la asignación de recursos, tareas o funciones, y una actitud ante la gobernanza, pero una cosa es reconocer que la evaluación es una actividad política y otra distinta abrazar un partido político.
A veces se distorsionan los datos para que se ajusten a una posición política particular. El contexto político cambiante, el tipo de metodología, la difícil relación con algunos responsables, especialmente con los encargados de la formulación de políticas, el abordaje de los problemas de contexto, son dificultades a resolver en la interacción entre políticas públicas y su evaluación. En algunos casos se recogen datos para que respalden la política, en otros, si son políticamente sensibles quizás no se publiquen e incluso que se ignoren internamente. Igualmente resulta frecuente que el departamento que recopilaba datos se reestructure y ya no tengan aplicación por lo que, a menudo, la “elaboración de políticas basadas en evidencia” es en parte un mito. La literatura internacional muestra que, con demasiada frecuencia, los informes de evaluación se encargan, se aceptan y se dejan en un estante o se recoge sesgadamente lo que interesa (Guenther s∫., 2010).
Los responsables de la formulación de políticas, consideran que la evaluación tiene un estatus inferior al de otras formas de investigación que informan las políticas. Muchos, si no la mayoría de los evaluadores, aceptan la idea de que parte del mérito de su trabajo puede juzgarse en términos de si se utiliza una evaluación y cómo (Henry y Mark, 2003). Por otro lado, las evaluaciones pueden impactar en muchos niveles. Además de la aplicación directa de los hallazgos de la evaluación sobre la política o la práctica, las evaluaciones pueden cambiar la conciencia y las actitudes de los participantes (Henry y Mark, 2003), lo que podría conducir a futuros cambios de política de una nueva política o justificando la existente.
El camino desde la evaluación hasta la política es complejo y, a menudo, largo; los políticos, además de las diferencias ideológicas, las incertidumbres para incorporar los hallazgos de la evaluación en el desarrollo de políticas pueden incluir un enfoque anti-intelectual o una actitud de aversión al riesgo hacia los hallazgos que afectan a un personaje político.
Los evaluadores quizás no entiendan los contextos y procesos de las políticas, incluido el ritmo al que se toman las decisiones. También puede haber impedimentos para que los investigadores accedan a los datos almacenados en las administraciones educativas o un esfuerzo insuficiente por parte de los gobernantes para identificar y publicar las prioridades políticas. (Edwards 2005, p. 68)
A menudo existe tensión entre la independencia evaluativa y las restricciones impuestas a los evaluadores por quienes los financian (Chelimsky, 2008), lo que a veces genera fuertes presiones para reescribir las evaluaciones para que se ajusten a las expectativas de los financiadores (Markiewicz, 2008). Esto se suma a los desafíos inherentes de realizar evaluaciones por temor a perder fondos si se presenta evidencia más equilibrada (O’Brien et al., 2010).
Nutley et al., (2007) señalan que son los vínculos entre investigadores y formuladores de políticas los que mejor predicen el uso de la investigación, en particular las interacciones presenciales. Aunque, frecuentemente, estos vínculos se ven obstaculizados por servidores públicos que trabajan bajo una gran presión, sin el tiempo, las habilidades previas y el apoyo para desarrollar y supervisar contratos de evaluación apropiados. Quienes trabajan en estas condiciones pueden tener dificultades para identificar preguntas clave de evaluación y sus implicaciones políticas, y para gestionar la transferencia del conocimiento de los hallazgos y recomendaciones de la evaluación a las mejoras políticas.
Pocos ambientes hay tan sensibles desde el punto de vista ideológico y político como el educativo: los escenarios de las políticas educativas están presididos por la diversidad de opiniones, valores y creencias; el debate, la argumentación y la confrontación entre actores se tornan en costumbres, precisamente porque no cabe (sólo) hallar soluciones científicamente verdaderas (García y Kushner, 2010). Por ello, resulta de especial utilidad para el análisis de las políticas educativas aquellos enfoques que subrayan el papel de las ideas como variables explicativas del cambio en las políticas públicas. El potencial analítico de dichos enfoques va, incluso, más allá al pretender elaborar una teoría global del proceso de políticas públicas desde la Ciencia Política. Esas teorías, aplicadas en nuestro caso al estudio de las políticas educativas, no permitirían comprender “cómo los actores políticos interesados interactúan dentro de las instituciones políticas para producir, implementar, evaluar y revisar las políticas públicas” (Schlager y Blomquist, 1996, p. 653).
4. cercamientos (enclosures) y apropiaciones por parte de las administraciones EDUCATIVAS y las intrusiones de las ideologías GERENCIALES
Qué gana la administración con la contratación de evaluaciones, si son actividades potencialmente peligrosas para la burocracia política ya que los evaluadores proporcionan lo que puede ser información útil, aunque dicha información no siempre compensa los riesgos políticos (MacDonald citado en Kushner, 2010). Sin embargo, lo que es más importante, un programa social es un medio para lograr fines políticos (lo que convierte la evaluación en algo útil en el sentido democrático y en el sentido formativo). La preocupación de los gobiernos por la gestión basada en resultados impide el compromiso democrático y participativo. Por otro lado, la institucionalización de la evaluación ha conducido a un cerco muy rígido de cláusulas que han predeterminado la evaluación y limitado sus objetivos, haciendo que la evaluación sea menos eficaz y democrática. Los cercamientos se han instalado en la medición post hoc de la productividad de los programas, al evaluador se le niega la oportunidad de diseñar una evaluación en términos “deliberativos y democráticos”. Si la sociedad ha de “aprender sobre sí misma”, deberíamos prestar atención a la relación entre el ciudadano y lo público, ya que las administraciones en estos momentos tienen prácticamente el monopolio de los medios para lograr ese aprendizaje (ibíd.).
Los primeros teóricos de la evaluación, en su búsqueda de las funciones más apropiadas de ésta, la definían menos en términos de metodología y más como un espacio social y político único, dentro del cual se producían unas interacciones que no tenían cabida en ningún otro espacio social. Para ocupar ese espacio (de hecho, un espacio ético) la evaluación ha de evitar los cercamientos. La independencia debe entenderse no como un privilegio del evaluador como actor político, sino como garantía al ciudadano de que hay un proceso político en marcha (que da cuentas a la sociedad) y al cual tienen acceso. Institucionalizar la evaluación equivale a denegar el libre acceso a sus resultados (Kushner, 2010).
También Saville Kushner (2010) insiste en el problema de la tensión, que produce la urgencia por asegurar que se apliquen las políticas y se obtengan resultados; esto provoca cercamientos y obstáculos para que los agentes implicados puedan hablar libremente de sus preocupaciones en los contextos concretos donde estimular la crítica y el debate social de forma transparente con intercambios de información de datos públicos, como base para el diálogo entre la sociedad y la administración educativa.
La evaluación de programas públicos obliga a los evaluadores a considerar su contribución a la vida social y política (Stake, 1982; Rodríguez, 2003) pues lo que distingue un modelo evaluativo de otro no es sólo la metodología de investigación que se utilice, sino a quiénes se dirige la evaluación y los valores que ésta promueva (Greene, 2000). El evaluador está inmerso en un proceso político que concierne a la distribución del poder educativo tales como la asignación de recursos y la determinación de metas, roles y tareas (MacDonald, 1989; Rossi y Freeman, 1989).
Sin embargo, aunque la evaluación se concibe como una actividad intrínsecamente política, desde el momento en que en ella se ven involucrados actores con intereses contrapuestos, políticamente relevantes, surge la lucha por obtener una mayor cuota de poder e influencia en el proceso evaluativo, con el propósito de modularlo de acuerdo a sus preferencias. Y es ahí donde se producen los cercamientos y apropiaciones por parte de dichos actores. Las evaluaciones, lejos de constituir escenarios eminentemente racionales, asépticos e integrados en torno a unos objetivos comunes, están presididas por la diversidad de intereses donde distintos actores tienen percepciones y aspiraciones diferentes acerca de cómo debe ser la evaluación y del papel que en ella les debe corresponder. Cada actor lucha por hacer valer sus pretensiones y por obtener la mayor cuota posible de poder en sus transacciones. El escenario de la evaluación, como se ha dicho se define a partir de la interacción política de los actores implicados y/o con intereses en la evaluación (García y Kushner, 2010).
Todo se debe, como se ha dicho, a que la educación tiene profundas raíces políticas e ideológicas en cuanto que es la expresión de la estructura económica, social y política y de las relaciones de dominio de los grupos con más poder e influencias sociales. En este contexto, la evaluación tiene la misión de satisfacer las demandas específicas de información de cada una de las audiencias por la capacidad de producir conocimiento y reflexiones sobre la praxis educativa y replantear los objetivos y procedimientos pedagógicos con la intención de mejorar. (MacDonald en Rodríguez, 2003, p. 18)
El control de la información permite a los grupos de interés que la monopolizan una mayor influencia y apropiación de las decisiones educativas. La difícil tarea del evaluador es garantizar su independencia frente a cualquier grupo de interés, no siendo dócil ante la estructura jerárquica del poder con un tratamiento imparcial e igualitario de las distintas audiencias. La legitimidad política de los programas educativos depende de que éstos sean consentidos y reconocidos como portadores de los intereses mayoritarios de las distintas audiencias incluidos los grupos menos favorecidos. Lo que no significa proporcionarles mayor protagonismo, ya que se fomentaría la parcialidad y tendenciosidad de los hallazgos evaluativos, comprometiendo la validez y credibilidad de la evaluación.
La impresión que predomina es que va a ser probablemente mucho más complicado hacer evaluación de políticas sociales en el futuro, al tratarse de políticas más complejas; con más actores; donde el proceso es generalmente mucho más importante que los resultados concretos; donde hay muchos más casos personales y específicos que casos estandarizables y generalizables. Para dar más valor y “voz” a la proximidad, a la comunidad en que se implementan esas políticas estableciendo mucho más diálogo con lo que es el territorio. (Subirats, 2005, p. 37)
La nueva época en que vivimos, exige cada vez más, políticas que sean heterogéneas, flexibles, tendencialmente personalizadas y que puedan desarrollarse desde la proximidad). A pesar de todo, la sensación es que la evaluación que incorpore el análisis de los elementos procesuales acaba teniendo mejores impactos en los procesos de mejora e implementación posteriores. Por todo ello, no es inhabitual que los indicadores acostumbren a ser relativamente insuficientes o excesivamente simples en relación a la complejidad de la política.
5. La emergencia internacional de una comunidad científica de evaluadores y su transferencia a nuestro país
Uno de los movimientos científicos de mayor interés en el ámbito anglosajón sobre la investigación evaluativa se configura a finales de los años sesenta con el desarrollo del Humanities Curriculum Project liderado por Lauwrence Stenhouse, un intento de conseguir el ideal de una escuela emancipadora para todos. La University of East Anglia aumenta su equipo en su Centre for Applied Research in Education (CARE); por otra parte, se crea cierta afinidad entre el director Barry MacDonald y Malcolm Parlett del Centre for Educational Sciences de la Universidad de Edimburgo, autor de la “Illuminative Evaluation con Hamilton. MacDonald visita EEUU en 1970 el Center for Instructional Research and Curriculum Evaluation (CIRCE, fundado en 1964) de Illinois cuyo Director Bob Stake trabajaba con Mike Atkin, un crítico del modelo de objetivos; en su viaje también se encuentra con Ernie House.
Esta relación entre dos centros de investigación, el CARE y el CIRCE, se convierte en una red angloamericana que se reunirá anualmente en Camdbrige. Se incorporan a esta red Lou Smith, David Jenkins quienes defienden un modelo más literario de evaluación lo que le acercaría más adelante a Elliot Eisner. Otros miembros clave conectados a esta comunidad invisible son Rob Walker y Clem Adelman, que se trasladan a East Anglia a trabajar con John Elliott en el Ford Teaching Projetc del que surge la Red de Investigación Acción. Walker se incorpora para trabajar con MacDonald en el proyecto de Evaluación SAFARI (1973), al que se suma Helen Simon para desarrollar la evaluación de las políticas curriculares de los sesenta. Posteriormente, John Elliott se traslada a al Cambridge Institute donde se encarga de un proyecto de evaluación al tiempo que en el CARE Stenhouse y Jane Rudduck participaban, conversos a última hora, en los estudios de casos. Todos ellos, junto a Ivor Goodson, profundizan en los estudios de casos y reivindican la dimensión histórica de los casos.
Esta suma de brillantes aportaciones en torno a la investigación evaluativa interpretativa desarrolla una orientación singular que se consolida en las reuniones de los años setenta formando un intenso y heterogéneo grupo. En Estados Unidos Stake influye en Cronbach, Campbell, House, Guba y Glass, y Patton, difusores de la teoría naturalista que, a juicio de algunos, peligra convertirse en una élite intelectual exclusiva. Sin embargo, teniendo multitud de cuestiones en común se hacía hincapié en las diferencias, lo que impedía contrarrestar la tendencia tecnocrática de la evaluación. La tendencia etnográfica y la nueva sociología siguieron su línea pese al solapamiento. Los ingleses Walker y Adelman junto al estadounidense Stake apostaban, pese a las dificultades, por un concepto “comunal” de la investigación educativa. Un movimiento reducido como este, fragmentado, no ayudaba al crecimiento académico. El estudio de casos integrado en la investigación educativa en sus diferentes ramas es reivindicado en los ochenta por Burgess, pendiente aún. Ambos centros, CARE y CIRCE, pese a su tamaño han funcionado como centros destacados de Investigación Educativa y comparten hoy una reputación mundial por su trabajo de calidad (Simon, 1999).
La conexión de Ángel Pérez con esta extraordinaria red de evaluadores y sus consecuencias y efectos comienza con su preocupación sobre dónde está la pedagogía interesante de las universidades españolas, su falta de respuestas le provoca emprender en 1972 viaje al Instituto de Londres. Posteriormente, los contactos de Ángel Pérez en la Universidad de East Anglia (Barry Macdonald, John Elliott, Lawrence Stenhouse) fueron definitivos y produjeron la participación en el histórico Congreso de Educación de la Manga del Mar Menor de 1982 (Marrero, 2014), al que L. Stenhouse no pudo acudir por enfermedad y falleció posteriormente. El contacto con John Elliott resultó altamente productivo e influyente en ideas que germinaron en propuestas de traducciones, intercambios y formación, que permitían repensar la investigación y la evaluación desde la tradición cualitativa o interpretativa, desconocida en nuestro país. Supuso un foco de innovación liderado desde su cátedra de Didáctica y Organización Escolar de la Universidad de Málaga1 quien, además de introducir por primera vez una visión panorámica de las perspectivas de investigación en 1983 con su capítulo Paradigmas contemporáneos de investigación didáctica, hace lo correspondiente con los Modelos contemporáneos de evaluación, donde se alude sintéticamente a la evaluación respondiente o de réplica (Stake), la evaluación democrática (MacDonald), los estudios de casos (Stenhouse, Jenkins y Kemmis), la evaluación Iluminativa (Parlett y Hamilton); la basada en la crítica artística (Eisner), y la evaluación sin referencia a objetivos (Scriben). Además del análisis de sistemas (Rivlin, Rossi, Freeman y Wrigt), por objetivos de comportamiento (Tyler), e información para la decisión (Stufflebeam).
La mencionada publicación y las tareas de difusión y aplicación de la nueva perspectiva significaron una apertura a otras aplicaciones de la investigación de corte evaluativo y a implicarse en la evaluación de la reforma educativa y en otras propuestas de formación del profesorado, junto con las demandas y política educativa en el contexto de la reforma curricular que conformaron un poderoso cuerpo teórico que impregnó todo el entorno educativo español. Destacan los talleres iniciales sobre la teoría y la práctica de investigación y acción, y sobre evaluación democrática, en la que John Elliott, Bridget Somekh y Barry MacDonald, apoyaron el naciente grupo de investigación, evaluación e innovación educativa de la Universidad de Málaga, grupo que ha desarrollado su trabajo hasta el presente, siguiendo y expandiendo esas sugerentes y poderosas enseñanzas (Pérez y Gimeno, 1994a, 1994b).
Desarrollan investigaciones y evaluaciones cualitativas desde la perspectiva del “enfoque democrático” de Barry MacDonald orientado a democratizar el uso del conocimiento, promover la participación informada y la responsabilidad de las distintas audiencias en la innovación (Rodríguez, 2003). La evaluación de la Reforma dejaba así de ser un mecanismo de control educativo, para convertirse en una actividad de investigación que busca comprender el buen funcionamiento y correspondencia con las necesidades e intereses de los grupos implicados. Esta proyección social y educativa del “enfoque democrático” y su injerencia negociada en el centro mismo de los conflictos e intereses en torno a la reforma, es lo que posibilita que su estudio desvele, como ningún otro modelo evaluativo, la naturaleza política de la evaluación curricular.
6. proyectos de Investigación Evaluativa promovidos desde la Universidad de Málaga
Según Pérez y Gimeno (1994b) una Investigación Evaluativa se realiza preferentemente en contextos y finalidades locales: evaluar es valorar comprender, enjuiciar, aplicar criterios éticos y principios políticos, democráticos sociales. Es significativo quién decide, la pluralidad de actores afectados y se valora la aportación de la participación y el conocimiento ciudadano con método y rigor científico. La investigación evaluativa más ambiciosa que lidera Ángel Pérez es la Evaluación de un proyecto experimental de Innovación Educativa sobre la evaluación de la reforma en el ciclo superior de EGB de Andalucía. Lo trataremos en el punto siguiente. Otras se refieren a la evaluación educativa de los aprendizajes de segundo orden, aprender cómo aprender, análisis de proyectos internacionales y experimentación de estrategias alternativas (SEJ2007-66967) financiado por la DGCYT (Plan Nacional de i+d 2007-2010).
Resultó oportuna la Evaluación externa de los proyectos educativos de centro para la incorporación de las tecnologías de la información y la comunicación a la práctica docente, donde se presenta el resultado final de una investigación sobre el uso de las TIC en la práctica educativa para conocer y comprender lo que ha ocurrido en los centros TIC, y la virtualidad pedagógica de los procesos y fenómenos que los proyectos han puesto en marcha mediante ocho estudios de casos en centros tanto de Primaria como de Secundaria.
Liderado por el Investigador responsable: Ángel I. Pérez Gómez se realiza la Evaluación del impacto del sistema público de servicios sociales de atención primaria en Andalucía. Sobre la calidad en las prestaciones básicas de los servicios sociales comunitarios (ESESO). Resulta especialmente novedosa esta apertura a otro campo social: la Evaluación de los servicios sociales de atención primaria en Andalucía a través de una metodología cuantitativa que explora una muestra de las poblaciones de usuarios, técnicos, responsables políticos y colaboradores en lo que se refiere al uso de los servicios comunitarios, metodología que es completada con la realización de los Estudios de Casos (Pérez Gómez, 2004).
Otras publicaciones suyas tratan de analizar la función, sentido y consecuencias de las evaluaciones externas de los sistemas educativos basadas en pruebas estandarizadas o test, de carácter internacional, así como sus posibles consecuencias en las políticas nacionales: identificar las fortalezas y debilidades de PISA, que han contribuido a crear un superficial marco o estado de la cuestión sobre la calidad de los sistemas educativos, de decisión y análisis que no ha gozado ni del rigor ni de la independencia, ni de la profundidad requerida (Pérez y Soto, 2011)
La evaluación de las competencias o cualidades humanas es incompatible con las reválidas, test y pruebas externas estandarizadas, iguales para todos. Las cualidades más importantes del aprendizaje en la era digital –autodirección, iniciativa, creatividad, pensamiento crítico, solución de problemas y autoevaluación– son difícilmente evaluables mediante instrumentos baratos y masivos de papel y lápiz , como los test estandarizados o las reválidas externas; requieren, por el contrario, herramientas y procesos más complejos, plurales y flexibles como la observación continua de los equipos docentes sobre el quehacer y los procesos y productos de los aprendices (Pérez Gómez, 2014). La LOMCE, fiel exponente de la pedagogía conservadora del movimiento GERM, recupera las reválidas, pues apuesta por la estandarización de aprendizajes superficiales en lugar de potenciar el desarrollo singular de cada aprendiz hasta el máximo de sus posibilidades.
Publica, además, interesantes documentos sobre la Investigación Evaluativa sobre el Desarrollo del Currículo y Factores de Calidad de la Enseñanza Secundaria Obligatoria (EVESO) donde se considera que el principal problema de la ESO es la complejidad de hacer compatible un currículo comprensivo con la diversidad que se reúne en las aulas. Esto se desprende de una amplia investigación –Desarrollo del currículo y factores de calidad en la Educación Secundaria Obligatoria en Andalucía– que revela, además, un progresivo abandono oficial de la Reforma y el deterioro de la enseñanza pública, coincidiendo con la llegada del Partido Popular al poder.
También se realiza en un proyecto el análisis de las pruebas de Evaluación General de Diagnóstico del Ministerio de Educación de España respecto a la competencia social y ciudadana. Es la primera vez que esta competencia se contempla en un programa de evaluación educativa donde se trató de valorar si estas pruebas pueden ser consideradas herramientas útiles para evaluar el desarrollo de las capacidades cognitivas de segundo orden. Para este análisis se realizó un estudio cualitativo, fundamentado en el análisis de contenido interjueces y contraste con juicio de expertos. Los resultados muestran que las capacidades predominantes en estas pruebas son reproducción y comprensión-aplicación (Mayorga Fernández et al., 2018).
7. APORTACIONES DE la “Evaluación de UN Proceso de Innovación Educativa”
Esta investigación evaluativa (Pérez y Gimeno, 1994a) cuenta en su haber con el Premio Nacional de Investigación, realizada sobre La reforma del ciclo superior de la EGB en Andalucía aporta un valioso conocimiento sobre un proceso de implantación de la reforma desde la planificación política hasta los desarrollos individuales e institucionales de diversos contextos (Pérez Gómez, 1997). El conocimiento adquirido se refiere a los principales factores que inciden en la calidad de los procesos de enseñanza aprendizaje, al mismo tiempo que ha proporcionado hallazgos sobre la riqueza heurística de las estrategias y procedimientos de indagación y evaluación cualitativas, así como sobre los complejos procesos de la práctica escolar y sus intentos de renovación. Todo ello abordado desde la perspectiva interpretativa contrastada y enriquecida por las experiencias anglosajonas anteriormente expuestas, con un singular marco teórico de rica tradición que ha ayudado al desarrollo del proyecto de investigación evaluativa. Dicho marco partió de la construcción social de la realidad educativa, cuya comprensión no implica predicción ni control, considerando el conocimiento producido como una hipótesis provisional de trabajo. La sensibilidad y competencia de los investigadores ha sido un instrumento de investigación aceptando la pluralidad de perspectivas y el respeto a la complejidad natural al sumergirse en la realidad existencial de las narraciones.
Los principios específicos del proyecto parten, según Pérez Gómez (ibíd.), de la convicción de que los procesos educativos se construyen mediante la interacción social de los agentes implicados quienes presentan diferentes perspectivas desde conocimientos tácitos o explícitos conocidos o no por otros participantes. La novedad en nuestro país de los instrumentos utilizados han sido la observación prolongada en el campo, la triangulación y otras técnicas de investigación etnográfica que han permitido ofrecer datos, experiencias e interpretaciones plurales que facilitan a los agentes participantes o lectores la elaboración de sus sistemas de comprensión de la realidad. Garantizados el anonimato y la confidencialidad, la implicación voluntaria de los implicados, unida a la aplicación permanente del principio de negociación en todo el proceso, ha permitido la elaboración de conceptos, ideas e interpretaciones comunes y discrepantes de la vida institucional. El papel del investigador naturalmente se ha visto afectado por la tensión entre la implicación en los problemas de los participantes para decodificar el pensamiento y el comportamiento simbólico y, por otra parte, el respeto y la distancia exigida ante las justificadas demandas de apoyo y solidaridad a los docentes ante sus reivindicaciones (Pérez Gómez, 1997).
La historia externa del proceso de reforma desde la perspectiva de los centros, de la administración y la historia interna propia de la Reforma han permitido comprender algunas claves y reflexiones del proceso como resultado de los prolongados estudios de casos. En este sentido, la Reforma fue un novedoso proceso de experimentación con cierto grado de incertidumbre e indeterminación que provocó enriquecedoras controversias y contradicciones. El análisis evolutivo muestra una rápida transformación y deterioro del proyecto educativo inicial constatándose un variado nivel de implicación del profesorado en el proyecto. Los centros más fuertemente comprometidos partían de una elaboración propia que, de forma integral, se proyectó en el histórico documento de Carboneras. Sin embargo, resulta especialmente significativo el proceso de involución, estancamiento, fracaso o abandono de la experimentación (ibíd., p.181)
Comprender el deterioro de la reforma exigía abordar las deficiencias en el proceso de incorporación de los centros debido a la carencia de un proyecto elaborado, el desconocimiento del sentido de la propia Reforma, las tensiones creadas entre el profesorado cuya inexperiencia se enfrentaba con la necesaria competencia profesional. A ello se unió la falta de costumbre en el trabajo en grupo, la ausencia de apoyos externos, la presión de las familias preocupadas por el éxito en los estudios superiores y los conflictos entre el profesorado unido a los cambios y traslados de equipos.
La incorporación de los centros era voluntaria y debía producirse por acuerdo de la mayoría en el claustro. La ocultación e información confusa y sesgada se unió a la previsible oposición de un sector del profesorado que se veía empujado a una reforma precipitada sin el debate y reflexión necesarios. La resistencia al cambio conduce a una reflexión seria sobre las exigencias democráticas del cambio social. La experimentación afectaba a todo el profesorado, alumnado y familias, que presionaban, especialmente las de clase media, sobre el carácter propedéutico de las enseñanzas del tercer ciclo, lo que se unió a los acontecimientos de 1988 que producen un cambio de rumbo en la experimentación.
El problema suscitado es de una gran envergadura por la necesidad de conjugar la necesidad social de un cambio con los derechos de los implicados y el sentido democrático de las estrategias que se ponen en marcha, lo que afecta al derecho de los alumnos frente al de los profesores y de las propias familias. Por otra parte, cómo aplicar los derechos democráticos en la existencia de grupos diferentes del profesorado con experiencias, intereses y convicciones distintas, incluso enfrentadas. El abandono sin debate ni explicaciones del modelo de reforma por parte del gobierno central y autonómico afecta al principio de interdisciplinariedad y de innovación experimental que en el Libro Blanco y los Diseños curriculares Base quedan abandonados de hecho por una orientación totalmente diferente al modelo propuesto en el documento de Carboneras. Quedan, pues, en entredicho los principios de experimentación, participación del alumnado, trabajo en equipo, la relación de la escuela con el medio natural y social en que se desarrollan el alumnado, la unidad del ciclo, la organización interdisciplinar. Entra a formar parte una concepción positivista, enciclopédica y disciplinar con la implantación de las llamadas materias instrumentales (Matemáticas y Lengua) que impiden cualquier propuesta integral. Especial interés tuvo la propuesta de experimentación de los talleres optativos, basados en los intereses del alumnado, organizados en grupos heterogéneos flexibles y de potencial colaborativo. Excluidos de una propuesta integral con los centros de interés terminan perdiendo su función y consideración.
La experimentación de la reforma (ibíd., p.212) ha dejado huellas en la formación de un cuantioso equipo investigador con capacidad expansiva, en las experiencias adquiridas en el trabajo en la relación natural de los grupos de profesorado y alumnado, en la posibilidad de una organización democrática del aula y centro, en la construcción o utilización de materiales curriculares alternativos en un clima de relación más natural y en la complicada aplicación de los principios de la diversidad y flexibilidad. El saber adquirido individual y colectivo es un resultado en el patrimonio pedagógico común que ha impregnado prácticas pedagógicas de innovación educativa, investigaciones cualitativas y estudios universitarios, principios éticos y políticos que han inspirado a grupos de investigación y de renovación pedagógica, han avanzado de manera efectiva la perspectiva interpretativa para la comprensión de la vida escolar.
8. ENTENDER la investigación evaluativa de políticas públicas como una construcción procomún
Lo común, los “commons”, el procomún, los bienes comunes e incluso comunizar, son palabras que emergen no sólo como conceptos analíticos sino también como poderosas herramientas de acción política, social y legal (Barbieri, 2014) impulsadas por numerosos movimientos sociales de todo tipo y en diferentes espacios (científico, educativo, ambiental, económico, urbano, digital). Los problemas a los que las políticas públicas se enfrentan resultan cada vez más complejos, inciertos y con más riesgos incorporados, son un nuevo reto para la legitimidad de las instituciones educativas en su rol de intermediación social. Necesitamos una nueva epistemología política para la evaluación de políticas educativas donde los bienes comunes inmateriales emergen como herramientas de acción política, educativa y social; son complejos sistemas de gestión de instituciones, comunidades y prácticas normativas (ibíd.).
Que las políticas educativas sean políticas de los bienes comunes implica no pensar la educación solamente como un conjunto de servicios educativos, sino identificar y reconocer que la Investigación Evaluativa ayuda a las comunidades que gestionan de forma compartida los recursos educativos pues incorporan normas propias, maneras de hacer que reconocen la interdependencia entre los actores educativos y las comunidades escolares y se desarrollan metodologías para promover la colaboración, la corresponsabilidad colaborativa. El concepto «común» ha aparecido con fuerza en el escenario político como un reflejo de la necesidad social de repensar la gestión de lo público (Subirats y Rendueles, 2016).
Las políticas públicas de la educación tienen como objetivo y gestión asumir las necesidades educativas de la población que deben ser tratadas por analistas de políticas y evaluadores como artesanos como “científicos públicos” según Cronbach.
Lo común puede ser un libro, una actividad, un centro, una institución pero sobretodo unos principios orientadores para la evaluación de las políticas públicas. Construir el sistema educativo, las escuelas, los curricula o proyectos para lo común no tiene que ver sólo con las políticas pues también juegan un papel importante las subjetividades, afectos, vínculos, actitudes, valores y relaciones de los políticos, administradores, profesores o alumnos implicados (Collett y Grinberg, 2021). Lo común inspira fórmulas de evaluación colaborativa y participativa que puedan contribuir a construir una escuela más allá de las lógicas manageriales que aportan poco o nada a la cotidianidad de las instituciones. Una institucionalidad democrática se construye también con la participación del alumnado en evaluaciones formativas que faciliten la co-construcción del sentido escolar y de los aprendizajes a todo el alumnado (Sanmartí, 2020). Una institucionalidad que facilite una evaluación para lo común requiere la entrada de todos los agentes del sistema educativo.
De manera que se valoren las relaciones y vínculos entre las personas que pasan de la interdependencia a la reciprocidad en las relaciones institucionales y personales (Collett y Grinberg, 2021). Desertar de la engañosa autosuficiencia política y científica para analizar el nivel de contextualización y co-construcción comunitaria de curricula y evaluaciones, así podrán facilitar la diversidad de excelencia y resultados en los centros educativos que producen buenos resultados solo para los de clase media.
Desde la perspectiva del pro-común se entiende que la investigación evaluativa de políticas públicas permite evaluar el cercamiento histórico y las expropiaciones del sistema educativo público y rescatar la dimensión conflictiva de la política educativa, en la que identificar quiénes son los incluidos y los excluidos en los niveles de desarrollo de experiencia educativa (grupos de nivel, segregación de matrículas por titulaciones, discriminación territorial, burocratización de las aulas huevera, jerarquización de centros, vaciamiento de las funciones de órganos directivos, desigualdad de las mujeres, profesorado precario, representantes de las familias, inmigrantes). Este cercamiento de algunos agentes se produce por las narrativas del menagement (p. 18) y por la insistencia en las metodologías de indicadores de forma absoluta, por las condiciones precarias, la masificación, la segregación producida por el corporativismo que fragmenta jerárquicamente agentes, saberes y disciplinas, y sobre todo por las políticas de subjetivación programadas orientadas a la evaluación y garantía de la calidad.
Las claves de la investigación evaluativa democrática coinciden con el movimiento del procomún. La educación es un proceso orientado a aprender juntos, o aprender juntos a vivir (Garcés, 2020) donde se produce aprendizaje político común y científico: aprender a hacer política pública. La democratización del conocimiento se orienta a partir reconocer a los afectados y a todos actores implicados en la educación para construir formas políticas a diferentes niveles de decisión y contextos que permitan hacer de la educación un espacio común, es decir, “comunizar” la educación. La investigación naturalista es una aportación oportuna para explorar, mediante el diálogo como forma de proceder, las experiencias prácticas de los sujetos en las que se ponen en interacción y convergencia el saber experto, lego, profesional, popular. La política educativa como una tarea común ha de vigilar los cercamientos de la actividad científica a través de categorías racionales que distribuyen desigualmente recursos y servicios a través de conocimientos expertos, y de formas elitistas institucionales de organización de la educación. La apertura al lenguaje sencillo, al contraste público abierto es una reparación necesaria.
La concepción de la evaluación como búsqueda del conocimiento sobre el valor de la actividad educadora, y como conocimiento que proviene de la experiencia personal de los que participan en los programas como agentes, comparte las ideas del común. Así, se trata de producir conocimiento desde las narrativas personales y colectivas situadas en un contexto concreto, ampliando la conciencia y ensanchando la mirada sobre los propios problemas. Una perspectiva necesaria para aclarar el campo de la evaluación donde se utiliza para ejercer más tensión sobre los agentes implicados en la educación porque es un terreno disputado que, a veces, impide, privatiza o acota el conocimiento, un bien inmaterial no reducible a factores de producción y mercantilización (Garcés, 2020).
Los actuales movimientos de Cultura Libre y Bienes Comunes promueven el conocimiento participativo, la accesibilidad y apertura como una propiedad comunal que es. La Investigación Evaluativa permite estudiar, practicar y producir los conocimientos sobre las políticas públicas que nos ayudarán a comprender mejor y vivir colectivamente en el mundo. De ahí la necesidad de que los diferentes actores apartados del espacio de conocimiento, de la participación y de la decisión de los asuntos educativos creen espacios, tiempos y recursos que permitan compartir el debate sobre la educación y las relaciones en los contextos políticos, escolares, mediáticos o familiares.
La emisión de juicios y valoraciones sobre las prácticas educativas nos afectan a todos (políticos, investigadores, docentes, familias, administradores...) a través de mediaciones culturales y políticas, dicho conocimiento ha de abrirse a las comunidades y sujetos afectados para impedir la injusta dependencia de otros. Estas comunidades de afectados/actores, que sustancialmente son interdependientes, están llamadas a ser comunidades epistémicas, productoras de conocimiento educativo para la política pública.
Y es que el acceso al conocimiento es la condición para la existencia social y política de pleno derecho y pertenencia. En ese sentido, es necesario producir resistencia ante la apropiación privada de la información y a las limitaciones en el acceso a los conocimientos del uso de los recursos educativos y de las políticas que se ponen en marcha de manera que los sujetos implicados afectados sean coproductores de las decisiones sobre la educación que queremos.
Reconocer los comportamientos humanos como esencialmente interdependientes nos ayuda a entender la necesidad de participar en cuestiones cuyas decisiones se toman a diferentes niveles y por una pluralidad de actores. El contraste entre el enfoque individualista y el de la interdependencia non hace comprender que todos nos educamos en común.
La investigación evaluativa y las políticas públicas han de ser mancomunadas en esta educación que consiste en aprender a vivir juntos o aprender juntos a vivir, se trata de la voluntad de compartir conocimientos, recursos educativos y acciones formativas, decisiones individuales y formas colectivas. La comunidad educativa y política “no es” sino que “se hace” y construye, se transforma y se imagina, lo cual es la verdadera esencia de la política (Garcés, 2020; Garcés et al., 2020). Resulta difícil reconocer hoy los intereses generales de la educación, sin embargo, resulta mucho más fecundo y razonable identificarla como bien común.
REFERENCIAS
Barbieri, N. (2014). Cultura, políticas públicas y bienes comunes: hacia unas políticas de lo cultural. Kul-tur, 1(1), 101-119,
Bustelo, M. (1999). Diferencias entre evaluación e investigación: una distinción necesaria para la identidad de la evaluación de programas. Revista Española de Desarrollo y Cooperación. Primavera-verano, 9-29.
Chelimsky, E. (2008). A Clash of Cultures. American Journal of Evaluation, 29(4), 400-415.
Collet, J. y Grinberg, S. (2021). Hacia una escuela para lo común. Debates, luchas y propuestas. Morata.
Edwards, M. (2010). Making research more relevant to policy: evidence and suggestions. En G. Bammer, A. Michaux and A. Sanson: Bridging the ‘Know-Do’ Gap: Knowledge brokering to improve child wellbeing. ANU Press, 55-64.
Escudero Muñoz, J. M. (2010). Evaluación de las políticas educativas: cuestiones perennes y retos actuales. Revista Fuentes, 10, 8-31.
Garcés, M. (2020). Escuela de aprendices. Galaxia Gutenberg.
Garcés, M., Graham, J., Flores, V., Fernánez, C. y Solé, J. (2020). Pedagogías y emancipación. MACBA.
García, E., y Kushner, S. (2010). Educación, política y evaluación de políticas educativas. Gestión y Análisis De Políticas Públicas, 3, 7-15.
Greene, J. C. (2000). Voices in conversation? Struggling for inclusion. En K. Ryan y L. DeStefano (Eds.), Evaluation as a democratic process: Promoting inclusion, dialogue, and deliberation. New directions for evaluation, pp. 13-26. Jossey Bass.
Guenther, J., Williams, E. y Arnott, A. (2010). The politics of evaluation: ¿evidence-based policy or policy-based evidence? Presentado en el NARU Public Seminar Series, Darwin, 30 November.
Henry, G. T. y Mark, M. M. (2003). “Beyond Use: Understanding Evaluation’s Influence on Attitudes and Actions. American Journal of Evaluation, 24(3), 293-314.
Jobert, B., (2004). Estado, Sociedad, Políticas Públicas. Cátedra Unesco de Políticas Públicas.
Kushner, S. (2010). La apropiación de la evaluación por las administraciones. Gestión y Análisis De Políticas Públicas, 3, 67-80. https://doi.org/10.24965/gapp.v0i3.430
Kushner, S. (2017). Evaluative Research Methods: Managing the Complexities of Judgement in the Field (HC). IAP Evaluation and Society.
MacDonald, B. (1989) La evaluación y el control de la educación. En Gimeno y Pérez, A., La enseñanza: su teoría y su práctica, 467-478. Akal.
Marrero, J. (2014). Ángel I. Pérez Gómez: del sujeto epistémico al sujeto digital. Con-Ciencia Social, 18(76), 71-85.
Mayorga-Fernández, M. J.; Gallardo-Gil, M. y Pérez-Gómez, Á. I. (2018). Competencia social y ciudadana en las pruebas de diagnóstico general. Revista Internacional de Investigación en Educación, 10(21), 121-136.
Meny, Y. y Thoenig, J. C., (1992). Las políticas públicas. Editorial Ariel.
Nutley, S., Walter, I. y Davies, H. (2007). Using evidence: how research can inform public services. The Policy Press.
O’Brien, T., Payne, S., Nolan, M. y Ingleton, C. (2010). Unpacking the politics of evaluation: a dramaturgical analysis. Evaluation 16(4), 431-444.
Pérez Gómez, Á. I. (1983a). Modelos contemporáneos de evaluación. En J. Gimeno Sacristán y Á. I. Pérez Gómez La enseñanza: su teoría y su práctica, pp. 426-449. Akal
Pérez Gómez, Á. I. (1983b). Paradigmas contemporáneos de investigación didáctica. En J. Gimeno Sacristán y Á. I. Pérez Gómez La enseñanza: su teoría y su práctica, pp. 95-138. Akal.
Pérez Gómez, A. I. (1997). Historia de una Reforma educativa. Estudio múltiple de casos sobre la Reforma experimental del tercer ciclo de E.G.B. en Andalucía. Díada Editora.
Pérez Gómez, A. I. (coord.) (2004). Evaluación de los servicios sociales de atención primaria en Andalucía. Trece estudios de caso. Consejería de Asuntos Sociales. UNIA.
Pérez Gómez, A. I. (2014). Evaluación externa en la LOMCE. Reválidas, exclusión y competitividad. Revista Interuniversitaria de Formación del Profesorado, 81(28.3), 59-71.
Pérez Gómez, A. I. y Gimeno Sacristán, J. (1994a). Evaluación de un proceso de innovación educativa. Junta de Andalucía, Consejería de Educación y Ciencia. Instituto Andaluz de Evaluación Educativa y Formación del Profesorado.
Pérez Gómez, A.I. y Gimeno Sacristán, J. (1994b). An evaluation of educational reform experiences in Spain: the Andalusian case Research. In Research Papers in Education, 9(1), 107-129.
Pérez Gómez, A. I. y Soto, E. (2011). Luces y sombras de PISA. Sentido educativo de las evaluaciones externas. En Cultura y Educación, 23(2), 171-182.
Rodríguez, R. (2003). Naturaleza política de la evaluación curricular: Los fundamentos políticos del enfoque democrático de Barry MacDonald. Revista Pedagógica, 24(71), 349-384.
Rossi, P. y Freeman, H. (1989). Evaluación. Un enfoque sistemático para programas sociales. Editorial Trillas.
Sanmartí, N. (2020). Evaluar y aprender, un proceso único. Octaedro.
Schlager, E. y Blomquist, W. (1996). A comparison of three emerging theories of the policy process, Political Research Quarterly, 49(3), 651-672.
Simons, H. (1999). Evaluación democrática de instituciones escolares. Morata.
Stake, R. E. (1982). La evaluación de programas, en especial la evaluación de réplica. En Dockrell, W. y Hamilton, D. Nuevas reflexiones sobre la investigación educativa. Narcea.
Subirats, J. y Rendueles, C. (2016). Los (bienes) comunes. Icaria.
Subirats, J. (2006). Algunos puntos clave sobre evaluación de políticas públicas con especial referencia al caso de las políticas sociales. Ánfora, 13(21), 17-41.
Subirats, J., (2005). Catorce puntos esenciales sobre la evaluación de políticas públicas con especial referencia al caso de las políticas sociales. Ekonomiaz, 60(3), 18-37.
Surel, Y., (2006). Relaciones entre la política y las políticas públicas. En Franco, R., y Lanzaro, J. (Coords.). Política y políticas públicas en los procesos de reforma de América Latina. FLACSO.
Weiss, C. H. (1972). Evaluation Research. Methods for Assessing Program Effectiveness. Prentice-Hall. Inc.
Weiss, C. H. (1983). Ideology, interests, and information. The basis of policy positions. The Basis of Policy Positions. En Callahan, D., Jennings, B. (eds) Ethics, The Social Sciences, and Policy Analysis. The Hastings Center Series in Ethics. Springer.
Weiss, C. H. (2004). Rooting for evaluation: a cliff notes version of my work. En Alkin, M. C. (Ed.), Evaluation roots, 154-168. SAGE.
1 Angel I. Pérez Gómez ha liderado el grupo de investigación HUM 311 de la Universidad de Málaga que ha experimentado opciones alternativas en los procesos de evaluación de programas, experiencias y centros. Stake ha impartido clases de evaluación en el doctorado de esa universidad junto a Barry MacDonald, Ernest House, Helen Simons, Stephen Kemmis y otros mencionados en el texto.
