La evaluación de las competencias
educativas: De las pruebas estandarizadas
al portafolios educativo
To cite this article: Gallardo Gil, M., Pérez Granados, L. y Alcaraz Salarirche, N. (2022). La evaluación de las competencias educativas: De las pruebas estandarizadas al portafolios educativo. Márgenes, Revista de Educación de la Universidad de Málaga, 3(3), 149-163. http://dx.doi.org/10.24310/mgnmar.v3i3.15186
DOI: http://dx.doi.org/10.24310/mgnmar.v3i3.15186
* Monsalud Gallardo Gil 0000-0003-4068-2133
Universidad de Málaga (España). monsalud@uma.es
** Laura Pérez Granados 0000-0001-6284-9614
Universidad de Málaga (España). lpgranados@uma.es
*** Noelia Alcaraz Salarirche 0000-0002-5296-5248
Universidad de Málaga (España). noe@uma.es
RESUMEN:
Desde el inicio de este siglo, el desarrollo de competencias clave para el aprendizaje permanente ha sido un imperativo político importante para los Estados miembros de la Unión Europea. Una época de cambios sustanciales en el proceso de enseñanza y aprendizaje donde uno de los temas que más focos acaparaba en educación era la inclusión del término competencias en el currículum escolar, así como su adecuada evaluación. En el presente artículo, se hace un recorrido por los resultados más relevantes de los estudios desarrollados en el periodo 2007-2011 por el Grupo HUM-311 (P.A.I.D.I., Plan Andaluz de Investigación, Desarrollo e Innovación): Repensar la educación, Grupo de Investigación, Innovación y Evaluación de Andalucía, dirigido por el profesor Ángel I. Pérez Gómez, destacando dos proyectos de investigación con un fuerte vínculo entre sí. El primero de ellos, centrado en el análisis de PISA y las Pruebas Diagnósticas de Andalucía, cuyo propósito consistía en analizar el potencial de dichas evaluaciones externas para estimar el grado de desarrollo de las competencias educativas y su influjo en el constructo de ‘aprender cómo aprender’. El segundo, enfocado al estudio del portafolios educativo como instrumento privilegiado para ayudar a desarrollar competencias y para evaluar la calidad de su consecución. En esta etapa de grandes desafíos respecto al complejo y novedoso concepto de competencias, los hallazgos del Grupo de Investigación arrojaron luz ante la insatisfacción generalizada de la comunidad educativa respecto a los tradicionales sistemas de evaluación.
PALABRAS CLAVE: competencias educativas; evaluación; pruebas estandarizadas; portafolios; aprender cómo aprender
ABSTRACT:
Since the beginning of this century, the development of key competences for lifelong learning has been an important political imperative for the Member States of the European Union. A time of substantial changes in the teaching and learning process where one of the main focuses in education was the inclusion of the term competences in the school curriculum, as well as its proper evaluation. In the present article, a tour is made of the most relevant results of the studies developed in the period 2007-2011 by the Group HUM-311 (A.R.D.I.P., Andalusian Research, Development and Innovation Plan): Rethinking education: Group of Research, Innovation and Evaluation of Andalusia, led by Professor Ángel I. Pérez Gómez, highlighting two research projects with a strong link between them. The first of them, focused on the analysis of PISA and the Diagnostic Tests of Andalusia, whose purpose was to analyse the potential of such external evaluations to estimate the degree of development of educational competences and their influence on the construct of ‘learning how to learn’. The second, focused on the study of educational portfolios as a privileged instrument to help develop competences and to evaluate the quality of their achievement. At this stage of major challenges with regard to the complex and novel concept of competences, the findings of the Research Group shed light on the widespread dissatisfaction of the educational community with traditional evaluation systems.
KEYWORDS: educational competencies; assessment; standardized tests; portfolios; learning how to learn
Financiación: Estas investigaciones fueron financiadas por el Ministerio de Educación, ref. SEJ-2007-66967, y dirigidos por el profesor D. Ángel I. Pérez Gómez (Universidad de Málaga).
1. El CONTEXTO: SITUACIÓN Y RELEVANCIA DE DOS PROYECTOS QUE SE DAN LA MANO
En este artículo, se abordan los resultados más relevantes de las investigaciones desarrolladas en el periodo 2007-20111 por el Grupo HUM-311 (P.A.I.D.I.): Repensar la Educación, Grupo de Investigación, Innovación y Evaluación de Andalucía, del Departamento de Didáctica y Organización Escolar de la Universidad de Málaga, dirigido por el profesor Ángel I. Pérez Gómez.
En dicho periodo, la temática de las competencias educativas y su evaluación se encuentra en un momento álgido en los discursos pedagógicos de la comunidad científica, tanto en el ámbito nacional como internacional. De modo que “los resultados de PISA 2000 provocaron un intenso debate en muchos países” (Barquín et al., 2011, p. 332).
En este contexto, nacen y se desarrollan los dos proyectos de investigación que abordaremos en las páginas que siguen, dirigidos por el profesor Ángel I. Pérez Gómez, que se dan la mano para indagar en el concepto de las competencias educativas y su evaluación, con especial atención en las capacidades de orden superior que se agrupan en el constructo de ‘aprender cómo aprender’ (Hargreaves, 2005). En este marco, el portafolios educativo se concibe como una estrategia privilegiada y alternativa para la evaluación de estas competencias educativas (Gallardo, Sierra y Domínguez, 2015).
1.1. Clarificando el controvertido concepto de competencia educativa
En los proyectos mencionados anteriormente, el equipo de investigación trató de comprender y delimitar el complejo concepto de competencias educativas, así como los procesos incluidos en los aprendizajes de segundo orden denominados ‘aprender cómo aprender’ (Hargreaves, 2005), estableciendo un marco operativo que identificara los componentes básicos de dichas competencias gracias al profesor Ángel I. Pérez Gómez. En este momento de desarrollo de los proyectos, el concepto de competencia educativa estaba envuelto en una gran controversia en los discursos pedagógicos de aquel momento, por lo que se hacía necesaria una clarificación previa y un posicionamiento claro por parte del equipo antes de acometer ulteriores procesos de investigación.
En esta clarificación conceptual, se entienden los aprendizajes de orden superior como constructos complejos que incluyen factores cognitivos y afectivos, que permiten la autorregulación del proceso de aprender y comprender los procesos en su contexto, con la finalidad de facilitar la actuación competente del sujeto en función de su proyecto personal, social o profesional (Pérez Gómez, 2007, 2008; Gimeno, 2008). En este posicionamiento, cabe reseñarse la influencia del Informe DeSeCo (Definition and Selection of Competencies, 2005), impulsado por la OCDE (Organización para la Cooperación y el Desarrollo Económicos), para seleccionar y definir las competencias claves necesarias para la realización personal, la ciudadanía activa, la cohesión social y la empleabilidad en la sociedad del conocimiento, proponiéndose ocho competencias claves (en la actualidad, siete).
En la definición de competencias, Laisner (2000) entiende la competencia educativa como un saber hacer complejo, resultado de la integración, movilización y adecuación de capacidades, conocimientos, actitudes y habilidades, utilizados eficazmente en situaciones concretas. Por su parte, Rychen y Tiana (2004) concluyen que se trata de un concepto holístico, que integra las demandas externas, los atributos personales (incluyendo la ética y los valores) y el contexto. Estas definiciones se complementan con la ofrecida por la European Comission’s Cedefop Glossary (CEDEFOP, 2008), que entiende que la competencia no se reduce a elementos cognitivos, sino que también implica aspectos funcionales (habilidades), atributos interpersonales y valores éticos.
Siguiendo a Pérez Gómez (2007, 2008), las competencias se conciben como sistemas complejos de pensamiento y acción, que suponen la combinación de conocimientos, habilidades, actitudes, valores y emociones que utilizan los seres humanos para comprender e intervenir en la vida personal, social y profesional. Estas competencias incluyen un saber pensar, un saber decir, un saber hacer y un saber relacionarse con los demás, así como un querer, vinculado a los intereses de los individuos y a la construcción de su propio proyecto vital, que ponen en acción para resolver situaciones concretas en nuestra incierta y cambiante sociedad (Pérez Gómez, 2012).
Sin embargo, esta concepción de competencias parece desdibujarse en la realidad de la mayoría de los sistemas educativos, perdiéndose su carácter holístico y sistémico, y reduciéndose a habilidades y destrezas que requieren los ciudadanos/as en el ámbito laboral de las sociedades neoliberales (Pérez Gómez, 2022).
1.2. La evaluación de las competencias educativas
En aquel momento, nos encontrábamos en un contexto de máxima ebullición en torno a la evaluación de las competencias educativas, centradas fundamentalmente en el empleo de pruebas estandarizadas. En este sentido, eran frecuentes las noticias en los medios de comunicación sobre el Programa Internacional para la Evaluación de Estudiantes (PISA), que trasladaban a la opinión pública los resultados que el alumnado obtenía en dichas pruebas y su supuesto nivel de desarrollo de competencias educativas (Alcaraz et al., 2013).
PISA pretendía evaluar el grado desarrollo competencial que tenían los estudiantes de 15 años de todos los países donde se aplicaba a la hora de analizar y resolver situaciones y problemas de la vida cotidiana. En este sentido, aunque pone de manifiesto en sus fundamentos su pretensión de incidir en políticas educativas, también reitera que no pretende evaluar el currículum de los sistemas educativos participantes. Lo que PISA pretendía era tratar de conocer las capacidades de los estudiantes para identificar, explicar y utilizar el conocimiento a la hora de resolver problemas de la vida real en cada una de las áreas evaluadas (INCE, 2000). En este sentido, pretendía tener un enfoque de evaluación que trascendiera la memorización de conceptos (OCDE, 2006). Algo similar planteaba el marco teórico de las Pruebas Diagnósticas de Andalucía, donde se recogía que, en la evaluación del rendimiento del alumnado, la atención se iba desplazando desde los contenidos cognitivos del currículum hacia las destrezas o competencias (Alcaraz, Fernández Navas y Beltrán, 2016).
Este sería el punto de partida para iniciar los análisis desarrollados por cada comisión participante en los Proyectos. El grupo, con su director a la cabeza, se adentraba en un trabajo extenso y profundo que le mantendría ocupado en la lectura, contraste y valoración de las diferentes pruebas PISA, primero, y de Andalucía, después. Nos situábamos así en el centro del tornado educativo de aquella época.
Aunque el debate en torno a la evaluación de competencias educativas venía fraguándose desde el primer informe de PISA (2002) sobre los resultados de PISA 2000, fue especialmente en el año 2006 (OCDE, 2006), dedicado a la evaluación de las Ciencias, cuando comienza a generarse un mayor interés por comprender la naturaleza y fundamento de estas pruebas, así como sus implicaciones educativas (Puente, 2008). En este periodo, comienzan a suscitarse también aspectos críticos relacionados con la evaluación de las competencias educativas mediante pruebas de lápiz y papel (Psalidas et al., 2008). Otras investigaciones trataron de analizar los materiales curriculares, encontrando que no existía coherencia entre el tipo de tareas planteadas por PISA y las planteadas en los libros de texto que se utilizan en los centros educativos (Hatzinikita et al., 2008). En otra línea de investigación, destacan también estudios que encontraban en las pruebas de PISA una oportunidad para repensar el proceso de enseñanza-aprendizaje y el propio currículum educativo al ponerse en evidencia que las instituciones educativas tienden a una enseñanza de carácter reproductor mientras que las pruebas de PISA ofrecen tareas dirigidas a la aplicación de conocimientos a situaciones de la vida real (Hernández, 2006).
También caben destacarse estudios previos como el Assessing Learning to Learn de Finlandia, dirigido por Hautamäki et al. (2002), el proyecto desarrollado por la Universidad de Newcastle sobre Aprender cómo Aprender (Moseley et al., 2005) y los planteamientos de Hargreaves (2005) y Gardner (2006) sobre la posibilidad de evaluar la compleja familia de competencias de aprendizaje de segundo orden, definidas bajo el constructo de aprender cómo aprender.
De este modo, dábamos un paso más en el fuerte debate sobre el discurso de competencias y vinculamos el concepto de aprendizaje relevante, acuñado por nuestro profesor Ángel I. Pérez Gómez, así como la actitud permanente de aprender cómo aprender, con la discutida evaluación de competencias (Pérez Gómez, 1998, 2009a, 2013). Por tanto, la evaluación de los aprendizajes de segundo orden requería la atención simultánea tanto a los factores cognitivos de orden superior como a los factores afectivos y motivacionales de los estudiantes (Pérez Gómez, 2007, 2008). Sin embargo, en estos momentos, apenas existían aún estudios que hubieran abordado en profundidad el contenido de estas pruebas de evaluación, siendo también escasas las investigaciones realizadas para determinar la pertinencia de las pruebas de lápiz y papel para evaluar el desarrollo competencias de los estudiantes. Desde estos presupuestos, Pérez Gómez y Soto (2011) se ponen al frente y realizan un interesante análisis, concluyendo que en la evaluación de competencias influyen componentes de muy diversos tipos (cognitivos, motivacionales, afectivos, sociales, etc.), que difícilmente pueden ser tenidos en cuenta en las pruebas de lápiz y papel, dadas sus limitaciones para identificar qué y cómo aprende el alumnado (Serván, 2011).
2. EL CAMINO: FASES, DISEÑO Y DESARROLLO DE LOS PROYECTOS
En el Proyecto I+D (ref.: SEJ2007-66967), se propuso el análisis de PISA y las Pruebas de la Evaluación Diagnóstica de Andalucía, siguiendo en su fundamentación el concepto de competencia especificado en el Informe DeSeCo para la OCDE (2005), con la finalidad de analizar en profundidad el contenido de estas pruebas para comprender si realmente evaluaban las competencias educativas en el sentido holístico propuesto por dicho Informe. En una primera fase de este proyecto, se abordó la clarificación conceptual y definición de dimensiones operativas que constituyen el constructo de ‘aprender a aprender’ y la evaluación de competencias. En la segunda fase del proyecto, se llevó a cabo la revisión de proyectos y programas de evaluación diagnóstica y de rendimiento de estudiantes apoyados en los planteamientos de aprender cómo aprender y otras competencias relacionadas, analizándose las pruebas estandarizadas. La tercera fase consistió en el desarrollo de cuatro estudios de caso (en Educación Primaria y Educación Secundaria) sobre el portafolios como estrategia alternativa de evaluación de competencias. En la última fase del proyecto, se redactó el informe final del mismo.
En esta investigación, se llevó a cabo un arduo proceso de revisión bibliográfica de los marcos teóricos de las pruebas de evaluación, así como de las pruebas liberadas de PISA y las Pruebas de Evaluación Diagnóstica de Andalucía. Asimismo, se realizó un exhaustivo estudio sobre los diferentes marcos teóricos relacionados tanto con las pruebas estandarizadas de evaluación como con investigaciones relevantes sobre el concepto de competencias educativas y el constructo de ‘aprender cómo aprender’ (Pérez Gómez y Soto, 2011; Serván, 2011; Rodríguez, 2011).
Además, el equipo de investigación analizó en profundidad las pruebas liberadas en las áreas de evaluación de Lectura, Matemáticas y Ciencias, incluyendo también la Solución de Problemas en PISA (2000, 2003, 2006, 2009), y de las Pruebas de Evaluación Diagnóstica de Andalucía (2006-2007, 2007-2008, 2008-2009), con la finalidad de profundizar en la naturaleza y desarrollo de dichas evaluaciones e indagar en sus fortalezas y debilidades. También se procedió al análisis de las pruebas de la Competencia Social y Ciudadana de la Evaluación General de Diagnóstico del Ministerio de Educación de España (2009, 2010), dada su relevancia, en tanto que era la primera vez que esta competencia se contemplaba en un programa de evaluación educativa (Mayorga, Gallardo y Pérez Gómez, 2018).
Siguiendo las áreas de evaluación indicadas, el equipo se organizó en comisiones de trabajo compuestas por investigadores/as del Departamento de Didáctica y Organización Escolar, así como por profesionales expertos en cada una de las áreas específicas que son objeto de evaluación. Una vez constituidas las comisiones, se realizó el análisis de las pruebas liberadas en cada área mediante una metodología de análisis cualitativo y cuantitativo de las diversas pruebas en función de una matriz de categorización de capacidades implicadas, distinguiendo entre el porcentaje de capacidades presentes y el nivel de dificultad con el que aparecían.
Para el análisis de estas pruebas, las comisiones diseñaron una ficha en formato online (véase Ilustración 1), adaptada a la matriz de capacidades diseñada por el equipo de investigación de la mano del profesor Ángel I. Pérez Gómez (véase Ilustración 2), que permitía que cada investigador analizara los ítems de las pruebas y volcara dichos análisis a una base de datos común para su posterior análisis en SPSS. Estos análisis se desarrollaron durante el año 2009 y se sometieron a continua discusión para llegar a la triangulación de los resultados obtenidos, los cuales eran además contrastados por los investigadores expertos, con la finalidad de validar los hallazgos obtenidos, de ahí que se seleccionaran una serie de capacidades que se consideraron relevantes en los análisis a la luz de investigaciones en el campo de estudio (Homann, Brinek & Retzl, 2007; Monereo y Pozo, 2007), que quedaron concretadas en: Reproducción, Aplicación, Comprensión-reflexión, Transferencia-conexión, Heurística, Comunicación-argumentación (Alcaraz et al., 2013; Gallardo et al., 2010; Mayorga, Gallardo y Jimeno, 2015). Se estableció una gradación de 1 a 3 para indicar qué capacidad o capacidades estaban presentes de manera dominante en las pruebas analizadas y cuáles aparecían de forma secundaria. En este proceso, las comisiones estuvieron también en permanente contacto a través de una Plataforma Virtual, basada en el sistema Moodle, que favorecía el contacto inmediato y el trabajo colaborativo.
Ilustración 1. Ficha base de análisis. Fuente: Gallardo et al. (2010, p. 5)
Ilustración 2. Formato de datación. Fuente: Gallardo et al. (2010, p. 6)
Una vez analizadas todas las pruebas y extraídos los datos estadísticos, así como las particularidades encontradas por el equipo de investigación (incidentes críticos), se retoma el análisis para redundar y validar los resultados, los cuales son sometidos a discusión, tratando de profundizar en las capacidades evaluadas en las diferentes pruebas y su relación con las contempladas por el grupo de investigación.
En la tercera fase del proyecto, se desarrollaron cuatro estudios de caso sobre el portafolios educativo, con objeto de experimentar dicha estrategia de evaluación como posible alternativa a las pruebas estandarizadas para la evaluación de competencias educativas. Uno de los cuales daría lugar a la tesis doctoral de una de las autoras de este artículo, dirigida por el profesor Ángel I. Pérez Gómez, denominándose: “La evaluación en el aula: Explorando el portafolios en Secundaria. Un estudio de caso”.
Por último, todos los hallazgos fueron recogidos en informes sectoriales finales de carácter cualitativo y un informe final, así como en documentos de síntesis de cada una de las áreas evaluadas. Tales hallazgos fueron posteriormente publicados en diferentes revistas de reconocido prestigio en el área, tal y como puede apreciarse en las referencias empleadas a lo largo de este trabajo.
En lo que respecta al Proyecto de Estudios y Análisis (EA-2009-0113) este se centró fundamentalmente en elaborar una guía didáctica para docentes y estudiantes sobre las posibilidades y características del portafolios (y su versión digital del e-portafolios) como herramienta privilegiada para desarrollar y evaluar competencias en el currículum universitario.
En una primera fase del estudio se pretendía analizar experiencias nacionales e internacionales sobre el uso de portafolios en la enseñanza universitaria en las diferentes ramas del saber: Ciencias de la salud, Ciencias Experimentales, Ingenierías, Artes, Humanidades y Ciencias Sociales. Así como seleccionar aquellas consideradas más valiosas e interesantes para posteriormente analizarlas.
Para esta tarea, se constituyeron cinco comisiones de trabajo encargadas de hacer una búsqueda exhaustiva de documentación, así como algunas visitas de estudio y contraste a centros de prestigio donde se estuvieran desarrollando experiencias de aplicación del portafolios como herramienta de aprendizaje, evaluación y acreditación.
El resultado final de esta tarea se concretó en la elaboración de cinco informes parciales sobre cada una de las áreas del conocimiento, acompañados de un catálogo informado, comentado y crítico sobre cada una de las experiencias analizadas (véase Ilustración 3). A partir de ello, se elaboró un informe final en el que se presentó los diferentes usos que se hacen del portafolios en cada una de las experiencias seleccionadas.
Como hallazgos principales de esta primera fase, los diferentes usos del portafolios se categorizaron del siguiente modo: como herramienta de aprendizaje (portafolios educativo); para la rendición de cuentas; como metodología de trabajo en grupo; como requisito de acceso a la universidad; y para acceder al mercado laboral.
En la segunda fase de este proyecto, se realizó un análisis sobre las diferentes formulaciones conceptuales que habían fundamentado la utilización del portafolios como herramienta de aprendizaje reflexivo y de evaluación cualitativa de las competencias en la enseñanza universitaria. Para ello, a partir de los materiales recogidos sobre experiencias en la fase anterior, y la recopilación bibliográfica de documentación existente sobre el tema que nos ocupaba, cada uno de los investigadores e investigadoras profundizó, a través de diferentes fuentes, en varios autores/as, realizando una tarea de recensión teórica sobre cada una de las lecturas trabajadas. Posteriormente, en una sesión de trabajo intensiva se pusieron en común las ideas extraídas de cada uno de los textos, para analizar y debatir sobre las mismas. Como resultado, se elaboró un documento de fundamentación teórica, que abarcaba los diferentes tipos, funciones, definiciones y modos de utilización del portafolios. Concluyendo con una propuesta sobre lo que, a nuestro entender, debía significar trabajar con portafolios educativos, definiendo la naturaleza y el sentido de este.
Ilustración 3. Ficha de análisis de experiencias. Fuente: Extraída de la memoria del proyecto (2010, p. 6)
La última fase del proyecto consistió en dar forma a esa propuesta, elaborando una guía de carácter didáctico para docentes y estudiantes, donde se incluía una revisión teórica del concepto portafolios, los principios y procesos básicos del portafolios educativo en el ámbito universitario en el contexto de Espacio Europeo de Educación Superior (EEES), así como ejemplos de recursos y estrategias adecuadas en la implementación de esta herramienta. En la última parte de la guía, se hizo una apuesta contundente por la versión digital del portafolios educativo, el e-portafolios, debido a la riqueza y enormes posibilidades que en ese momento brindaba la utilización de las nuevas tecnologías de la información y la comunicación en la enseñanza universitaria. Esta guía se materializó en un libro de la editorial Akal (Pérez Gómez, 2016), que pretendía orientar e inspirar los procesos de enseñanza y aprendizaje, así como para dar visibilidad a experiencias relevantes con el uso de portafolios en Educación Superior.
3. EL FRUTO: ALGUNOS DE NUESTROS HALLAZGOS Y REFLEXIONES
En cuanto a las más que conocidas pruebas PISA, el principal hallazgo realizado por el equipo fue que, si bien esta pretendía evaluar el saber hacer, la aplicación de los conocimientos, actitudes y valores aprendidos para resolver situaciones reales (lo cual podíamos entender como una fortaleza), que permitiera una mayor orientación hacia procesos de enseñanza y aprendizaje enfocados en la aplicación práctica de los conocimientos, la autonomía, la participación, la creatividad y la cooperación del alumnado (Alcaraz et al., 2013); los resultados ponían de relieve que realmente las pruebas no medían las competencias, entendidas como sistemas complejos de pensamiento y acción (Pérez Gómez, 2007, 2008, 2010). En este sentido, se ponía de manifiesto que las competencias se presentaban más bien como capacidades que no eran meramente reproductivas (puesto que las pruebas requerían de cierta comprensión y reflexión), pero que no parecían prestar especial atención a los grupos de capacidades superiores o de segundo orden (transferencia, heurística y argumentación), limitando el concepto de competencia al ‘saber’ como conocimiento, y alejándose así de ‘saber hacer’ y ‘saber decir’ (DeSeCo, 2005).
En este sentido, se evidencia que se debe potenciar una aproximación más holística e interdisciplinar a las competencias, en tanto que se detecta una falta de relación entre el concepto de competencia que plantea DeSeCo (2005) y la forma en que PISA las evalúa, fragmentándolas en disciplinas, capacidades, habilidades y destrezas, y alejándose de capacidades de orden superior como la heurística o la argumentación (Gallardo et al., 2010).
Llegados a este punto, es preciso clarificar qué entiende el grupo de investigación por relevancia del contenido, lo cual se relaciona con el concepto de aprendizaje situado, en el sentido de que las actividades deben conectar con los intereses e inquietudes del alumnado para favorecer dicho aprendizaje (Pérez Gómez, 2007). Por tanto, un aprendizaje competente es aquel que el estudiante utiliza para interpretar y actuar sobre su realidad concreta (Pérez Gómez, 2008). En relación a esta relevancia del contenido de las pruebas PISA, se plantea una importante dificultad, pues resulta complejo conectar con los intereses del alumnado mediante pruebas estandarizadas de carácter internacional que se pasan a un alto número de estudiantes de múltiples realidades socio-culturales. En este sentido, se plantean posibles sesgos culturales en la elección de los contenidos, alejados de culturas locales minoritarias, en lo cual puede estar la preocupación de los diseñadores por eliminar el ruido de fondo o la subjetividad en la medición (Gallardo et al., 2010).
Por consiguiente, aunque PISA pretendía trabajar con problemas auténticos en situaciones que representan condiciones reales y actuales, lo cual supone ya un avance respecto a los modos habituales de evaluación del rendimiento académico de los estudiantes en el sistema educativo español (Alcaraz et al., 2013), siendo el contenido de los ítems actualizado y sobre temas vigentes, tiende a plantearlos con escasa conexión con temas transversales o dilemas éticos. Así, aunque se incluye la dimensión de las actitudes del alumnado en 2006, se pone de relieve que se hace de un modo superficial, sin atención a implicaciones sociales o morales (Gallardo et al., 2010).
Por otra parte, ocurría algo parecido tras el análisis de las Pruebas Diagnósticas de Andalucía. Así, por ejemplo, en lo que se refería a la competencia lingüística, si bien trataban de ir más allá de los textos meramente académicos (Alcaraz, Fernández Navas y Beltrán, 2016), las preguntas seguían ancladas en la reproducción de la información; por lo que realmente no estaban valorando competencias en el sentido en el que venimos exponiendo a lo largo del artículo.
Nos encontrábamos, pues, ante un panorama donde la proliferación de pruebas diagnósticas estandarizadas estaba servida. Conllevando esto diferentes peligros, entre los que Fernández Navas, Alcaraz y Sola (2017) destacan el posible uso arrojadizo entre administraciones, viéndose más afectados los centros públicos frente a los privados; la tendencia en cada vez más centros a “entrenar” al alumnado para superar las pruebas, conocido como “teaching to the test”; o la imposibilidad de que dichas pruebas se fragüen bajo el paraguas del término evaluación “educativa”, pues resultan insuficientes para explicar los fenómenos complejos que tienen lugar en el ámbito escolar.
En este sentido, cabe decir que el trabajo en ambos proyectos de investigación nos abría dos caminos. Por un lado, una idea que cada vez cobraba más fuerza: la necesidad de incidir en las limitaciones de las pruebas de papel y lápiz como herramientas propicias para valorar competencias. Y por otro, la necesidad de valorar otras alternativas de evaluación en el ámbito universitario, de carácter cualitativo, tales como el portafolios educativo, puesto que desde un punto de vista metodológico, la implantación del EEES destacaba la necesidad de desarrollar una enseñanza centrada en quien aprende, establecer el aprendizaje en un marco definido en competencias y modificar el rol del profesorado. En este nuevo contexto, surgía como prioritaria la necesidad de fomentar las competencias transversales de los estudiantes y de introducir nuevos instrumentos para potenciar y evaluar su aprendizaje (Pérez Granados, Alcaraz y Fernández, 2016).
De este modo, el equipo implicado en las investigaciones hacía una apuesta firme por la evaluación formativa, en el convencimiento de que los estudiantes logran los mejores aprendizajes cuando entienden lo que están aprendiendo, y el sentido de lo que aprenden, consiguen el feedback necesario para valorar cómo lo están haciendo y reciben el apoyo requerido para saber cómo deben hacerlo en el futuro. Podemos decir que el salto cualitativo que se dio respecto al sentido educativo de la evaluación puede concretarse en el paso de la evaluación de los aprendizajes a la evaluación para los aprendizajes y a la evaluación como aprendizaje. De un mero requisito de control burocrático, mecánico y externo a un proceso complejo, cualitativo, de conocimiento de la realidad, reflexión sobre ella y planificación compartida de proyectos de mejora individual o grupal.
Entre las muchas estrategias de evaluación educativa podríamos destacar la transparencia en los objetivos del proceso de enseñanza-aprendizaje y los criterios de evaluación; la importancia de una adecuada retroalimentación por parte del docente; el uso de la auto-evaluación y la evaluación por pares; y el empleo de tareas auténticas. El portafolios, como estrategia de aprendizaje y evaluación, destacaba por su potencialidad para la evaluación educativa y para integrar todas las estrategias mencionadas.
Así pues, a la luz de los resultados de la investigación que el equipo llevó a cabo sobre el portafolios, se concluía que este permite superar las limitaciones que ofrecen las pruebas estandarizadas para la evaluación de competencias educativas (Gallardo, Sierra y Domínguez, 2015), en tanto que proporciona a los docentes una retroalimentación en tiempo real; facilita evaluaciones integradas a partir de situaciones significativas para los estudiantes, lo cual ofrece una visión más acorde con el concepto de competencia (Pérez Gómez, 2007, 2008); y acerca la enseñanza a los propósitos educativos (Pérez Gómez, 1998, 2009b), propiciando así una evaluación más preocupada por el auténtico desarrollo competencial del alumnado que por la realización de las pruebas.
4. MÁS ALLÁ DE LAS PRUEBAS ESTANDARIZADAS: EL PORTAFOLIOS EDUCATIVO
El sentido con el que se plantea el portafolios en las investigaciones desarrolladas por el equipo de investigación no es el de convertirse en herramienta exclusiva de evaluación externa a gran escala, sino en constituirse en una estrategia alternativa y complementaria de evaluación formativa a través de la cual se puedan experimentar sus posibilidades para identificar y promover el desarrollo de la competencia de aprender cómo aprender (Hargreaves, 2005) y acercarse al constructo complejo de conocimientos, habilidades, actitudes, motivación, emociones y valores éticos (Pérez Gómez et al., 2009a), siguiendo el concepto holístico de competencias educativas de DeSeCo (2005). Tomando en consideración las múltiples acepciones teóricas y prácticas del término portafolios, nos detuvimos en lo que hemos denominamos portafolios educativo porque a nuestro entender tiene mayor potencialidad pedagógica al vincular la evaluación y el aprendizaje (Pérez Gómez y Serván, 2016).
Fernández Navas y Pérez Gómez (2016) definieron 5 principios básicos de un portafolios educativo: 1) El fomento de la autonomía y responsabilidad de los/as estudiantes; 2) El rol del docente universitario que apuesta por la función tutorial; 3) La necesaria clarificación y negociación de los propósitos y criterios del portafolios de acuerdo a las finalidades de la asignatura; 4) La cooperación y la comunicación como base de todo el proceso; y 5) El desarrollo del espíritu científico del alumnado, que ha de usar los métodos de la ciencia, para recoger, contrastar y analizar información, elaborando construcciones propias que les permitan interpretar la realidad. Asimismo, en un escenario cada vez más digitalizado, el grupo apostó por que este portafolios educativo fuese de naturaleza digital, de tal modo que, a los principios educativos ya mencionados, se sumaron la flexibilidad, la asincronía, el acompañamiento y la pluralidad de códigos de comunicación (Soto, Barquín y Fernández, 2016, citado en Muñoz et al., 2019), como pilares que sostienen el empleo de esta herramienta.
En esta línea, Shulman expone (1999), que el portafolios educativo refleja el proceso de aprendizaje, por lo que más que una nueva manera de evaluar podría considerarse un modo de entender el proceso de enseñanza-aprendizaje, que favorece el cambio de disposiciones y actuaciones docentes y discentes gracias a la continua toma de conciencia sobre dicho proceso (Gavari, 2009). Este hecho hace que el portafolios posibilite una evaluación más auténtica, interactiva, continua y multidimensional (Pérez Gómez, 2009c). En palabras de Alcaraz (2016) podríamos denominar al portafolios como “la trastienda del aprendizaje” (p. 38).
A diferencia de la evaluación a través de pruebas estandarizadas, el portafolios favorece que el alumnado participe activamente en todo el proceso de enseñanza-aprendizaje (Pérez Gómez, 2016), permitiendo que valore de forma reflexiva y crítica su aprendizaje mediante el diálogo intra e interpersonal que realiza a partir de evidencias de aprendizaje que ofrece en su portafolios. El portafolios educativo contempla la reflexión como parte del currículum y no como un proceso anexo al final y aislado (Soto Gómez, 2016). Por ello, los estudiantes deben tener espacio y capacidad de decisión, considerar desde qué elementos deben realizar obligatoriamente, hasta cuáles de ellos seleccionar para su exposición, pasando por cómo y en qué forma organizarlos (Fernández Navas y Pérez Gómez, 2016). Este proceso de selección, organización y presentación del portafolios educativo constituye en sí mismo un acto de aprendizaje que favorece el desarrollo de competencias metacognitivas, identificando aquellas cuestiones susceptibles de mejora (Alcaraz, Mayorga y Pérez Granados, 2016).
5. CONCLUSIONES a modo de punto y seguido
Más allá del marco universitario español, la insatisfacción generalizada en las universidades europeas y americanas respecto a los sistemas tradicionales de evaluación de un currículum basado en competencias había provocado la proliferación de ensayos, experimentaciones e investigaciones sobre posibilidades y limitaciones de otras estrategias e instrumentos de evaluación incluidos dentro del enfoque de aprender a aprender, que requerían resultados de aprendizaje de orden superior donde los estudiantes integrasen su aprendizaje en situaciones reales y complejas. En ese periodo de grandes desafíos respecto al controvertido, complejo y poderoso concepto de competencias, donde había pocos estudios en nuestro ámbito nacional que de forma sistemática hubieran desarrollado experiencias e investigaciones sobre las posibilidades de cada uno de los instrumentos de evaluación educativa y donde tampoco abundaban los trabajos que apoyándose en tales estudios hubieran concluido en la elaboración de guías docentes, que con rigor y claridad permitiesen a los docentes de las más variadas disciplinas universitarias conocer, fundamentar, desarrollar y valorar la utilización cotidiana de estas nuevas estrategias de evaluación, las dos investigaciones abordadas en este trabajo se tornaban más que pertinentes, pues el grupo de investigación con su director Ángel I. Pérez Gómez al timón, se adentraba en la actualidad educativa europea del momento, tratando de conectar los debates y las preocupaciones en auge –tales como la aparición del término competencias, la proliferación de pruebas estandarizadas para evaluar los sistemas educativos, el “teaching to the test”, o la implantación de las políticas del nuevo EEES– con el quehacer investigador del profesorado universitario, tratando de ofrecer un servicio a la comunidad educativa.
***
En este contexto aludido anteriormente, para nosotras, formar parte como investigadoras de estos proyectos fue una oportunidad de estar a la vanguardia educativa. La experiencia de investigar colaborativamente con profesorado universitario, y también con docentes de Infantil, Primaria y Secundaria, suponía, para tres investigadoras noveles, descubrir los entresijos de la práctica investigadora entrelazada con la práctica docente, desde las entrañas de un Grupo de Investigación liderado por un maestro como Ángel I. Pérez Gómez.
Las tres autoras de este trabajo tenemos la suerte, además, de haber contado con él, no sólo como profesor en nuestras respectivas carreras, sino en la dirección de nuestras tesis doctorales; de modo que, a lo largo de casi dos décadas, hemos crecido como estudiantes, doctorandas, investigadoras y docentes, a su cobijo, bajo el amparo intelectual de un profesional que, como en nosotras, habrá dejado huella en la Pedagogía más reciente. Así lo sentimos y así esperamos recoger su legado: Compromiso, profesionalidad y generosidad.Gracias, Ángel.
REFERENCIAS
Alcaraz, N., Caparrós, R., Soto, E., Beltrán, R., Rodríguez, A. y Sánchez, S. (2013). ¿Evalúa PISA la competencia lectora? Revista de Educación,360, 577-599. http://doi.org/10.4438/1988-592X-RE-2011-360-130
Alcaraz, N., Fernández Navas, M. y Beltrán, R. (2016). La estandarización de pruebas diagnósticas en Andalucía: ¿evaluación de la competencia lingüística? Temas de Educación, 22(1), 33-48.
Alcaraz, N., Mayorga, Mª. J. y Pérez Granados, L. (2016). La cara es el espejo del alma: la presentación del portafolios educativo. En Á. I. Pérez Gómez (Dir.), El portafolios educativo en Educación Superior, (pp. 125-137). Akal.
Alcaraz, N. (2015). La evaluación en el aula. Explorando el portafolios en Secundaria. Un estudio de caso. Tesis Doctoral. Servicio de Publicación de la Editorial de Málaga. Recuperado de: https://riuma.uma.es/xmlui/bitstream/handle/10630/9837/TD_%20Alcaraz_Salarirche%20.pdf?sequence=1
Barquín, J., Gallardo, M., Fernández Navas, M., Yus, R., Sepúlveda, M. y Serván, M. J. (2011). “Todos queremos ser Finlandia”. Los efectos secundarios de PISA. En M. J. Hernández Serrano y M. Fuentes Agustí (Coords.), La red como recurso de información en educación. Revista Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, 12(1), 320-339. Recuperado de: http://campus.usal.es/~revistas_trabajo/index.php/revistatesi/article/view/7835/7861
CEDEFOP (2008). Terminology of european education and training policy. A selection of 100 key terms. Office for Official Publications of the European Communities. http://www.cedefop.europa.eu/files/4064_en.pdfv
DeSeCo (2005). La definición y selección de competencias claves (DeSeCo). Resumen ejecutivo. OCDE. www. OECD.org/edu/statistics/deseco
España. Ministerio de Educación, Cultura y Deporte, MECD (2009). International Civic and Citizenshipp Education Study, ICCS 2009. Estudio Internacional de Civismo y Cidudadanía IEA. Informe Español. Ministerio de Educación.
España. Ministerio de Educación, Cultura y Deporte, MECD (2010). Evaluación General de Diagnóstico 2009. Educación Primaria. Cuarto curso. Informe de resultados. Secretaría General Técnica.
Fernández Navas, M., Alcaraz, N., y Sola, M. (2017). Evaluación y pruebas estandarizadas: Una reflexión sobre el sentido, utilidad y efectos de estas pruebas en el campo educativo. Revista Iberoamericana de Evaluación Educativa, 10(1), 51-67. https://doi.org/10.15366/riee2017.10.1.003
Fernández Navas, M. y Pérez Gómez, A. I. (2016). Principios fundamentales del Portafolios Educativo. En Á. I. Pérez Gómez (Dir.), El portafolios educativo en Educación Superior (pp. 49-64). Akal.
Gallardo, M.; Fernández, M.; Sepúlveda, M.P.; Serván, M.J.; Yus, R. y Barquín, J. (2010). PISA y la competencia científica: Un análisis de las pruebas PISA en el Área de Ciencias. RELIEVE, Revista Electrónica de Investigación y Evaluación Educativa, 16(2), 1-17. https://doi.org/10.7203/relieve.16.2.4138
Gallardo, M., Sierra, E. y Domínguez, A. (2015). El portafolios de los estudiantes como estrategia alternativa a las pruebas estandarizadas para la evaluación de competencias. Qualitative Research in Education,4(1), 72-102.
Gardner, J. (Ed.) (2006). Assessment and Learning. Sage.
Gavari, E. (2009). El papel del docente y del alumno en la elaboración de portafolios. Revista de Educación, 349, 451-462.
Gimeno, J. (2008). Educar por competencias. ¿Qué hay de nuevo?. Morata.
Hargreaves, D. H. (2005). Personalising learning 3: Learning to learn & the new technologies. Specialist Schools Trust.
Hatzinikita, V.; Dimopoulos, K. y Christidou, K. (2008). PISA test ítems and school textbooks related to science: A textual comparison. Science Education, 92(4), 664-687.
Hautamäki, J., Arinen, P., Eronen, S., Hautamäki, A., Kupiainen, S., Lindblom, B. et al. (2002). Assessing Learning-to-Learn: A Framework. National Board of Education.
Hernández, F. (2006). El informe PISA: Una oportunidad para replantear el sentido de aprender en la escuela secundaria. Revista de Educación, extraordinario PISA, 357-379.
Hopmann, S.; Brinek, G. & Retzl, M. (Eds.). (2007). PISA according to PISA- Does PISA keep what it promises? LIT Verlig.
INCE (2000). PISA 2000: La medida de los conocimientos y destrezas de los alumnos. Un nuevo marco para la evaluación. MECD.
INCE (2004). PISA 2003: Conocimientos y destrezas en Matemáticas, Lectura y Ciencias y Solución de Problemas. MECD.
INCE (2007). PISA 2006: Marco de la Evaluación. Conocimientos y habilidades en Ciencias, Matemáticas y Lectura. MECD.
INCE (2007). La Lectura en PISA 2000, 2003 y 2006. Marco y pruebas de evaluación. MECD.
Instituto de Evaluación (2010). PISA 2009. Informe español. Ministerio de Educación (España).
Junta de Andalucía (2008). El modelo de Evaluación de Diagnóstico en Andalucía. Consejería de Educación. Andalucía.
Laisner, F. (2000). Rèussir la formation par competentes. Guérin.
Mayorga, Mª. J., Gallardo, M. y Jimeno, M. (2015). Evaluación Diagnóstica en Andalucía. Una investigación del área ‘competencia matemática’. Aula Abierta, 43, 47-53.
Mayorga, Mª. J., Gallardo, M. y Pérez Gómez, Á. I. (2018). Competencia Social y Ciudadana en las Pruebas de Diagnóstico General. Magis, Revista Internacional de Investigación en Educación, 10(21), 121-136.
Monereo, C. y Pozo, J. I. (2007). Competencias para (con)vivir con el siglo XXI. Cuadernos de Pedagogía,370, 12-18.
Moseley, D., Baumfield, V., Elliott, J., Higgins, S., Miller, J. y Newton, D.P. (2005). Frameworks for Thinking: A Handbook for Teachers and Learning. Cambridge University Press.
Muñoz, L. C., Serván, M. J. y Soto Gómez, E. (2019). Las Competencias docentes y el Portafolios Digital: Crear Espacios de Aprendizaje y Evaluación en la Formación Inicial del Profesorado. Un Estudio de Casos. Revista Iberoamericana de Evaluación Educativa, 12(2), 111-131. https://doi.org/10.15366/riee2019.12.2.006
Organización para la Cooperación y el Desarrollo Económico (OCDE). (2002). Conocimientos y aptitudes para la vida. Primeros resultados del PISA 2000 de la OCDE. Santillana-MEC.
Organización para la Cooperación y el Desarrollo Económico (OCDE). (2004). Marcos teóricos de PISA 2003. Conocimientos y destrezas en Matemáticas, Lectura, Ciencias y Solución de problemas. Santillana-MEC.
Organización para la Cooperación y el Desarrollo Económico (OCDE). (2006). PISA 2006. Marco de la evaluación. Conocimientos y habilidades en Ciencias, Matemáticas y Lectura. Santillana-MEC.
Pérez Gómez, Á. I. (1998). La cultura escolar en la sociedad neoliberal. Morata.
Pérez Gómez, Á. I. (2007). La naturaleza de las competencias básicas y sus implicaciones pedagógicas. Gobierno de Cantabria.
Pérez Gómez, Á. I. (2008). ¿Competencias o pensamiento práctico? La construcción de los significados de representación y de acción. En J. Gimeno (Coord.). Educar por competencias, ¿qué hay de nuevo? 59-102. Morata.
Pérez Gómez, Á. I., Soto, E., Sola, M. y Serván, MªJ. (2009a). Aprender cómo aprender. Autonomía y responsabilidad: El aprendizaje de los estudiantes. Akal.
Pérez Gómez, Á. I., Soto, E., Sola, M. y Serván, Mª. J. (2009b). Orientar el desarrollo de competencias y enseñar cómo aprender. La tarea del docente. Akal.
Pérez Gómez, Á. I., Soto, E., Sola, M. y Serván, Mª. J. (2009c). La evaluación como aprendizaje. Akal.
Pérez Gómez, Á. I. y Soto, E. (2011). Luces y sombras de PISA. Evaluación de capacidades de razonamiento sobre problemas cotidianos. Cultura y Educación,23(2), 171-182.
Pérez Gómez, Á. I. (2012). Educarse en la era digital. Morata.
Pérez Gómez, Á. I. (2013). Reválidas. Evaluación por competencias y calidad de los aprendizajes. Revista Qurriculum, 26, 11-25.
Pérez Gómez, Á. I. (Coord.) (2016). El portafolio educativo en Educación Superior. Akal.
Pérez Gómez, A. I. y Serván, Mª. J. (2016). Naturaleza y Sentido del Portafolios Educativo. En Á. I. Pérez Gómez (Dir.). El portafolios educativo en Educación Superior, 41-47. Akal.
Pérez Granados, L., Alcaraz, N. y Fernández, M. (2016). Revisión bibliográfica sobre el Portafolios. En Á. I. Pérez Gómez (Dir.), El portafolios educativo en Educación Superior, 17-39. Akal.
Pérez Gómez, Á. I. (7/3/2022). Ser docente en la complejidad: Cualidades humanas y competencias profesionales. Diario de la Educación. https://eldiariodelaeducacion.com/porotrapoliticaeducativa/2022/03/07/ser-docente-en-la-complejidad-cualidades-humanas-y-competencias-profesionales/
Psalidas, A., Apostolopoulos, C. y Hatzinikita, V. (2008). Investigating factors affecting students’ performance to PISA Science items. Journal of Engineering Science and Technology Review, 1, 90-97.
Puente, J. (2008). PISA 2006: Resultados españoles en Ciencias. Alambique, 57, 12-22.
Rodríguez, C. (2011). Evaluación para la mejora. El modelo de Evaluación Diagnóstica de Andalucía. Revista Cultura y Educación, 23(2), 205-220.
Rychen, D. S. y Tiana, A. (2004). Developing Key Competencies in Education: Some lessons from International Experience. Unesco.
Serván, Mª. J. (2011). La evaluación externa de los aprendizajes escolares. Revista Cultura y Educación, 23(2), 165-314.
Soto, E., Sola, M. y Serván, M. J. (2009). Orientar el desarrollo de competencias y enseñar cómo aprender. La tarea del docente. Akal.
Soto, E. (2016). La reflexión, corazón y alma del portafolios educativo. En Á. I. Pérez Gómez (Dir.), El portafolios educativo en Educación Superior (pp. 101-123). Akal.
Shulman, L. (1999). Portafolios del docente: Una actividad teórica. En N. Lyons (Comp.), El uso del portafolios. Propuestas para un nuevo profesionalismo docente (pp. 45-62). Amorrortu.
1 Proyecto I+D: “La Evaluación Educativa de los Aprendizajes de Segundo Orden, Aprender cómo Aprender, Análisis de Proyectos Internacionales y Experimentación de Estrategias Alternativas”. Ref.: SEJ2007-66967. Investigador principal: D. Ángel I. Pérez Gómez. Entidad financiadora: Ministerio de Educación y Ciencia. 2007-2011.
