La incorporación del sistema universitario español al Espacio Europeo de Educación Superior ha generado cambios notables en el rol que juegan los estudiantes universitarios y el protagonismo que asumen en su propio aprendizaje. Las metodologías de aprendizaje como el flipped classroom o el mobile learning van ganado peso poco a poco en las aulas universitarias, y están modificando la fisonomía de las aulas y del propio proceso de enseñanza-aprendizaje (Gargallo et al., 2018). Al contrario que en los modelos de enseñanza tradicionales, con estas metodologías gran parte de los conceptos teóricos se estudian fuera del aula y las clases presenciales se reservan para la solución de dudas y la realización de actividades grupales en las que los estudiantes se enfrentan a problemas que deben resolver aplicando los conocimientos teóricos estudiados fuera del aula (Sosa Díaz y Palau Martín, 2018).
Estas metodologías están, además, avaladas por estudios empíricos que evidencian que, cuando son implementadas en el aula, variables como el rendimiento académico o la motivación de los estudiantes se ven beneficiadas (Briz-Ponce et al., 2016; Hinojo et al., 2018).
Estos cambios metodológicos llevan aparejados nuevas formas de evaluar (Pereira et al., 2016), de manera que poco a poco se va dejando atrás aquella vieja estampa en la que los estudiantes universitarios entregaban sus actividades al profesorado de la asignatura, en una especie de transacción privada donde, habitualmente, las únicas personas que conocían el contenido de los trabajos realizados por los estudiantes eran sus propios autores y los docentes encargados de evaluarlos (Alonso, Plaza y Orfali, 2019). Este tradicional formato de evaluación, si bien puede presentar algunas ventajas, implica renunciar a la oportunidad de que los estudiantes aprendan unos de otros mediante metodologías como la evaluación entre iguales. Así, la evaluación entre iguales, entendida como el procedimiento mediante el que los trabajos realizados por los estudiantes son revisados y evaluados por otros estudiantes, abre la puerta a nuevas oportunidades de aprendizaje, abandonando el aprendizaje de sentido estrictamente unidireccional (desde el docente a los estudiantes), y permitiendo nuevos flujos de aprendizaje entre los propios estudiantes (Adachi et al., 2018; Reinholz, 2016). De este modo, el proceso de evaluación se transforma, convirtiéndose en un elemento formativo más, ya que se permite que los estudiantes se enriquezcan mutuamente con su trabajo y, al verse en una situación en que deben proporcionar feedback, se esfuerzan en realizar un análisis profundo del trabajo de sus compañeros (Arribas et al., 2016; Rodríguez Gómez et al., 2018).
Desgraciadamente, todavía no podemos afirmar que la evaluación entre iguales sea una práctica ni mucho menos generalizada en las aulas universitarias, ya que existen numerosas barreras que dificultan y ralentizan los cambios en prácticas tan arraigadas como las de la evaluación tradicional, unas barreras que impiden pasar de la cultura de los exámenes a la cultura de evaluación (Medland, 2016; Moreno et al., 2019).
Sin embargo, poco a poco sí va aumentando el interés por la evaluación entre iguales, tanto en su implementación en el aula, como en la realización de investigaciones sobre sus efectos. Prueba de ello son las recientes revisiones sistemáticas de la literatura centradas en este tipo de evaluación.
Fu et al. (2019) han realizado una revisión de 70 estudios empíricos publicados entre 2007 y 2016 con el objetivo de describir qué tipo de investigación se llevó a cabo durante ese período relacionada con la evaluación entre iguales con apoyo de la tecnología. La imagen que nos deja esta revisión es que la evaluación entre iguales que se describe en la investigación científica tiene como principales características las siguientes: a) el dispositivo que más se emplea es el ordenador, aunque en los últimos años se han desarrollado también experiencias de evaluación entre iguales a través de telefonía móvil; b) durante el primer período de la revisión (2007-2011), la tendencia era que la evaluación entre iguales se llevaba a cabo de manera autónoma fuera del aula, mientras que en el segundo período revisado (2012-2016) se realizaron más procedimientos de evaluación entre iguales dentro del aula, lo que sugiere que este tipo de evaluación está pasando de ser una experiencia autónoma que se realizaba sin supervisión del profesorado a convertirse en una actividad de aula más, inserta en la propia dinámica de las clases; c) la mayoría de la investigación sobre el tema se realiza con estudiantes universitarios, siendo mucho menor el volumen de investigación con estudiantes de educación primaria, secundaria o en la formación de personas adultas; d) la mayoría de experiencias de investigación se han llevado a cabo en el área de ciencias sociales, siendo menor el volumen de investigaciones en áreas como informática, idiomas y ciencia; e) aproximadamente en la mitad de investigaciones, la evaluación entre iguales se realizó de manera anónima, mientras que en la otra mitad, los estudiantes sí sabían qué compañeros les habían evaluado y f) la modalidad de evaluación más empleada fue la mixta, en que se combinan comentarios de los compañeros junto a una calificación cuantitativa, una tendencia que además fue más marcada en el segundo período de la revisión (2012-2016).
Además de este tipo de revisiones descriptivas, también se han llevado a cabo revisiones sobre los resultados de estas investigaciones. Por ejemplo, Van Zundert et al. (2010), en una revisión sobre los trabajos empíricos que han analizado los efectos en el aprendizaje de la evaluación entre iguales, concluyeron que uno de los temas que más interés habían despertado en los investigadores relacionados con la evaluación entre iguales era el de sus efectos en la motivación de los estudiantes. Los resultados de la revisión indicaron que, de un total de 15 trabajos revisados, en 12 de ellos los estudiantes mostraban una actitud positiva hacia los procedimientos de evaluación entre iguales. Estos estudios fueron realizados con estudiantes universitarios de diversas disciplinas, en investigaciones que empleaban diferentes procedimientos en los que se formaba a los estudiantes de diferentes modos.
Por otro lado, una de las principales preocupaciones sobre el uso de esta metodología de evaluación entre iguales es si las evaluaciones que se realizan con este sistema son similares a las que se realizan con el sistema tradicional de heteroevaluación por parte de un profesor. Li et al. (2016), analizaron precisamente esta preocupación en un metaanálisis en el que incluyeron 70 estudios publicados entre 1999 y 2014, y calcularon el coeficiente de correlación que existía entre la evaluación entre iguales y la evaluación por parte del profesorado. El resultado global del metaanálisis arrojó una correlación entre ambos métodos de 0.69 (moderadamente robusta). Además, se extrajeron algunas conclusiones interesantes, como que el grado de correlación entre ambos sistemas de evaluación aumentaba cuando se daban determinadas circunstancias en el procedimiento de evaluación entre iguales. Concretamente, la correlación aumentaba cuando la evaluación era individual (en lugar de grupal), cuando el emparejamiento entre evaluadores y evaluados se realiza de manera aleatoria, cuando la evaluación entre iguales no era anónima (es decir, los evaluados conocían quién les estaba evaluando) y cuando la evaluación incluía comentarios cualitativos además de una calificación.
Al margen de la metodología que se emplee en la evaluación entre iguales, otro de los valores que puede aportar este sistema de evaluación es el de situar a los estudiantes en el rol de evaluador de trabajos (Rodríguez Gómez et al., 2018). Este rol, puede ser interesante para numerosas disciplinas, pero puede ser especialmente interesante para futuros docentes, ya que una de las funciones que desarrollarán como profesionales es precisamente la de evaluar trabajos escritos (Panadero y Brown, 2017; Rotsaert et al., 2018a). Por ello, el presente trabajo se desarrolla en estudiantes de los grados de Maestro/a en Educación Infantil y de Maestro/a en Educación Primaria, dos titulaciones conducentes a formar profesionales que en el día a día de su trabajo tendrán entre sus funciones precisamente la de revisar trabajos de su alumnado y proporcionar feedback formativos.
Los objetivos que se plantean en el presente trabajo son dos: a) implementar una experiencia de evaluación entre iguales online en una asignatura de los grados de Maestro/a en Educación Infantil y en Educación Primaria y b) evaluar la valoración de los estudiantes de esta experiencia.
Consideramos que estos objetivos son relevantes, por al menos tres motivos fundamentales:
La presente experiencia se desarrolló en la asignatura de necesidades educativas especiales, de los grados en Maestro/a en Educación Infantil y en Educación Primaria de la Universitat de València en el curso 2018/2019.
Durante la asignatura, los estudiantes debían elaborar dos trabajos grupales: una adaptación curricular individual significativa y un trabajo de reflexión en torno a diferentes preguntas teóricas y prácticas relacionadas con el temario de la asignatura. La experiencia consistió en:
En suma, se trata de una experiencia de evaluación entre iguales online que se realizó fuera del aula, de manera asincrónica, mediante rúbricas diseñadas por el profesorado, de manera no anónima y que consistió en la valoración cuantitativa, así como de una retroalimentación cualitativa en forma de comentarios sobre los trabajos.
En el trabajo participaron 36 estudiantes universitarios cuya información demográfica básica aparece en la tabla 1.
TABLA 1. Participantes
Para conocer la valoración de los estudiantes sobre el procedimiento de evaluación entre iguales se empleó una adaptación del instrumento que emplearon en un estudio anterior Wen y Tsai, (2006), un cuestionario de 17 ítems tipo Likert con 4 opciones (totalmente en desacuerdo, en desacuerdo, de acuerdo y totalmente de acuerdo), que conformaban 4 escalas cuya distribución de ítems se muestra en la figura 1 y cuyo contenido era el siguiente: actitudes positivas, que incluía los ítems relacionados con las actitudes positivas hacia la evaluación entre iguales; actitud online, que incluía ítems relacionados con las ventajas de utilizar la evaluación online para producir ahorros en términos económicos y de tiempo; comprensión y acción, que incluía ítems relacionados con la comprensión de las ideas de los compañeros y sobre quién debía ser el responsable de diseñar los criterios de evaluación; y actitudes negativas, que incluía ítems que describían aspectos negativos de la evaluación entre iguales online.
En el cuestionario original de Wen y Tsai (2006), la consistencia interna de las escalas fue adecuada, con valores del índice alfa de Cronbach que oscilaban entre 0.63 y 0.86, siendo el índice total de la escala de 0.80.
Los resultados obtenidos en las diferentes escalas tras la aplicación del cuestionario se muestran en la tabla 2.
TABLA 2. Puntuación media de las escalas
Los resultados de la valoración de los estudiantes de cada uno de los ítems del cuestionario se muestran en la figura 1.
En color verde se incluyen las puntuaciones de los ítems relacionados con las actitudes positivas hacia la evaluación entre iguales; en color amarillo las puntuaciones de las preguntas que hacen referencia a la actitud online; en azul las puntuaciones de las cuestiones relacionadas con la comprensión y acción; y en rojo, las puntuaciones de los ítems relacionados con las actitudes negativas de la evaluación entre iguales online.
Cabe considerar que las puntuaciones de los 17 ítems del cuestionario oscilaban entre 1 y 4 puntos, teniendo en cuenta las 4 opciones de la escala Likert (totalmente en desacuerdo, en desacuerdo, de acuerdo y totalmente de acuerdo).
FIGURA 1. Resultados de la valoración de los estudiantes en el cuestionario
Los tres ítems que obtuvieron una puntuación más elevada fueron: “la evaluación entre iguales online me ayuda a desarrollar mi sentimiento de participación en el proceso de enseñanza-aprendizaje”, “las actividades de evaluación entre iguales online me ayudan a entender lo que piensan mis compañeros de clase” y “las actividades de evaluación entre iguales online aumentan la interacción entre mis compañeros de aula y yo”.
Los tres ítems que una puntuación más baja fueron: “si yo recibiera calificaciones inferiores a las que esperaba, entonces daría a los otros, calificaciones más bajas”, “Las actividades de evaluación entre iguales online pueden tener ventajas económicas” y “las calificaciones que doy a mis compañeros están influenciadas por las calificaciones que me dan a mí”.
El presente trabajo ha expuesto una experiencia en docencia universitaria que ha consistido en la realización de una práctica de evaluación entre iguales online. En esta práctica, los estudiantes han elaborado un blog donde han publicado sus trabajos, que ha sido evaluado por sus compañeros de aula mediante rúbricas proporcionadas por el equipo docente. A continuación, exponemos las conclusiones que extraemos tras llevar a cabo la práctica a partir de los resultados proporcionados por los estudiantes en el cuestionario. Los resultados del cuestionario de valoración de la experiencia por parte de los estudiantes son globalmente positivos. En cuanto a la actitud hacia la evaluación entre iguales, el resultado de la escala de actitudes positivas es claramente más elevado que el de la escala de actitudes negativas (que no ha alcanzado el 2 sobre 4), lo que sugiere que, en principio, los estudiantes se muestran partícipes del empleo de este sistema de evaluación. Este resultado es similar al obtenido por investigaciones previas con estudiantes universitarios de otros sistemas educativos, en los que también se ha evidenciado una actitud positiva hacia la evaluación entre iguales tras experiencias similares a esta (tal y como muestra la revisión de Van Zundert et al., 2010).
Sin embargo, algunas investigaciones también evidencian que, pese a que los estudiantes valoran este tipo de evaluación como un trabajo interesante para la mejora de su aprendizaje, no siempre están de acuerdo en que la evaluación entre iguales aumente su peso en la calificación final de la asignatura (McGarr y Clifford, 2013). Por ello, consideramos una hipótesis viable que los resultados de la positiva valoración que ha recibido esta experiencia por parte de los estudiantes se deban a que la repercusión de la evaluación entre iguales en la calificación de los trabajos era únicamente del 50% de la nota final, lo que probablemente ha ayudado a que los estudiantes confíen más en el carácter justo de este proceso de evaluación.
Uno de los aspectos que llama la atención es la diferencia entre la escala de actitudes hacia la evaluación entre pares y la de actitudes online. En el caso de los ítems de la primera escala, se preguntaba por las características del propio procedimiento de evaluación entre iguales, mientras que, en el caso de la escala online, se ponía el acento de manera específica en el carácter digital de este procedimiento. El hecho de que las puntuaciones hayan sido más elevadas para la escala de actitudes hacia la evaluación entre iguales, y más bajas en el caso de actitudes online, sugiere que los estudiantes han valorado positivamente la experiencia, pero no parece que ello haya sido por el carácter online de la misma, sino por las características del propio procedimiento.
Sin embargo, los docentes implicados en la experiencia consideramos que sí ha sido positivo el llevarla a cabo mediante procedimientos digitales, ya que de este modo se movilizan algunas competencias relacionadas con las TIC que es necesario trabajar de manera integrada en las propias asignaturas, no como un contenido específico en sí mismo.
Al solicitar a los estudiantes que diseñen un blog y que lo utilicen como canal de comunicación con fines formativos relacionados con proporcionar feedback sobre trabajos académicos, lo que perseguimos es integrar el uso de las TIC en la práctica docente no como un fin en sí mismo (el objetivo no es que los estudiantes aprendan a crear blogs), sino como un medio para llevar a cabo una práctica de evaluación entre iguales. Se trata, por tanto, de acuerdo con el modelo TPACK de Koehler y Mishra (2009), de desarrollar la competencia digital docente entendida no como la competencia puramente tecnológica, sino como el modo en que la competencia digital interactúa con la competencia pedagógica y con el dominio de contenidos por parte del docente. Así, tras la realización de la práctica consideramos que este objetivo de integrar las TIC en la práctica docente se ha alcanzado, ya que las consultas realizadas por los estudiantes no se han centrado en aspectos técnicos sobre los blogs o sobre la manera de proporcionar feedback, una cuestión que han solventado con relativa facilidad, sino en cuestiones más relacionadas con los criterios a partir de los cuales evaluar los trabajos de los compañeros de clase.
Otro aspecto destacable de los resultados es que las respuestas de los estudiantes parecen sugerir que prefieren que el diseño de las rúbricas de evaluación sea compartido por docentes y estudiantes. Las puntuaciones de los ítems 12: “el profesorado debería proporcionar a los estudiantes los criterios de evaluación entre iguales”; y 13: “los estudiantes deberían participar en el desarrollo de los criterios para la evaluación entre iguales”, que se han situado en ambos casos por encima de 3 (sobre un máximo de 4), parecen sugerir que los estudiantes manifiestan una preferencia por la responsabilidad compartida entre docentes y estudiantes en el diseño de las rúbricas de evaluación. Se trata de una cuestión relevante, que se ha analizado en algunas de las revisiones de la literatura sobre evaluación entre iguales (Fu et al., 2013), una revisión en la que se constató que son muy escasos los estudios en los que las rúbricas de evaluación son construidas por los estudiantes.
En el presente estudio, al igual que en la mayoría de los estudios sobre esta metodología, las rúbricas se elaboraron por parte del docente, pero tras analizar la respuesta a los dos ítems mencionados, en futuras experiencias se considerará la participación de los estudiantes en la confección de las rúbricas.
Por otro lado, en el presente estudio se optó por una modalidad en la que los evaluadores conocían la identidad de los autores del trabajo que estaban evaluando, y quienes recibían el feedback conocían la identidad de quienes se lo proporcionaba. Por ello, resulta interesante analizar los resultados de los ítems 16: “las calificaciones que doy a mis compañeros están influenciadas por las calificaciones que me dan a mí”; y 17: “si yo recibiera calificaciones inferiores a las que esperaba, entonces daría a los otros, calificaciones más bajas”. En ambos casos, estas calificaciones están por debajo de la puntuación de 2 (de un máximo de 4), lo que indica que los estudiantes manifiestan no estar influidos por si la modalidad de evaluación entre iguales es o no anónima. Este resultado es parcialmente contradictorio con algunos estudios previos (Rotsaert et al., 2018b; Vanderhoven et al., 2015) que han concluido que los estudiantes prefieren la evaluación anónima (aunque en estos casos se trataba de estudiantes de educación secundaria). Sin embargo, dado que los autores del estudio consideramos que la evaluación debe ser un proceso transparente en el que deben prevalecer las certezas sobre las incertidumbres, y atendiendo además a las respuestas de los estudiantes a estos dos ítems, en futuras experiencias mantendremos esta misma modalidad de evaluación en que es conocida la identidad tanto de evaluadores como de evaluados.
Una vez analizados y discutidos los resultados del presente estudio, valoramos globalmente la experiencia como positiva, y nos planteamos continuar desarrollándola en el futuro y continuando con la investigación.
En lo que respecta a aspectos prácticos del desarrollo de la experiencia, la organización del proceso ha sido relativamente sencilla, ya que los estudiantes han seguido las instrucciones proporcionadas y han cumplido escrupulosamente los plazos, si bien consideramos que ha sido clave proporcionar las instrucciones a los estudiantes de una manera escueta, clara y con suficiente tiempo de antelación.
El presente estudio ha sido una experiencia piloto en la que se ha introducido en un único grupo la evaluación entre iguales como uno de los elementos de evaluación de la asignatura. En futuros cursos nos planteamos ampliar esta experiencia a más de un grupo, lo que hará aumentar el tamaño muestral y proporcionará mayor robustez a los resultados.
En futuras experiencias nos planteamos introducir al menos las siguientes modificaciones: a) que los estudiantes colaboren en el diseño de las rúbricas de evaluación a partir de criterios que proporcione el profesorado; b) realizar algunas sesiones de evaluación entre iguales en la propia aula, de manera que el feedback que se ha proporcionado de manera online pueda ser complementado por un diálogo más fluido dentro del aula y c) implementar mecanismos para que la evaluación pueda realizarse a través de teléfonos móviles en lugar de ordenadores, algo que consideramos que puede agilizar el proceso.
Adachi, C., Tai, J.H.M., y Dawson, P. (2018). Academics’ perceptions of the benefits and challenges of self and peer assessment in higher education. Assessment y Evaluation in Higher Education, 43(2), 294-306. https://doi.org/10.1080/02602938.2017.1339775
Alonso, R.R., Plaza, I.R., y Orfali, C.H. (2019). Barriers in teacher perception about the use of technology for evaluation in Higher Education. Digital Education Review, (35), 170-185. https://doi.org/10.1344/der.2019.35.170-185
Arribas, J.M, Manrique, J.C., y Tabernero, B. (2016). Instrumentos de evaluación utilizados en la formación inicial del profesorado y su coherencia para el desarrollo de competencias profesionales en los estudiantes: visión del alumnado, egresados y profesorado. Revista Complutense de Educación, 27(1), 237-255. https://doi.org/10.5209/rev_RCED. 2016.v27.n1. 45724
Briz-Ponce, L., Juanes-Méndez, J.A., García-Peñalvo, F.J., y Pereira, A. (2016). Journal of Medical Systems, 40, 136. https://doi.org/10.1007/s10916-016-0487-4
Fu, Q.K., Lin, C.J., y Hwang, G.J. (2019). Research trends and applications of technology-supported peer assessment: a review of selected journal publications from 2007 to 2016. Journal of Computers in Education, 6(2), 191-213. https://doi.org/10.1007/s40692-019-00131-x
Gargallo, B., Sahuquillo, M.P., Verde, I., y Almerich, G. (2018). ¿Qué ocurre cuando los profesores utilizan métodos centrados en el aprendizaje? Efectos en los enfoques de aprendizaje, en las capacidades del alumno y en su percepción del entorno de aprendizaje. Revista de Educación, 382, 163-197. https://doi.org/10.4438/1988-592X-RE-2018-382-396
Hinojo, F.J. Aznar, I.A., Romero, J.M., y Marín, J.A. (2019). Influencia del aula invertida en el rendimiento académico. Una revisión sistemática. Campus Virtuales, 8(1), 9-18.
Koehler, M., y Mishra, P. (2009). What is technological pedagogical content knowledge (TPACK). Contemporary issues in technology and teacher education, 9(1), 60-70.
Li, H.L., Xiong, Y., Zang, X.J., Kornhaber, M.L., Lyu, Y.S., Chung, K.S., et al. (2016). Peer assessment in the digital age: A meta-analysis comparing peer and teacher ratings. Assessment y Evaluation in Higher Education, 41(2), 245–264. https://doi.org/10.1080/02602938.2014.999746
McGarr, O., y Clifford, A.M. (2013). ‘Just enough to make you take it seriously’: exploring students’ attitudes towards peer assessment. Higher education, 65(6), 677-693. https://doi.org/10.1007/s10734-012-9570-z
Medland, E. (2016) Assessment in higher education: drivers, barriers and directions for change in the UK. Assessment y Evaluation in Higher Education, 41(1), 81-96. https://doi.org/10.1080/02602938.2014.982072
Panadero, E., y Brown, G.T.L. (2017). European Journal of Psychology of Education, 32(1), 133-156. https://doi.org/10.1007/s10212-015-0282-5
Pereira, D., Flores, M.A., y Niklasson, L. (2016). Assessment revisited: a review of research in Assessment and Evaluation in Higher Education. Assessment y Evaluation in Higher Education, 41(7), 1008-1032. https://doi.org/10.1080/02602938.2015.1055233
Reinholz, D. (2016). The assessment cycle: a model for learning through peer assessment. Assessment y Evaluation in Higher Education, 41(2), 301-315. https://doi.org/10.1080/026 02938.2015.1008982
Rodríguez Gómez, G., Ibarra Saiz, M.S. y Cubero Ibáñez, J. (2018). Competencias básicas relacionadas con la evaluación. Un estudio sobre la percepción de los estudiantes universitarios. Educación XX1, 21(1), 181-208. https://doi.org/10.5944/educXX1.14457
Rotsaert, T., Panadero, E., y Schellens, T. (2018a). Peer assessment use, its social nature challenges and perceived educational value: A teachers’ survey study. Studies in Educational Evaluation, 59, 124-132. https://doi.org/10.1016/j.stueduc.2018.07.001
Rotsaert, T., Panadero, E., y Schellens, T. (2018b). Anonymity as an instructional scaffold in peer assessment: its effects on peer feedback quality and evolution in students’ perceptions about peer assessment skills. European Journal of Psychology of Education, 33(1), 75-99. https://doi.org/10.1007/s10212-017-0339-8
Sosa Díaz, M.J., y Palau Martín, R. (2018). Flipped Classroom para adquirir la competencia digital docente: una experiencia didáctica en la Educación Superior. Pixel-Bit, 52, 37-54. https://doi.org/10.12795/pixelbit.2018.i52.03
Vanderhoven, E., Raes, A., Montrieux, H., Rotsaert, T., y Schellens, T. (2015). What if pupils can assess their peers anonymously? A quasi-experimental study. Computers y Education, 81, 123-132. https://doi.org/10.1016/ j.compedu.2014.10.001
Van Zundert, M., Sluijsmans, D., y Van Merriënboer, J. (2010). Effective peer assessment processes: Research findings and future directions. Learning and Instruction, 20(4), 270-279. https://doi.org/10.1016/j.learninstr uc.2009.08.004
Wen, M.L., y Tsai, C.C. (2006). University students’ perceptions of and attitudes toward (online) peer assessment. Higher Education, 51(1), 27-44. https://doi.org/10.1007/s10734-004-6375-8