La evaluación en los SPOC: análisis de modelos e instrumentos

Cuando hablamos de evaluar nos estamos refiriendo a la actividad que tiene por objeto investigar, entre otros, la calidad de los resultados deseados y en que grado se han adquirido las competencias y objetivos propuestos, en el proceso de enseñanza aprendizaje (Caturla, 2010; Maldonado Gil, 2011; Mayorga Fernández, & Madrid Vivar, 2011). Uno de los pilares básicos de todo proceso de enseñanza aprendizaje sin duda es la evaluación (Romero Farfán, 2007). Por esta razón, el impacto que supone la evaluación en el alumnado condiciona de forma decisiva al mismo, en relación con el resto del proceso de enseñanza aprendizaje (Nodos, & Nudos, 2004).

Entre las diferentes estrategias, propuestas metodológicas y recursos para el aprendizaje, el desarrollo de instrumentos que permitan el acceso a la formación, por parte de diferentes colectivos, evitando las barreras de la presencialidad o el área y nivel de conocimiento, han supuesto una revolución para los procesos educativos.

En este sentido, los SPOC son una variación de los MOOC en algunas de sus características, como la reducción del número de participantes, la posibilidad de establecer discusiones y debates, o una tutorización más individualizada, dando así respuesta a algunas de las limitaciones de los MOOC (Colomo Magaña et al., 2020; López de la Serna et al., 2018). Dado que el objetivo de esta investigación es la evaluación en los SPOC, debemos realizar una breve aproximación a los MOOC y su modelo metodológico, para poder entender la estructura y funcionamiento de los SPOC.

Los MOOC nacen como una nueva posibilidad en la adquisición de conocimientos (López de la Serna, & Tejada Garitano, 2019). Su gran novedad radica en que son cursos masivos, donde cualquiera puede participar sin importar su nivel de instrucción, de forma on-line, y donde la impartición de contenidos se realiza a través de videos de breve duración y textos en diferente formato (Cabero Almenara, 2015; Ruiz-Plamero et al., 2021). Otra de sus peculiaridades radica en que los participantes se erigen en protagonistas de su aprendizaje, siendo el profesor un guía en la impartición del contenido y donde la evaluación se realiza a través de pruebas automáticas o queda en manos del alumnado que participa en este (García Barrera et al., 2017; Mailhes, & Raspa, 2015; Méndez García, 2013; Peñafiel Aguilar, 2018).

Además de lo anterior, también existen dos variantes en los MOOC, los xMOOC y los cMOOC, si bien en la evaluación estos presentan realidades similares. De la misma forma que los MOOC presentan distintos formatos con variantes metodológicas, ocurre igual en los SPOC (Lopez de la Serna & Garrido, 2018; Santamaría Lancho, 2014) Self pace on line course, donde el curso está siempre abierto y se comienza y termina según el propio deseo del estudiante; Small private open course, dirigido a grupos reducidos donde estos pueden acceder a los materiales y bajo licencia abierta modificarlos en cualquier momento; small private on-line courses, que mantiene las características del MOOC, pero restringe las acciones de los participantes.

Partiendo de lo anterior, la evaluación en los SPOC varía, considerablemente, frente a los MOOC. En concreto, en los MOOC la evaluación no se puede personalizar dada la masificación de los participantes y la falta de protagonismo del docente, (Ruiz Bolívar, 2015), realizándose a través de formularios cerrados o por pares, donde incluso se rebaja su nivel de exigencia (Méndez García, 2013), lo que presenta, en ocasiones, problemas en la retroalimentación en relación con la evaluación (Baloco Navarro, & Ricardo Barreto, 2018). Por el contrario, en los SPOC, los docentes mantienen una comunicación y tutorización que permite una atención más personalizada a los participantes del curso.

De este modo, los SPOC ofrecen diferencias fundamentales frente a los MOOC en el proceso e instrumentos de evaluación. En cuanto al alumnado, los SPOC promueven la autorregulación y una mejor eficiencia en el aprendizaje (Zhang et al., 2019), ya que los contendidos están en línea a disposición de los participantes (Mejón et al., 2018). La presencia continua y el acceso ilimitado a los contenidos, junto con la autorregulación y eficiencia del proceso, permite adaptar e individualizar la evaluación (Utray et al., 2018). En cuanto a los instrumentos de evaluación, debemos de tener en cuenta que los SPOC, en la mayoría de los casos, nacen como adaptaciones o transformaciones de modelos metodológicos, como la conversión de un MOOC en SPOC, la combinación del flipped classroom con el SPOC, o modelos blended learning en los que conviven clases presenciales junto con un SPOC (Jong, 2016; Zhang et al., 2019). Esta circunstancia hace que los instrumentos de evaluación en los SPOC sean de lo más variados, entre los que podemos encontrar desde utilizar la actividad del alumnado en la plataforma y su número de interacciones, (Uijl et al., 2017) o un examen final en el que se combina el uso de formularios con preguntas de opción múltiple o verdadero o falso, que suelen ser lo más utilizados (Vaysse et al., 2018). La implementación de diferentes instrumentos de evaluación permite individualizar la evaluación en los SPOC, según el perfil del alumnado, el SPOC que se desea diseñar, o el criterio del docente, dentro del contexto de enseñanza aprendizaje. Hay que señalar también que en los SPOC no solo se evalúa al alumnado, sino también al docente. (Fu, 2019). Por último, es importante subrayar que si bien los SPOC son cursos online, muchos de ellos se insertan en plataformas las cuales tienen limitaciones técnicas, lo que supone que no todos los modelos e instrumentos de evaluación se pueden implementar en los SPOC, dadas las limitaciones señaladas (López de la Serna, & Garrido, 2018). Por todo ello, se pretende analizar los modelos e instrumentos de evaluación que se implementan en los SPOC.

La metodología seguida para llevar a cabo nuestro estudio se basa en una revisión sistemática, a través de diferentes publicaciones de literatura especializada sobre los SPOC, abordando la evaluación como tema principal de investigación. Primeramente, se ha realizado una breve descripción de los SPOC, para comprender el nacimiento y su evolución como adaptaciones de los MOOC, Flipped Classroom y otros modelos.

Para el diseño de esta investigación hemos seguido el método cualitativo, realizando una búsqueda de datos que responden a las preguntas de nuestra investigación (Colomo, & Domínguez, 2015; Iño Daza, 2018). Nuestro análisis se ha centrado en los modelos e instrumentos de evaluación en los SPOC. Las búsquedas se han realizado entre enero-febrero del 2020, en las bases de datos Scopus, Web of Sciences, Dialnet y Google académico. Se han utilizado las siguientes palabras clave en los comandos de búsqueda: “SPOC”, “Small private online course” OR “SPOC” AND “SPOC evaluación”, acotando el año de búsqueda (en las bases de datos donde se puede realizar esta acción) desde el 2013, año de nacimiento de los SPOC. Se han analizado un total de 16 artículos que tratan los diferentes aspectos de los SPOC, con los cuales se ha procedido a llevar a cabo la investigación, que exponemos en este estudio.

En relación con el procedimiento, se ha realizado una revisión y lectura de los artículos escogidos, para poder describir y detallar los modelos e instrumentos de evaluación y su tratamiento en los SPOC. Una vez llevada a cabo la lectura, se procedió al estudio de los diferentes modelos e instrumentos de evaluación utilizados en los SPOC.

En cuanto a los modelos de evaluación, hemos comenzado por la finalidad de la evaluación, teniendo en cuenta sus tres variantes: la evaluación sumativa, la cual se centra en resultados finales de forma objetiva; la evaluación formativa, que tiene en cuenta el desarrollo y evolución del proceso de enseñanza; y la evaluación mixta, que, partiendo de la evaluación formativa, unifica el control y evolución del proceso de enseñanza aprendizaje con el resultado que se alcanza. A continuación, tenemos en cuenta el momento de recogida de la información, existiendo también diferentes variantes: la evaluación inicial, la cual se lleva a cabo con el fin de recoger información para conocer el nivel de conocimientos del alumnado, y en algunos casos, para adaptar los contenidos del SPOC a las necesidades concretas de los participantes en este; la evaluación continua, donde la recogida de información es constante en todo el proceso de enseñanza aprendizaje; y la evaluación final, donde la información que se recopila sobre el proceso de enseñanza se realiza en el momento final del SPOC. Por último, hemos considerado el agente responsable de realizar la evaluación de los SPOC, diferenciando entre: heteroevaluación, donde el docente es el que marca los criterios y es el único responsable del proceso; autoevaluación, donde el alumnado es el protagonista, valorando su evolución y desarrollo según los criterios marcados por el docente del SPOC; y coevaluación, donde la valoración es fruto de una triangulación entre las evaluaciones de dos, entre los que podemos considerar al docente, el estudiante o los compañeros de clase.

En lo que respecta a los instrumentos para recopilar las evidencias, se han considerado todas aquellas herramientas que han sido utilizadas en las diferentes experiencias e investigaciones realizadas con cursos SPOC que han conformado la muestra de estudio. De este modo, conseguiremos tanto una aproximación a los diferentes instrumentos como a la frecuencia y resultados obtenidos con los mismos.

Hemos procedido a analizar una selección de 16 artículos que tienen como temática los SPOC. Con su estudio hemos extraído información sobre los modelos e instrumentos de evaluación en los SPOC. En estos cursos, el modelo de evaluación se puede adaptar al alumnado y temática del curso (López de la Serna et al., 2018), configurando así diferentes variantes, gracias a la propia naturaleza de los SPOC. Un ejemplo de lo señalado, sería un SPOC, donde además de tener en cuenta el rendimiento en línea se pondera el rendimiento en el aula (Lu, 2018), incorporando así el factor espacial como un elemento a considerar en la valoración de los resultados alcanzados.

Estamos ante un fenómeno cuya valoración se puede realizar de múltiples formas, a tenor del contexto, la intervención de los participantes o el espacio en que se realicen, por ejemplo. Inclusive, el foco puede situarse en la motivación del alumnado respecto a su participación en el SPOC, valorando las interacciones entre estudiantes, las cuales se miden (análisis de la frecuencia de participación) y revisan (calidad de las aportaciones desde un análisis pedagógico en función de los contenidos del curso) con el fin de comprender la motivación del alumnado (Uijl et al., 2017).

Hemos comenzado el estudio analizando la evaluación según su finalidad. Dentro de este modelo existen tres variantes, la evaluación sumativa, la formativa y la mixta.

Tabla 1. Modalidad de evaluación según la finalidad.
Fuente:elaboración propia

Dentro de estas variantes la más utilizada en los SPOC es la sumativa (9 veces). La variante sumativa presenta diferentes opciones, entre otras la combinación de tareas en línea y fuera de línea para completar la evaluación (Fu, 2019), una práctica libre (Mejón et al., 2018), una tarea final (Kang, & He, 2018; Vaysse et al., 2018), un examen (Uijl et al., 2017), o una cantidad tasada de actividades para superar con éxito el SPOC (Santamaría Lancho, 2014). Tras la sumativa, tenemos la evaluación formativa, registrada en 2 ocasiones, donde se interviene durante todo el proceso de enseñanza aprendizaje, utilizando la evaluación como método para fomentar el aprendizaje. En los SPOC este modelo presenta dos variantes, una evaluación que consiste en grupos de discusión durante todo el curso con el fin de obtener propuestas de los estudiantes que ayuden a la confección del SPOC (Mejón et al., 2018), y otro modelo donde la evaluación formativa se utiliza para obtener información del diseño de recursos y el numero de actividades en el SPOC (Fu, 2019). Finalmente, la última variante es la evaluación mixta (2 ocasiones al igual que la formativa), que persigue verificar el resultado final de forma objetiva teniendo en cuenta la evaluación durante todo el proceso (Lu, 2018). Un ejemplo de la evaluación mixta se da en un SPOC donde se evalúa el tiempo de aprendizaje, el nivel de actividad (interacciones) y los resultados finales de la evaluación (Fu, 2019).

Tras ello, analizaremos el momento de recogida de la información, pudiéndose implementar la evaluación inicial, continua o final.

Tabla 2. Modalidad de evaluación según el momento de recogida de la información. Fuente: elaboración propia

En los SPOC, el momento de recogida de información más frecuente, es el de la evaluación inicial (6 veces). Esta evaluación inicial presenta diferentes finalidades: se recoge la información como el fin de ofrecer formación previa para el alumnado participante en el SPOC (Kang, & He, 2018; Zhang et al., 2019; Zhu et al., 2018), con el propósito de conocer el nivel de instrucción previo del alumnado (González Burgos et al., 2018; Lu, 2018); o para comprender las necesidades de formación o interés inicial por las actividades previstas en el SPOC (Santamaría Lancho, 2014). Tras la inicial, con 6 registros también, encontramos la evaluación final, donde se obtiene la información al finalizar el proceso de enseñanza aprendizaje, siendo múltiples los instrumentos que pueden utilizarse y sobre los que profundizaremos más adelante.

Por último, hemos analizado la evaluación en los SPOC teniendo en cuenta el agente que desarrolla el proceso educativo.

Tabla 3. Modalidad de evaluación según el agente. Fuente: elaboración propia

El modelo más utilizado es la autoevaluación (8 registros), la cual suele consistir en un formulario que el alumnado cumplimenta valorando sus progresos y aprendizajes (González Burgos et al., 2018; López de la Serna, & Tejada Garitano, 2019; Santamaría Lancho, 2014; Zhang et al., 2019). Si bien la autoevaluación es el modelo más común, la heteroevaluación (1 registro) es una modalidad también presente, donde la evaluación se lleva a cabo por el docente responsable del curso (Santamaría Lancho, 2014) o las pruebas adoptan un sistema de puntuación automático previamente determinado por el docente del SPOC. La modalidad denominada coevaluación también presenta un único registro, aunque hay diferentes experiencias en las que se evalúa al alumnado y a su vez el alumnado se autoevalúa a través de la evaluación por pares (Fu, 2019). Finalmente existen SPOC donde además de evaluar al alumnado el docente también evalúa el efecto de su docencia en relación al impacto de esta en la enseñanza y aprendizaje del alumnado (Fu, 2019), considerando así en este tipo de recursos la autoevaluación del docente.

En relación con los instrumentos de evaluación, en los SPOC también existen diferentes variantes. Las opciones son múltiples, estando determinadas por la finalidad perseguida, el momento de recogida y los agentes que la implemente.

Encontramos instrumentos de evaluación que tienen, como punto de partida, los propios comentarios del alumnado, junto con cuestionarios después de cada clase, los cuales asignan una puntuación automática a las respuestas recibidas (Song et al., 2016), implementando así herramientas de autocorrección como una posibilidad de herramienta de evaluación.

En cuanto a la implementación de los instrumentos de evaluación en los SPOC y su valoración como más efectivos por parte del alumnado, nuestro estudio refleja que las pruebas de autoevaluación con su feedback son uno de los instrumentos mejor valorados por el alumnado participante en los SPOC (Santamaría Lancho, 2014). Entre las opciones más recurrentes, podemos encontrar una autoevaluación con ejercicios finales (Yu, 2019), o realización de ejercicios de autoevaluación junto con la valoración de calificaciones mutuas entre el alumnado (Zhu et al., 2018)

Le siguen las preguntas tipo test elaboradas por el propio alumnado junto con las propias actividades de autoevaluación incluidas en el SPOC (González Burgos et al., 2018). Los test o cuestionarios permiten valorar el conocimiento del alumnado (González Burgos et al., 2018) de diferentes formas: preguntas con opciones múltiples de respuesta, combinadas con preguntas cerradas, las cuales se tienen que contestar en un tiempo concreto (Jong, 2016); y preguntas de opción única o múltiple (Yu, 2019).

Entre otras opciones existentes, pero con menor asiduidad que las comentadas, encontramos la entrega de un producto final a presentar al termino del SPOC (Kang, & He, 2018), una práctica libre (Mejón et al., 2018), o un examen de evaluación (Uijl et al., 2017). Una alternativa menos individualizada y que promueve la identidad de grupo-clase, es la corrección de tareas entre grupos participantes en los SPOC, donde a partir de unos criterios preestablecidos y definidos (bien por estipulación del docente o como resultado de acuerdos entre el alumnado y el profesor) se valoran las tareas realizadas y el nivel de consecución adquirido (Vaysse et al., 2018).

No obstante, durante el análisis se han encontrado desventajas en algunos instrumentos de evaluación. En un SPOC donde se implementa la autoevaluación se recomienda establecer mecanismo de evaluación múltiple que permita una evaluación más integral (Yu, 2019). Otra limitación en la implementación de la evaluación dentro de los SPOC, es que estos recursos se integran en diferentes plataformas, las cuales no permiten determinados modelos de evaluación (Lopez de la Serna, & Garrido, 2018).

La investigación demuestra la gran capacidad de adaptación de los SPOC, en cuanto al modelo e instrumentos de evaluación. Analizar estos aspectos y su influencia en la futura confección de los SPOC es un requisito fundamental ya que, como es conocido, la evaluación es una de las partes más importantes en el proceso de enseñanza aprendizaje. Inicialmente, hemos de matizar que no existen investigaciones previas cuyo objetivo haya sido valorar y analizar los modelos de evaluación e instrumentos implementados en los SPOC, encontrándonos ante una realidad innovadora en la que podemos aportar ciertas conclusiones. Partiendo de que cada SPOC adapta la evaluación según la temática y alumnado participante en el curso, los modelos e instrumentos de evaluación son tan variados como SPOC se confeccionen.

La investigación demuestra que la propia naturaleza y configuración de los SPOC permite una gran capacidad de adaptación en cuanto a los modelos e instrumentos de evaluación. Como hemos comentado, los SPOC han sido pensados para reducir la masificación que se da en otros modelos y homogenizar la participación del alumnado. Teniendo en cuenta lo señalado, analizar estos aspectos y su influencia en la futura confección de los SPOC es un requisito fundamental ya que, como es conocido, la evaluación es una de las partes más importantes en el proceso de enseñanza. Nuestra investigación pretende realizar una aportación sobre los diferentes modelos e instrumentos de evaluación, para futuros proyectos donde se implementen los SPOC, como método pedagógico. Inicialmente, hemos de matizar que no existen investigaciones previas cuyo objetivo haya sido valorar y analizar los modelos e instrumentos de evaluación implementados en los SPOC. Esto supone una limitación importante para poder contrastar nuestros resultados, con otras investigaciones que puedan corroborar o refutar nuestro estudio.

Los resultados de nuestra investigación arrojan la conclusión de que, según la finalidad de la evaluación, el modelo de evaluación más utilizado es el sumativo, con una frecuencia de nueve registros, seguido de la evaluación formativa y la mixta, donde ambos modelos obtenían dos resultados. Creemos que el hecho de que se utilice más este modelo tiene que ver con los orígenes de los SPOC en los MOOC. Pese al intento por personalizar y desmasificar la formación con los SPOC respecto a los MOOC, a la hora de evaluar ha seguido vigente la consideración de un producto final que sea exponente de los conocimientos, competencias y aprendizajes adquiridos durante la formación. Pese a ello, consideramos que, para ajustarse de forma más idónea al espíritu de los SPOC, con procesos más personalizados e individualizados, se debería apostar por una evaluación formativa o mixta, convirtiéndose en prioritario el seguimiento continuo de los avances y desarrollos del alumnado, pudiendo incorporar la realización de un producto final si se considera preciso y factible para la valoración del desempeño del proceso formativo.

En lo que respecta al momento de recogida de la información, la evaluación inicial junto con la final (ambas modalidades con seis registros), son las más utilizadas, seguida de la evaluación continua presente en cuatro ocasiones. Respecto a la inicial, debemos considerar que los datos al comienzo del curso son de inestimable ayuda para la individualización del SPOC, a la vez que se convierten en un excelente medio para conocer el nivel del alumnado y los intereses de este. Este factor encaja con el sentido y modelo pedagógico de los SPOC que, como antes señalábamos, busca principalmente la individualización de la formación para sus participantes. Por el contrario, la alta presencia de la evaluación final está vinculada a la presencia mayoritaria de la finalidad sumativa de la evaluación, arrastrando componentes de los modelos MOOC sin la consiguiente adaptación y personalización que requieren los SPOC, por lo que su presencia no está justificada pedagógicamente en relación con el modelo, como lo tiene la evaluación inicial. En este sentido, consideramos interesante la incorporación de los tres momentos de recogida de información (inicial, continua y final) para lograr la personalización y adaptación a la que aspira el modelo formativo de los SPOC, conociendo intereses previos, nivel y necesidades; analizando la evolución de los aprendizajes; y comprobando el nivel de desarrollo final adquirido.

En cuanto al agente que interviene en la evaluación, los resultados concluyen que, en los SPOC, la variante más utilizada es la autoevaluación con ocho resultados, seguida de la heteroevaluación y la coevaluación con un resultado por variante. El hecho de que el alumnado autoevalúe su propio proceso de enseñanza revierte en la individualización de la enseñanza, encajando este uso con el espíritu de los SPOC. No obstante, una coevaluación en la que se triangule información (docente, compañeros o el propio estudiante) respecto a unos estándares preestablecidos, con diferentes niveles de consecución, nos permitirá una visión más real del rendimiento y aprendizajes adquiridos.

A continuación, se analizaron los instrumentos de evaluación utilizados en los SPOC, presentando diferentes variantes. Como instrumentos más valorados por el alumnado se encuentran las pruebas de autoevaluación con un feedback. Estas pruebas de autoevaluación se desarrollan de diferentes formas en los SPOC, pudiendo presentar diferentes formatos: cuestionario de autoevaluación con ejercicios finales; cuestionario de autoevaluación con calificaciones mutuas entre alumnos; preguntas tipo test elaboradas por el alumnado del SPOC; y test o cuestionarios para valorar el conocimiento del alumnado con preguntas de opción múltiple, combinadas con preguntas cerradas, a contestar en un tiempo concreto. Como anteriormente se ha señalado, en muchos casos los SPOC se utilizan como complemento de asignaturas en enseñanza superior o al comienzo de un grado, con el fin de complementar o nivelar contenidos entre el alumnado. Por este motivo, consideramos la autoevaluación como un instrumento útil para que el alumnado tome conciencia de sus conocimientos, recibiendo en algunos casos una retroalimentación, lo que redunda en una personalización del proceso formativo en sintonía con el objetivo privatizador de los SPOC. Finalmente, es preciso referirnos a otros instrumentos de evaluación con menor presencia en los SPOC como la entrega de un producto final, una práctica libre o un examen de evaluación, los cuales consideramos como opciones muy interesantes que guardan relación con el espíritu individualizador que persiguen los SPOC. Como hemos señalado, no existen estudios que aborden, de forma específica, los modelos e instrumentos de evaluación en los SPOC, por lo que no podemos comparar este estudio con otros de similar naturaleza con el fin de poder comprobar el porqué de este uso minoritario en estas opciones.

En cuanto a las limitaciones de nuestro estudio, hay que destacar la escasa producción científica de los SPOC por el hecho de su prematura implementación en la educación en el año 2013, siendo uno de los motivos de que la muestra final sea de 16 publicaciones para trabajar el tema de la evaluación en los SPOC. Además de lo señalado, no existen estudios que analicen los modelos e instrumentos de evaluación en los SPOC de forma específica, lo que impide contrastar nuestra investigación con otras semejantes.

Como líneas futuras de investigación proponemos profundizar en el estudio de los modelos e instrumentos de evaluación, partiendo de la propuesta de nuestro estudio como los más adecuados en consonancia con el modelo pedagógico de los SPOC. En este sentido, la propuesta de investigación consistiría en la confección de un SPOC donde se implementasen los modelos e instrumentos de evaluación que se han considerado como más positivos, para analizar posteriormente los resultados y la satisfacción del alumnado del curso en relación con estos.

Baloco Navarro, C.P., & Ricardo Barreto, C.T. (2018). Los MOOC en la educación superior. Saber, ciencia y libertad, 13(2), 250-260.

Cabero Almenara, J. (2015). Visiones educativas sobre los MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18(2), 39-60. https://doi.org/10.5944/ried.18.2.13718

Caturla, E. (2010). Evaluar por competencias. Padres y Maestros / Journal of Parents and Teachers, (329), 14-16.

Colomo, E., & Domínguez, R. (2015). Definiendo Identidades: el “Canciograma” como Herramienta Metodológica de Autoconocimiento. REICE, Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 13(2), 131-146.

Colomo, E., Fernández, J.M., Sánchez, E., & Trujillo, J.M. (2020). SPOC y formación del profesorado: aproximación bibliométrica y pedagógica en Scopus y Web of Science. Revista Electrónica Interuniversitaria de Formación del Profesorado, 23(2), 37-51. https://doi.org/10.6018/reifop.413541

Fu, Y. (2019). A «Maker education + SPOC» teaching model for college political economics courses. International Journal of Emerging Technologies in Learning, 14(3), 139-150. https://doi.org/10.3991/ijet.v14i03.10103

García Barrera, A., Gómez Hernández, P., & Monge López, C. (2017). La atención a la diversidad en los MOOCS: Una propuesta metodológica. Educación XX1: Revista de la Facultad de Educación, 20(2), 215-233. https://doi.org/10.5944/educxx1.19038

González Burgos, E.M., García García, L., Gómez Serranillos Cuadrado, M.P., Garcia Broncano, R., Sieteiglesias Mansilla, V., & Gómez Oliver, F. (2018, junio 7). Creación de un SPOC (Small Private Open Course) colaborativo entre docentes y estudiantes para la mejora del aprendizaje de la Farmacología [Proyecto de Innovación Docente]. https://eprints.ucm.es/47950/

Iño Daza, W. G. (2018). Investigación educativa desde un enfoque cualitativo: La historia oral como método. Voces de la Educación, 3(6), 93-110.

Jong, J.P. (2016). The effect of a blended collaborative learning environment in a small private online course (SPOC): A comparison with a lecture course. Journal of Baltic Science Education, 15(2), 194-203.

Kang, Z., & He, L. (2018). Construction and Practice of SPOC Teaching Mode based on MOOC. International Journal of Emerging Technologies in Learning (IJET), 13(12), 35-49.

López de la Serna, A., Castaño Garrido, C., & Herrero Fernández, D. (2018). Integración de los cursos SPOC en las asignaturas de grado. Una experiencia práctica. Píxel-bit. Revista de Medios y Educación, (52), 139-149. https://doi.org/10.12795/pixelbit.2018.i52.10

López de la Serna, A., & Garrido, C.C. (2018). Estudio de las emociones, el aprendizaje autorregulado y la motivación en un curso SPOC. IJERI: International Journal of Educational Research and Innovation, (10), 299-316.

López de la Serna, A., & Tejada Garitano, E. (2019). Análisis del nivel de aprendizaje autorregulado dentro de un curso SPOC en una asignatura de grado. Hekademos: revista educativa digital, (27), 39-49.

Lu, H. (2018). Construction of SPOC-based Learning Model and its Application in Linguistics Teaching. International Journal of Emerging Technologies in Learning (IJET), 13(02), 157-169.

Mailhes, V., & Raspa, J. (2015). MOOC: De la revolución educativa a la supervivencia. Letra. Imagen. Sonido: Ciudad Mediatizada, (14), 75-91.

Maldonado Gil, L. (2011). ¿En qué consiste evaluar? Pedagogía Magna, (11), 142-149.

Mayorga Fernández, M.J., & Madrid Vivar, D. (2011). Metodología de evaluación de los cursos on line. Revista DIM: Didáctica, Innovación y Multimedia, (20), 1-12.

Mejón, A., Utray, F., & Rodríguez Mateos, D. (2018). Opiniones y propuestas de los estudiantes de Comunicación Audiovisual sobre los SPOC. RIED: revista iberoamericana de educación a distancia, 21(2), 305-324.

Méndez García, C.M. (2013). Diseño e implementación de cursos abiertos masivos en línea (MOOC): Expectativas y consideraciones prácticas. RED: Revista de Educación a Distancia, (39), 4-19.

Nodos y Nudos, R. (2004). ¿Evaluar para mejorar? Nodos y Nudos, 2(17), e 17. https://doi.org/10.17227/01224328.1226

Peñafiel Aguilar, M.G. (2018). Aportaciones para la mejora de la educación virtual en la enseñanza de la ingeniería [Tesis Doctoral]. Universitat d’Alacant, Alicante, España. https://dialnet.unirioja.es/servlet/tesis?codigo=146839

Romero Farfán, L.J. (2007). Concepciones de evaluación y de evaluación docente. Cuadernos de Lingüística Hispánica, (10), 137-148.

Ruiz Bolívar, C. (2015). El MOOC: ¿un modelo alternativo para la educación universitaria? Apertura: Revista de Innovación Educativa, 7(2), 110-131.

Ruiz-Palmero, J., López-Álvarez, D., & Sánchez-Rivas, E. (2021). Revisión de la producción científica sobre MOOC entre 2016 y 2019 a través de SCOPUS. Pixel-Bit, Revista de Medios y Educación, (60), 95-107. https://doi.org/10.12795/pixelbit.77716

Sánchez, E. (2013). De la tiza a la pizarra digital. En J. Sánchez y J. Ruiz (Eds.), Recursos didácticos y tecnológicos en educación (pp. 143-157). Síntesis.

Santamaría Lancho, M. (2014). Moocs y Spocs (Small Private Online Courses): Sus posibilidades para la Formación del Profesorado. Hamut´ay, 1(1), 6-17.

Song, Q.P., Fang, H.G., Teng, Y., & Jiao, B.C. (2016). Analysis and Research about Characteristics of Online Learning Behaviours of SPOC Learners. ITM Web of Conferences, 7, 04011. https://doi.org/10.1051/itmconf/20160704011

Uijl, S., Filius, R., & Ten Cate, O. (2017). Student Interaction in Small Private Online Courses. Medical Science Educator, 27(2), 237-242. https://doi.org/10.1007/s40670-017-0380-x

Utray, F., Mejón, A., & Rodríguez Mateos, D. (2018). Los SPOC en los estudios de Comunicación Audiovisual. Utilidad percibida por los estudiantes para las clases de contenido práctico. En I. Postigo, M.J. Recorder (Coords.), Los y las tics en los estudios de comunicación (pp.209-216). Atic.

Vaysse, C., Chantalat, E., Beyne-Rauzy, O., Morineau, L., Despas, F., Bachaud, J.M., Caunes, N., Poublanc, M., Serrano, E., Bugat, R., Bugat, M.E. R., & Fize, A.L. (2018). The Impact of a Small Private Online Course as a New Approach to Teaching Oncology: Development and Evaluation. JMIR Medical Education, 4(1), e6. https://doi.org/10.2196/mededu.9185

Yu, J. (2019). Analysis and Design of Course Website for Software Testing Based on SPOC. Journal of Physics: Conference Series, 1187(5), 052015. https://doi.org/10.1088/1742-6596/1187/5/052015

Zhang, X.M., Yu, J.Y., Yang, Y., Feng, C.P., Lyu, J., & Xu, S.L. (2019). A flipped classroom method based on a small private online course in physiology. Advances in physiology education, 43(3), 345-349. https://doi.org/10.1152/advan.00143.2018

Zhu, Y., Zhang, W., He, Y., Wen, J., & Li, M. (2018). Design and Implementation of Curriculum Knowledge Ontology-Driven SPOC Flipped Classroom Teaching Model. Educational Sciences: Theory & Practice, 18(5), 1351-1374. https://doi.org/10.12738/estp.2018.5.034