Innoeduca. International Journal of Technology and Educational Innovation
Innoeduca. International
Journal of Technology and Educational Innovation
Vol. 11. No. 1. June 2025 - pp. 169-183 - ISSN: 2444-2925
DOI: https://doi.org/10.24310/ijtei.111.2025.20318

Calidad e innovación del profesorado en educación superior. Validación del cuestionario de opinión mediante ecuaciones estructurales

Quality and innovation of teaching staff in higher education: Validation of the opinion questionnaire using structural equation modeling
RECIBIDO 22/07/2024 ACEPTADO 16/12/2024 PUBLICADO 01/06/2025
orcid
Rafael Barea Colorado
Centro de Estudios Universitarios Cardenal Spínola CEU (Universidad de Sevilla), España
orcid
Carmen Llorente Cejudo
Universidad de Sevilla, España
orcid
Beatriz Hoster Cabo
Centro de Estudios Universitarios Cardenal Spínola CEU (Universidad de Sevilla), España
ABSTRACT
La calidad y la innovación en las instituciones educativas, así como la calidad docente del profesorado, se ha convertido en un elemento esencial y de análisis en la sociedad del siglo XXI por el impacto que tiene el factor docente en los resultados derivados del proceso de enseñanza-aprendizaje. El objetivo de este trabajo se centra en analizar el grado de fiabilidad y validez del Cuestionario de Opinión del Alumnado sobre la Actuación Docente del Profesorado. Este cuestionario ha sido diseñado, de forma estandarizada, por la Oficina General de Calidad de la Universidad de Sevilla, y es utilizado para medir aspectos que tienen que ver con la calidad docente del profesorado en el aula, en todas las titulaciones universitarias de dicha institución. El cuestionario fue administrado a una muestra de 6.692 estudiantes pertenecientes a cinco titulaciones universitarias diferentes. Se emplearon técnicas de análisis factorial exploratorio (AFE) y análisis factorial confirmatorio (AFC), mediante la utilización de ecuaciones estructurales. Los resultados del estudio demuestran, por un lado, la unidimensionalidad del instrumento, así como el alto grado de fiabilidad y validez de este. Esto nos lleva a poder ratificar que el cuestionario empleado es un instrumento válido y fiable para medir la actuación docente del profesorado, teniendo en cuenta la opinión del alumnado. Los resultados obtenidos permiten corroborar el objetivo del estudio de forma que la herramienta empleada para valorar el grado de calidad de la actuación docente del profesorado es adecuada para poder medir la satisfacción docente del profesorado en base a la opinión que los alumnados tienen de la docencia impartida en el aula.

KEY WORDS Evaluación docente; Validación; Ecuaciones estructurales; Cuestionarios; Calidad docente universitaria.

RESUMEN
Quality and innovation in educational institutions, as well as the teaching quality of faculty members, have become essential elements of analysis in 21st-century society due to the impact of the teaching factor on the outcomes of the teaching-learning process. The objective of this study is to analyze the reliability and validity of the Student Opinion Questionnaire on Faculty Teaching Performance. This questionnaire was standardized and designed by the General Quality Office of the University of Seville and is used to assess aspects related to the teaching quality of faculty members in the classroom across all university programs at the institution. The questionnaire was administered to a sample of 6,692 students from five different academic programs. Exploratory Factor Analysis (EFA) and Confirmatory Factor Analysis (CFA) techniques were employed using structural equation modeling. The results of the study demonstrate, on the one hand, the one-dimensionality of the instrument, as well as its high degree of reliability and validity. This allows us to confirm that the questionnaire used is a valid and reliable tool for measuring faculty teaching performance, based on students’ opinions. The results obtained corroborate the study’s objective, confirming that the tool used to evaluate the quality of faculty teaching performance is appropriate for assessing teaching satisfaction based on students’ perceptions of classroom teaching.

PALABRAS CLAVE Teaching evaluation; Validation; Structural equations; Questionnaires; University teaching quality.

1. INTRODUCCIÓN

La calidad y la innovación en las instituciones educativas, en líneas generales y, en particular, la calidad docente del profesorado se ha convertido en un elemento esencial y de análisis en la sociedad del siglo XXI. En este sentido, existen ya diferentes estudios (Ajjawi y Boud, 2017; Aláez et al., 2018; Delgado-López-Cózar, 2022; Elitok y Cavus, 2019; Navarro y Ramírez, 2018) que abordan y respaldan el tema de la importancia de la evaluación institucional de la calidad docente del profesorado universitario como factor fundamental del proceso de aprendizaje del estudiante. A la hora de analizar la calidad del profesorado, hay dos cuestiones fundamentales: el acceso a la profesión docente (ingreso a la formación inicial y su currículo, e incorporación al sistema educativo) y las políticas de formación permanente (Campos Soto et al., 2020; Urkidi et al, 2020; Walton-Fisette y Sutherland, 2020).

En los últimos años, el proceso de habilitación y evaluación del profesorado universitario en España ha evolucionado significativamente, especialmente tras la aprobación del Real Decreto 678/2023, en el que se unifica y simplifica el sistema de acreditación estatal y los concursos de acceso a plazas docentes. Este nuevo marco normativo, alineado con la Ley Orgánica del Sistema Universitario (LOSU), prioriza la evaluación integral de la actividad académica mediante métodos cualitativos y un uso responsable de indicadores cuantitativos. Además, fomenta la inclusión de aspectos como la ciencia abierta y la innovación docente, adaptándose a estándares internacionales para mejorar la calidad del sistema universitario (García-Herrero et al., 2024; Ministerio de Universidades, 2023).

La calidad de la docencia impartida ha adquirido un papel central en estos procesos. Por ejemplo, las universidades integran las encuestas de satisfacción estudiantil como herramienta principal para evaluar aspectos como la planificación, desarrollo y resultados de la actividad docente. Estas encuestas, digitalizadas desde 2018 en algunas instituciones, proporcionan un análisis detallado que influye directamente en la evaluación y mejora continua del profesorado (Universidad de La Rioja, 2024). Paralelamente, el programa ACADEMIA de ANECA implementa una nueva metodología para valorar tanto la trayectoria investigadora como las contribuciones docentes, exigiendo criterios específicos de calidad y relevancia académica (ANECA, 2024).

Estas reformas buscan no solo una mayor transparencia y eficiencia en los procesos de selección y promoción, sino también alinear la producción académica con las necesidades sociales y el desarrollo sostenible, respondiendo a las demandas de un entorno académico cada vez más competitivo y diversificado. Esto refleja un compromiso por integrar la excelencia docente y la innovación en el núcleo de la evaluación del profesorado universitario.

Dentro de los estándares de calidad, uno de especial importancia es el referente a la función docente del profesorado en todo lo que respecta al desempeño de su labor de enseñanza, debiendo siempre tener muy en cuenta que quien ejerce la docencia universitaria es un profesional, pero no necesariamente un profesional de la pedagogía y la didáctica. No es una persona que ha estudiado la carrera de docente. No obstante, cuando este es evaluado, se tienen en cuenta estas dos grandes dimensiones: dominio de los conocimientos que imparte, que tiene que ver con su formación profesional; y dominio de la enseñanza, entendida esta como su aplicación metodológica. Este debe ser un especialista en pedagogía y didáctica, a fin de poder lograr en sus estudiantes nuevos aprendizajes, o identificar las necesidades del alumnado, dando respuesta a las demandas formativas y competenciales que la sociedad actual exige (Montero et al., 2017; Rodríguez et al., 2020). Para lograr enseñanzas de calidad, una de las piezas clave es la profesionalidad y experticia del profesorado universitario que juega un importante papel en el proceso educativo. Sin embargo, en la denominada era digital, el rol del profesor universitario se vuelve complejo, ya que implica la importante tarea de crear las condiciones adecuadas dentro del proceso de enseñanza-aprendizaje, así como de poseer las competencias y habilidades necesarias para ejercer su profesión con eficacia. Esto solo puede lograrse a través de la formación continua que reciban los profesores, la cual les permitirá adquirir y aplicar un conjunto de conocimientos disciplinares y pedagógicos, así como habilidades tecnológicas y didácticas para llevar a cabo su labor docente con excelencia y fortalecer su labor académica (Cervantes Mata, 2020; Rivero Castro y Medeiros Urzua, 2023). Por tanto, es un motivo personal para que desde los centros educativos puedan adecuar la actuación docente del profesorado y por consiguiente su satisfacción en el alumnado en función del grado de uso didáctico y seguro que damos este tipo de dispositivos. Para conseguirlo, se requiere de un profesorado cualificado para abordar el proceso de enseñanza-aprendizaje de los discentes con garantías y, es aquí, donde radica la importancia de conocer más a fondo qué es la Competencia Digital Docente (CDD), y algunos de los diferentes modelos que se han desarrollado para su formación.

En este sentido, y como consecuencia de las adaptaciones realizadas en los planes de estudio al Espacio Europeo de Educación Superior (EEES), se ve necesario llevar a cabo una serie de modificaciones en ellos que requieren de una mejora de la calidad en cuanto a lo que al desarrollo de sus actividades se refiere. Para ello, se ha de utilizar una serie de mecanismos de carácter sistemático que permitan apoyar los procesos de innovación y desarrollo científico-técnico. Estos suponen una serie de cambios a nivel organizativo y pedagógico, pudiendo así favorecer el interés hacia determinados métodos pedagógicos innovadores (Marqués, 2008). En todo este proceso de cambio, se piensa que la valoración que los estudiantes puedan realizar sobre el grado de satisfacción con la calidad docente de la enseñanza universitaria puede resultar un factor esencial que permitiría emprender acciones de mejora encaminadas a efectuar una inversión en reforzar los procesos de calidad docente a través de una serie de acciones formativas que la completen. Para ello, es necesario contar con instrumentos capaces de medir una serie de criterios que vendrán a justificar el análisis de la calidad docente, a través de indicadores tales como: el buen trato en la relación docente-estudiantes, el dominio temático de la materia que se imparte, el método de enseñanza, la puntualidad y la asistencia, y la manera de evaluar los aprendizajes (García Garduño y Medécigo Shej, 2014).

Con ese mismo propósito, Muñoz et al. (2002) realizaron una revisión sobre los distintos instrumentos y dimensiones que se estaban utilizando en universidades con el objetivo de poder diseñar una herramienta de 40 indicadores, distribuidos en 10 dimensiones (cumplimiento con las obligaciones, infraestructuras, programa, conocimiento, interrelación con la materia, metodología, materiales, actitud del docente, evaluación, prácticas y satisfacción de los colectivos implicados). En la misma línea, Molero López-Barajas y Ruiz Carrascosa (2005) diseñan un cuestionario de evaluación compuesto por 25 ítems agrupados en tan solo cuatro dimensiones (Interacción con el alumnado, Metodología, Obligaciones docentes y evaluación, Medios y recursos), para evaluar la docencia universitaria en la Universidad de Jaén. Posteriormente, González López y López Cobo (2010) a través de su estudio, tratan de establecer la tipología de competencias docentes que las universidades españolas consideran vitales a la hora de definir el rol de un eficaz docente universitario, y establecen así un sistema de 40 indicadores destinados a evaluar el grado de calidad docente universitaria.

Posteriormente, autores como Pozo Muñoz et al. (2011) realizaron un estudio consistente en la realización de una revisión por comunidades autónomas en las que se llevaba a cabo la evaluación de la actividad docente del profesorado a través del modelo DOCENTIA, donde explicaron la adaptación realizada por Pozo Muñoz et al. (2009) en la universidad de Almería con la única finalidad de crear un marco común de evaluación del profesorado que pudiera servir de referencia para ser utilizado en el resto de universidades andaluzas, introduciendo en este modelo aspectos de innovación y mejora que pudieran contribuir a dotar de mayor calidad la enseñanza universitaria.

Por ello, y a pesar de las distintas evaluaciones que a lo largo de los tiempos se han venido utilizando, y cuyas finalidades han sido diferentes y variadas teniendo como origen instituciones diversas, señalar que todas han tenido como marco central al estudiante, tomándolo como referencia y punto de partida en todo lo concerniente a la evaluación del profesorado (Clayson, 2009; García Berro et al., 2011; González López y López Cobo, 2010; Harvey, 2003; Jiménez et al., 1999; Mat Dau y Abu Kassim, 2011).

Llevar a cabo una evaluación del profesorado y, más concretamente, la evaluación de la calidad docente de la enseñanza implica adoptar una técnica para su análisis. En este sentido, son diferentes los estudios que avalan que la técnica más empleada para realizar esta práctica es el cuestionario (López Cámara et al., 2015). Los defensores de esta propuesta vienen a argumentar que el alumnado es el más fiel observador de la enseñanza (Tejedor y García-Valcárcel, 1996), son los que reciben la enseñanza y, por tanto, los que van a conocer de primera mano qué es lo que ocurre dentro del aula (Álvarez et al., 1999; Mateo, 2000), así como que la calidad de la docencia impartida en el aula está íntimamente relacionada con la evaluación que los estudiantes realizan de esta (De-Juanas Oliva y Beltrán Llera, 2013).

Aunque existen universidades que se apoyan en un mismo modelo de evaluación de la docencia, no debemos olvidar que la evaluación de esta debe ser concebida como un proceso abierto, holístico, en continuo cambio y en perfeccionamiento; es decir, un proceso formativo adaptado al contexto en el que se va a desarrollar. A pesar de que, tras muchas revisiones no existe consenso sobre cuáles son los mejores indicadores para medir el impacto de la calidad docente del profesorado (Dorta González y Dorta González, 2012), lo que sí parece que está claro es que las encuestas utilizadas para medir la opinión del alumnado, en cuanto al grado de calidad docente universitaria, pueden tener un efecto positivo y no coercitivo, siendo beneficiosas en la actividad docente del profesorado (García Berro et al., 2011).

Teniendo en cuenta todo lo anteriormente reseñado, y sabiendo que el cuestionario es considerado como un instrumento que pretende cuantificar características en las que no hay respuestas correctas o incorrectas, como ocurre en la medición de atributos relacionados con actitudes, opiniones, intereses o disposiciones (Levy y Varela, 2003), este estudio se ha centrado en medir la fiabilidad y la validez de un instrumento destinado a establecer el grado de satisfacción del alumnado con la actuación docente del profesorado universitario, o lo que es lo mismo, el nivel de calidad de la enseñanza impartida por el docente en el aula universitaria.

2. MATERIAL Y MÉTODO

Se plantea el objetivo principal del estudio en base a: Validar y analizar la fiabilidad del instrumento de evaluación “Cuestionario de Opinión del Alumnado sobre la Actuación Docente del Profesorado” (ver Anexo I).

2.1. Población y Muestra

Para la selección de la muestra se optó por un muestreo no probabilístico o dirigido, en donde la elección de los elementos no depende de la probabilidad, sino de causas relacionadas con las características de la investigación o los propósitos del investigador (Hernández-Sampieri et al., 2014).

Con 6.679 participantes en una población de 6.692 alumnos y alumnas, se asegura el 99,8% de dicha población. Conjuntamente, se obtiene un margen de error del <1%, con un nivel de confianza del 95%.

El estudio toma como población objeto de análisis los 6.692 estudiantes a los que se tuvo acceso, de los cuales, solo 6.679 respondieron íntegramente el cuestionario del estudio, con la siguiente distribución: 2.371 (35,5%) pertenecían a los estudios de Grado en Educación Primaria, 2.157 (32,3%) a los de Infantil, 886 (13,3%) a los de Ciencias de la Actividad Física y del Deporte, 456 (6,8%) a Derecho, y 806 (12,1%) al Máster Universitario en Profesorado de Enseñanza Secundaria Obligatoria y Bachillerato, Formación Profesional y Enseñanza de Idiomas (MAES). Hay que apuntar que, de los 6.679 que respondieron el cuestionario, 1.193 (20,3%) eran hombres y 4.686 (79,7%) mujeres, con una media de edad de entre 18 y 23 años.

En cuanto al perfil de los alumnos seleccionados nos centraremos para definirlo en dos criterios significativos. Por un lado, la asistencia a clase, donde la gran mayoría del alumnado afirma asistir a clase más del 75% de las horas lectivas (89%), seguido de los que acuden a las aulas entre un 51-75% (7,1%) y, por último, los que van entre un 26-50% (2,1%) y menos del 25% (1,8%). Como segundo criterio, se optó por el interés que los participantes manifiestan hacia las asignaturas, resultando bastante (40,3%), seguido de los que les interesan mucho (33,4%) y, por último, aquellos cuyo interés por estas es algo (22,6%) o nada (3,7%).

2.2. Instrumento de recogida de datos

Para la obtención de los datos se ha utilizado el instrumento denominado Cuestionario de Opinión del Alumnado sobre la Actuación Docente del Profesorado (Anexo I). Cada ítem se mide en una escala Likert de 5 intervalos, donde 1 representa el valor mínimo de acuerdo y 5 el máximo. Además, existe la opción de No Sabe “NS” destinada a cuando un sujeto no tiene suficiente información sobre el enunciado o considera que no procede responder. Dicha herramienta viene definida en el manual de calidad de la Universidad, y es de obligada aplicación para todas las titulaciones que se imparten en la misma, quedando exenta de modificación y adaptación por parte de los centros o titulaciones.

El cuestionario consta de dos partes, una primera parte destinada a recoger datos tales como profesor, título y asignatura a evaluar y aspectos sociodemográficos de los participantes: género, edad, curso más alto y bajo en el que se encuentra matriculado, interés por la asignatura, grado de dificultad y porcentaje de asistencia a clase y tutorías del docente objeto de evaluación. Dichos datos pueden utilizarse para una descripción de la muestra que permita estudiar su posible influencia sobre otras variables del cuestionario. Esto se complementa con la segunda parte del cuestionario, en la que se presentan los 18 ítems para evaluar la actuación docente del profesorado, en base a la opinión del alumnado (tabla 1), junto a una pequeña introducción en la que se describen las premisas esenciales y las indicaciones de cumplimentación del cuestionario.

Los ítems se encuentran agrupados bajo una única dimensión, en la que de forma descriptiva y secuencial se encuentran enunciados, sin seguir ningún tipo de orden, todos los aspectos que hacen referencia a la óptima actuación docente del profesorado en el aula.

TABLA 1. Descripción de los ítems del cuestionario

Dimensión Ítems Descriptor M (μ) DT (σ)
Opinión del alumnado sobre la actuación docente del profesorado 1 Me ha dado orientaciones para conocer el proyecto docente de la asignatura 4.06 .768
2 Su docencia se ajusta a la planificación prevista en el proyecto docente 4.45 .675
3 Me atiende adecuadamente en tutorías 4.31 .702
4 Su horario de tutorías es adecuado 4.49 .670
5 La bibliografía y demás material docente recomendado me están resultando útiles para el seguimiento de la asignatura 4.16 .794
6 Su docencia está bien organizada 4.16 .731
7 Los medios que utiliza para impartir su docencia son adecuados 4.32 .675
8 La bibliografía y demás material docente recomendado están a disposición de los estudiantes 4.44 .997
9 Explica con claridad 3.94 .974
10 Se interesa por el grado de comprensión de sus explicaciones 3.61 .997
11 Expone ejemplos para poner en práctica los contenidos de la asignatura 3.67 .968
12 Resuelven las dudas que se plantean 4.05 .763
13 Fomenta un clima de trabajo y participación 4.16 .794
14 Motiva a los/las estudiantes para que se interesen por la asignatura 4.44 .731
15 Trata con respeto a los/las estudiantes 4.48 .620
16 Su docencia me está ayudando a alcanzar los objetivos de la asignatura 3.92 .976
17 Los criterios y sistemas de evaluación me parecen adecuados 4.48 .615
18 En general, estoy satisfecho/a con la actuación docente desarrollada por este/a profesor/a 4.43 .701

2.3. Procedimiento de recogida y análisis de datos

El cuestionario se ha administrado en formato digital, a través de la plataforma de calidad de la que dispone el centro universitario en el que se ha llevado a cabo el estudio. El acceso a la misma por parte del alumnado se lleva a cabo a través de un enlace web o de código Qr que se les ha proporcionado por el evaluador. La aplicación del cuestionario se lleva a cabo en dos momentos a lo largo del curso, coincidiendo con la finalización de la docencia en cada uno de los cuatrimestres, y anterior a la realización de las pruebas de evaluación correspondiente a la convocatoria final, de forma que los resultados no se vean influidos por las calificaciones obtenidas en cada una de las materias/profesores objeto de evaluación. En cada una de las administraciones, por parte del evaluador, se le explicó al alumnado la finalidad de esta y se le pidió su colaboración de forma veraz. En todo momento se ha asegurado el anonimato de todos los participantes y la adecuada custodia de los resultados.

La fiabilidad, validez discriminante y validez convergente del cuestionario se han calculado aplicando los coeficientes: alfa de Cronbach, omega de McDonald, fiabilidad compuesta (CR), varianza media extractada (AVE) y varianza máxima compartida (MSV). Complementariamente, y con la finalidad de comparar estos resultados, se ha utilizado el método de análisis inferencial entre ítems y dimensiones. Para ello, se ha empleado la técnica de análisis correlacional bivariado por medio del coeficiente de correlación p de Spearman. A su vez, la validez del constructo de la prueba se ha obtenido mediante un análisis factorial exploratorio (AFE), utilizando el método de componentes principales. A su vez, debemos tener en cuenta que se ha utilizado un análisis factorial exploratorio (AFE) con idea de determinar la validez del constructo de la prueba. El método utilizado para la selección de los factores es el método de componentes principales. Los factores obtenidos son rotados utilizando el método de Varimax con normalización Kaiser. Una vez extraído el número de factores, utilizaremos un análisis factorial confirmatorio (AFC), con idea de “confirmar” mediante el análisis de la muestra las relaciones propuestas a partir de la teoría explicativa que se haya decidido utilizar como referencia y a través del cual comprobaremos si las medidas teóricas del modelo son consistentes a través del modelado de diagramas y uso de ecuaciones estructurales (Ruiz Díaz et al., 2010), o lo que es lo mismo, vendremos a verificar si los datos obtenidos se ajustan al modelo de medición hipotético planteado a través del análisis factorial exploratorio. Teniendo en cuenta lo anterior y el concepto de “ajuste”, procedemos a utilizar el modelo de mínimos cuadrados ponderados (WLS), con idea de proporcionar las estimaciones consistentes en muestras que no se ajustan a los criterios de normalidad (Ruiz Díaz et al., 2010). Para ello hemos optado por utilizar el programa informático Amos, capaz de establecer relaciones complejas hipotéticas entre variables, usando un modelo de ecuaciones estructurales (SEM). Simultáneamente, se ha procedido a comprobar que los datos no se distribuyen normalmente a través de un estudio descriptivo en el que se ha tenido en cuenta la asimetría y la curtosis.

3. RESULTADOS

La fiabilidad del Cuestionario de Opinión del Alumnado sobre la Actuación Docente del Profesorado se ha calculado a través del coeficiente de alfa de Cronbach de forma global, para su dimensión. Los resultados muestran un índice de alfa de Cronbach de .9 para el cuestionario.

Tanto para la prueba de alfa de Cronbach como para la omega de McDonald se establece un índice de fiabilidad bastante alto (>.988), lo que hace indicar que el cuestionario posee un alto índice de fiabilidad (O´Dwyer y Bernauer, 2014) ya que sus valores superan .7 (Lévy Mangin et al., 2006). En la tabla 2 se presenta el índice de fiabilidad del cuestionario para la dimensión establecida. Conjuntamente a todo esto, se calculan los coeficientes de fiabilidad compuesta (CR), varianza media extractada (AVE) y varianza máxima compartida (MSV), aunque no lo utilizaremos de mucho de nuestro estudio, ya que nuestro cuestionario es unidimensional. Tanto los resultados como los valores de referencia tomados para el ajuste del modelo se muestran en la tabla 2 (Hair et al., 2010).

TABLA 2. Validez convergente y discriminante del modelo

Dimensión CR Ajuste AVE Ajuste MSV Ajuste
A .988 CR>.7 .829 AVE>.5 .658 MSV<AVE

Fuente: elaboración propia

Todas las cifras obtenidas son los valores de referencia. Por tanto, y aunque el cuestionario sea unidimensional, estos datos nos hacen ver la fiabilidad el modelo (CR), así como su validez convergente (AVE) y discriminante (MSV). A continuación, se procede a realizar el análisis correlacional simple de cada ítem, en la única dimensión del cuestionario. Los resultados quedan expuestos en la tabla 3.

TABLA 3. Correlación de los ítems en la dimensión asociada del cuestionario

Ítems Valor Dimensión
1 .81
2 .83
3 .83
4 .81
5 .84
6 .86
7 .88
8 .81
9 .88
10 .89
11 .87
12 .87
13 .87
14 .88
15 .69
16 .91
17 .85
18 .92

Fuente: elaboración propia

Todos los valores extraídos son superiores a .81, excepto el correspondiente al ítem 15, que expresa un valor de .69. Aun así, todos los ítems se encuentran integrados en su única dimensión (Carmines y Zeller, 1979).

Estos resultados posteriormente fueron contrastados a partir del coeficiente omega de McDonald, calculados a partir de los pesos factoriales de la matriz de componente rotado de forma global. El resultado obtenido en dicha prueba viene a corroborar la fiabilidad obtenida con anterioridad, dando un resultado de .988 en el coeficiente omega de McDonald.

La validez del constructo de la prueba la hemos obtenido a través de la realización de un análisis factorial exploratorio (tabla 4). El modelo teórico extraído en el análisis factorial exploratorio (AFE) ha sido contrastado mediante la realización de un análisis factorial confirmatorio (AFC). En la figura 1 se representa el diagrama estructural planteado, en el que se puede observar los índices de correlación existente entre ítem y dimensión.

Las cargas factoriales de las dimensiones se sitúan entre .69 y .92, resultados que demuestran que existe un alto grado de correlación entre cada uno de los ítems y la única dimensión de la que se compone el cuestionario.

TABLA 4. Matriz de componente rotado

Ítems Valor Dimensión
1 .898
2 .910
3 .873
4 .861
5 .917
6 .917
7 .923
8 .899
9 .914
10 .940
11 .924
12 .930
13 .927
14 .922
15 .846
16 .932
17 .908
18 .944

Fuente: elaboración propia

La tabla 5 muestra los valores obtenidos y de referencia para el ajuste del modelo según Levy Mangin et al. (2006): chi-cuadrado (CMIN), Índice de bondad de ajuste (GFI), índice de bondad de ajuste parsimónico (PGFI), índice de ajuste normalizado (NFI) e índice de ajuste parsimónico normalizado (PNFI).

FIGURA 1. Theoretical Framework of Grammarly in ELT Classroom

Theoretical Framework of Grammarly in ELT Classroom

TABLE 5. Índices de ajuste

Índice Resultado Ajuste
CMIN CMIN<500
GFI GFI>.7
PGFI PGFI>.7
NFI NFI>.7
PNFI PNFI>.7

Fuente: elaboración propia

4. DISCUSIÓN Y CONCLUSIONES

En este estudio se ha analizado cuál es la validez confirmatoria del Cuestionario de Opinión del Alumnado sobre la Actuación Docente del Profesorado.

En este sentido, cabría destacar, tal como apunta Arranz Val, (2007) que la sociedad reclama con mayor insistencia que las universidades funcionen en base a una serie de criterios, los cuales se encuentren vinculados con la eficacia, la eficiencia y la excelencia. Con lo que el objetivo fundamental de la investigación estuvo centrado en validar el instrumento diseñado por la Unidad General de Calidad de la Universidad de Sevilla, para verificar que permite evaluar la intervención del docente universitario en cada una de sus asignaturas. Para ello, y teniendo en cuenta la finalidad del instrumento, parece importante apoyarnos en procesos de evaluación de las metodologías que den respuesta, por tanto, a las necesidades educativas y profesionales, generadas por la implantación del actual EEES.

La validación de instrumento de medida de la calidad docente del profesorado permitirá a las instituciones educativas ser un elemento clave para optimizar el funcionamiento de la actuación docente del profesorado, así como de su propia intervención, permitiendo así poder llevar a cabo una valoración objetiva de los resultados (García Ramos y Congosto Luna, 2000).

Todo ello resulta de vital importancia si tenemos en cuenta que la evaluación de la enseñanza realizada por los estudiantes (Students´evaluations of teaching SET) es utilizada, en la mayoría de las universidades de todo el mundo, como una medida de calidad docente, de manera que los resultados de las evaluaciones de las valoraciones del alumnado sobre la actuación docente del profesorado ofrecen un feedback al docente para mejorar su enseñanza (Balam y Shannon, 2010).

La validación del cuestionario nos permitirá contar con un instrumento que dará la posibilidad de valorar la intervención docente del profesorado universitario, de forma que los resultados obtenidos en las evaluaciones realizadas por el alumnado podrían ser de gran utilidad para los docentes, proporcionando datos objetivos. Por ello, resulta de vital importancia que se tengan en cuenta tanto los aspectos relacionados con el proceso de aplicación del instrumento, como el uso que a posteriori se hace de los resultados, resultando necesario que tras su aplicación haya un proceso de retroalimentación hacia las partes implicadas (Hattie, 2008; Leung et al., 2013; Muñiz y Fonseca-Pedrero, 2008). Por ello, se entiende siempre este como una estrategia que permita mejorar la calidad de la enseñanza, implicando en ella a los estudiantes y permitiendo así orientar la actividad docente (Padilla Carmona y Gil Flores, 2008). Todo optimizando la calidad docente universitaria y pudiendo así alcanzar una evaluación más formativa (Moore et al., 2012).

Tras los diferentes análisis realizados, se ha estimado que el cuestionario presenta unas adecuadas propiedades psicométricas que le dan validez para la valoración de la actuación docente universitaria, se obtiene una buena consistencia interna, con un valor mayor a .70 y menor o igual a .95 (.988), lo que hace que garantiza el alto índice de fiabilidad del instrumento, comprobando la validez del modelo y comprobando la estructura confirmatoria de este.

Por este motivo, la robustez científica del instrumento lo convierte en idóneo para:

Todo ello debe ser reforzado con aspectos donde, además del criterio del alumnado, se tengan en cuenta otro tipo de valoraciones, como son: las autoevaluaciones del propio profesorado, informes de evaluadores externos a la institución, compañeros de trabajo, etc., consiguiendo así que la evaluación docente llevada a cabo se complemente y tenga un valor más integral. Es así como se podrá llevar a cabo una evaluación más rica y valiosa que facilitará, a la propia institución educativa en general, y al docente en particular, reorientar, en caso de necesidad, su acción educativa a través de la propuesta de planes de mejora.

Por último, hay que apuntar que la principal limitación del cuestionario radica en la limitación de la muestra, y en que la misma ha sido reclutada en un mismo centro universitario, aunque en distintas titulaciones de Grado y Máster. Por ello, para futuras investigaciones, puede resultar interesante replicar el estudio en otras titulaciones pertenecientes a otras universidades, a nivel autonómico y nacional. Asimismo, resaltar que es significativo que, en los tiempos actuales, no se concibe en el actual contexto que la herramienta analizada que evalúa al profesorado no advierta de una dimensión o concepto de análisis que contemple la competencia digital docente.

5. REFERENCIAS

Agencia Nacional de Evaluación de la Calidad y Acreditación. (2024). Programa ACADEMIA: Procedimiento de acreditación para el acceso a los cuerpos docentes universitarios. https://www.aneca.es/procedimiento-de-acreditación-2024

Ajjawi, R., & Boud, D. (2017). Researching feedback dialogue: an interactional analysis approach. Assessment & Evaluation in Higher Education, 42(2), 252-265. https://doi.org/10.1080/02602938.2015.1102863

Aláez, M., García-Olalla, A., García-Feijoo, M., y Eizaguirre, A. (2018). Evaluación de la calidad docente en una facultad de derecho. Revista de Educación y Derecho, 17, 1-28. https://doi.org/10.1344/REYD2018.17.23482

Álvarez, V., García, E., y Gil, J. (1999). Características de la docencia mejor evaluada por los alumnos en las diferentes áreas de enseñanza universitaria. Revista Española de Pedagogía, 214, 445-464.

Arranz Val, P. (2007). Los sistemas de garantía de calidad en la educación superior en España. Propuesta de un modelo de acreditación para las titulaciones de grado en empresa. Servicio de Publicaciones, Universidad de Burgos. https://doi.org/10.36443/10259/78

Balam, E. M., & Shannon, D. M. (2010). Student ratings of college teaching: A comparison of faculty and their students. Assessment & Evaluation in Higher Education, 35(2), 209-221. https://doi.org/10.1080/02602930902795901

Campos Soto, N., Ramos Navas-Parejo, M., y Moreno Guerrero, A.J. (2020). Realidad virtual y motivación en el contexto educativo: Estudio bibliométrico de los últimos veinte años de Scopus. Alteridad, 15(1), 47-60. https://doi.org/10.17163/alt.v15n1.2020.04

Carmines, E., y Zeller, R. (1979). Reliability and validity assessment. Thousand Oaks. SAGE Publications.

Cervantes Mata, C.M. (2020). El nuevo rol del profesor universitario en la etapa postcovid: formación y desarrollo de competencias docentes. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 14(28), e617. https://doi.org/10.23913/ride.v14i28.1804

Clayson, D. E. (2009). Student Evaluations of Teaching: Are They Related to What Students Learn?: A Meta-Analysis and Review of Literature. Journal of Marketing Education, 31(1), 16-30. https://doi.org/10.1177/0273475308324086

De-Juanas Oliva, Á., y Beltrán Llera, J. A. (2013). Valoraciones de los estudiantes de ciencias de la educación sobre la calidad de la docencia universitaria. Educación XX1, 17(1), 59-82. https://doi.org/10.5944/educxx1.17.1.10705

Delgado-López-Cózar, E. (2022). Ante la reforma del sistema español de evaluación académica: recordando el pasado para no errar en el presente. Anuario ThinkEPI, 16. https://doi.org/10.3145/thinkepi.2022.e16a37

Dorta González M. I., y Dorta González, P. (2012). Evaluación de la actividad docente universitaria considerando la percepción que los estudiantes tienen de sus compañeros. Revista Iberoamericana de Evaluación Educativa, 5(2), 147-159. https://doi.org/10.15366/riee2012.5.2.010

Elitok, A., & Cavus, B. (2019). University Life Quality and Impact Areas. Universal Journal of Educational Research, 7(6), 1376-1386. https://doi.org/10.13189/ujer.2019.070605

García Berro, E., Colom Pastor, X., Martínez Solanas, É., Sallarés, J., y Roca Martín, S. (2011). La encuesta al alumnado en la evaluación de la actividad docente del profesorado. Aula abierta, 39(3), 3-14.

García-Herrero, M., Rodríguez-Conde, M.J., y Martínez-Abad, F. (2024). Factores de calidad docente asociados a la equidad educativa: formación del profesorado y estrategias docentes. Revista Electrónica Interuniversitaria de Formación del Profesorado, 27(1), 75-88. https://doi.org/10.6018/reifop.595181

García Ramos, J. M., y Congosto Luna, E. (2000). Evaluación y calidad del profesorado. En T. González Ramírez (Coord.). Evaluación y gestión de la calidad educativa: un enfoque metodológico (pp. 127-158). Aljibe.

García Garduño, J. y Medécigo Shej, A. (2014). Los criterios que emplean los estudiantes universitarios para evaluar la ineficacia docente de sus profesores. Perfiles Educativos, 36(143), 124-139. https://doi.org/10.1016/S0185-2698(14)70613-0

González López, I., y López Cobo, I. (2010). Validación y propuesta de un modelo de indicadores de evaluación de la calidad en la universidad. Revista Iberoamericana de Educación, 53(6), 1-13. https://doi.org/10.35362/rie5361706

Hair, J., Black, W., Babin, B., y Anderson, R. (2010). Multivariate data analysis. Prentice-Hall.

Harvey, L. (2003). Student feedback. Quality in Higher Education, 9 (1), 3-20. https://doi.org/10.1080/13538320308164

Hattie, J. (2008). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. Routledge. https://doi.org/10.4324/9780203887332

Hernández-Sampieri, R., Fernández-Collado, C., y Baptista-Lucio, P. (2014). Metodología de la Investigación. McGraw-Hill.

Jiménez, B., Bordas, I., Coronel, J.M., Domínguez, G., Gairin, J.; Pio, A., Santos, M.A., Tejada, J. (1999). Evaluación de programas, centros y profesores. Síntesis.

Leung, X. Y., Jiang, L., & Busser, J. (2013). Online student evaluations of hospitality professors: A cross-cultural comparison. Journal of Hospitality, Leisure, Sport & Tourism Education, 12(1), 36-46. https://doi.org/10.1016/j.jhlste.2012.10.001

Levy, J.P., y Varela, J. (2003). Análisis multivariante para las ciencias sociales. Pearson.

Lévy Mangin, J.-P., Varela Mallou, J., Abad González, J., y Ábalo Piñeiro, J. (2006). Modelización con estructuras de covarianzas en Ciencias Sociales: Temas esenciales, avanzados y aportaciones especiales. Netbiblo.

López Cámara, A. B., González-López, I., y León-Huertas, C. de. (2015). Un análisis factorial exploratorio para la construcción de un modelo de indicadores de evaluación docente universitaria. Culture and Education, 27(2), 351-364. https://doi.org/10.1080/11356405.2015.1035546

Mat Daud, N., y Abu Kassim, N. L. (2011). Examining student rating of teaching effectiveness using FACETS. Journal of Applied Measurement, 12(2), 135-143.

Marqués, R. (2008). Profesores/as motivados/as. Un liderazgo positivo promueve el bienestar docente. Narcea.

Mateo, J. (2000). La evaluación del profesorado y la gestión de la calidad de la educación. Hacia un modelo comprensivo de evaluación sistemática de la docencia. Revista de Investigación Educativa18(1), 7–34. https://revistas.um.es/rie/article/view/121451

Ministerio de Universidades. (2023). Real Decreto 678/2023, de 18 de julio, por el que se regula la acreditación estatal para el acceso a los cuerpos docentes universitarios y el régimen de los concursos de acceso a plazas de dichos cuerpos. Boletín Oficial del Estado, 213, de 6 de septiembre de 2023. https://www.boe.es/eli/es/rd/2023/07/18/678

Molero López-Barajas, D., y Ruiz Carrascosa, J. (2005). La evaluación de la docencia universitaria. Dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57-84.

Montero, L., Triviño, X., Dois, A., Sirhan, M., y Leiva, L. (2017). Percepción de los académicos del rol docente del médico. Investigación en Educación Médica, 6(23), 198-205. https://doi.org/10.1016/j.riem.2017.01.001

Moore, S., Walsh, G., y Rísquez, A. (2012). Estrategias eficaces para enseñar en la Universidad. Guía para docentes comprometidos. Narcea.

Muñiz, J., y Fonseca-Pedrero, E. (2008). Construcción de instrumentos de medida para la evaluación universitaria. Revista de investigación en educación, 5(1), 13-25.

Muñoz Cantero, J. M., Ríos de Deus, M. P., y Abalde, E. (2002). Evaluación Docente vs. Evaluación de la Calidad. Revista Electrónica de Investigación y Evaluación Educativa, 8(2), 103-134.

Pozo Muñoz, C., Giménez Torres, M. L., y Bretones Nieto, B. (2009). La evaluación de la calidad docente en el nuevo marco del EEES. Un estudio sobre la encuesta de opinión del Programa DOCENTIA-ANDALUCÍA. http://hdl.handle.net/10272/4905

Navarro C., y Ramírez, M.S. (2018). Mapeo sistemático de la literatura sobre evaluación docente (2013-2017). Educaçao e Pesquisa , 44, e185677. https://doi.org/10.1590/S1678-4634201844185677

O’Dwyer, L., y Bernauer, J. (2014). Quantitative research for the qualitative researcher. Sage publications. https://doi.org/10.4135/9781506335674

Padilla Carmona, M. T., y Gil Flores, J. (2008). La evaluación orientada al aprendizaje en la Educación Superior: condiciones y estrategias para su aplicación a la Docencia Universitaria. Revista Española de Pedagogía, 66(241), 467-485.

Pozo Muñoz, C., Bretones Nieto, B., Martos Méndez, M. J., y Alonso Morillejo, E. (2011). Evaluación de la actividad docente en el Espacio Europeo de Educación Superior: un estudio comparativo de indicadores de calidad en universidades europeas. Revista Española de Pedagogía, 69(248), 145-163.

Rivero Castro, M.R., y Medeiros, M.P. (2023). ¿Calidad en la Formación Inicial Docente?: Análisis de los nuevos Estándares de la Profesión Docente para carreras de Pedagogía. Perspectiva Educacional, 62(3), 3-26. http://dx.doi.org/10.4151/07189729-vol.62-iss.3-art.1248  

Rodríguez Torres, A.F., Rodríguez Alvear, J.C., Arias Moreno, E.R. (2020). El profesorado universitario novel en shock: propuesta de mejora revista sistemática. Revista Educare, 24(1), 245-269. https://doi.org/10.46498/reduipb.v24i1.1245

Ruiz Díaz, M. A., Pardo Merino, A., y San Martín Castellanos, R. (2010). Modelos de ecuaciones estructurales. Papeles del Psicólogo, 31(1), 34-45.

Tejedor, F. J., y García-Valcárcel, A. (1996). La evaluación de la calidad de la docencia universitaria en el marco de la evaluación institucional desde la perspectiva del alumno. En F.J. Tejedor y J.L. Rodríguez Diéguez (Coords.), Evaluación educativa II: Evaluación institucional fundamentos teóricos y aplicaciones prácticas (pp. 93-122). IUCE.

Universidad de La Rioja, (2024). Encuestas de satisfacción de los estudiantes con la actividad docente del profesorado. Oficina de Calidad y Evaluación. https://www.unirioja.es/administracion-y-servicios/oficina-de-calidad-y-evaluacion/evaluacion-y-calidad-del-profesorado/

Urkidi, P., Losada, D., López, V., y Yuste, R. (2020). El Acceso a la Formación Inicial del Profesorado y la Mejora de la Calidad Docente. Revista Complutense de Educación, 31 (3), 353-364. https://doi.org/10.5209/rced.63476

Walton-Fisette, J. L., & Sutherland, S. (2020). Time to Shape Up: Developing Policies, Standards and Practices That Are Socially Just. Physical Education and Sport Pedagogy, 25(3), 274-287. https://doi.org/10.1080/17408989.2020.1741531

6. ANEXO

Código: H5-E1 EVALUCIÓN Y MEJORA DE LA CALIDAD DE LA ENSEÑANZA Y EL PROFESORADO: CUESTIONARIO DE OPINIÓN DE LOS ESTUDIANTES SOBRE LA ACTUACIÓN DOCENTE DEL PROFESORADO Versión: 1 Fecha:
Cuestionario de opinión del alumnado sobre la actuación docente del profesorado

Profesor/a:
Asignatura:
Titulación:

Sexo: Hombre Mujer
Edad Decena 1 2 3 4 5 6 7 8 9
Unidad 1 2 3 4 5 6 7 8 9 0
                   
Curso más alto en el que está matriculado
Curso más bajo en el que está matriculado
           
La asignatura me interesa: Nada Algo Bastante Mucho
       
El grado de dificultad de esta asignatura es: Bajo Medio Alto Muy alto
       
Asisto a clase: Menos del 25% 26-50% 51-75% Más del 75%
       
A la Atención de Alumnos de este profesor he asistido: Ninguna vez Una vez 2-3 veces Más de 3 veces
       
A continuación, le presentamos una serie de cuestiones relativas a la docencia de este/a profesor/a en esta asignatura. Su colaboración es necesaria y consiste en señalar en la escala de respuesta su grado de acuerdo con cada una de las afirmaciones, teniendo en cuenta que 1 significa el menor grado de acuerdo y 5 significa el mayor grado de acuerdo. Si no tiene suficiente información sobre el enunciado o considera que no procede, marque la opción NS.

1. Me ha dado orientaciones para conocer el proyecto docente de la asignatura 1 2 3 4 5 NS
             
2. Su docencia se ajusta a la planificación prevista en el proyecto docente 1 2 3 4 5 NS
             
3. Me atiende adecuadamente en la hora de Atención a Alumnos 1 2 3 4 5 NS
             
4. Cumple adecuadamente el horario de Atención a Alumnos 1 2 3 4 5 NS
             
5. La bibliografía y demás material docente recomendado me están resultando útiles para el seguimiento de la asignatura 1 2 3 4 5 NS
             
6. Su docencia está bien organizada 1 2 3 4 5 NS
             
7. Los medios que utiliza para impartir su docencia son adecuados 1 2 3 4 5 NS
             
8. La bibliografía y demás material docente recomendado están a disposición de los estudiantes 1 2 3 4 5 NS
             
9. Explica con claridad 1 2 3 4 5 NS
             
10. Se interesa por el grado de comprensión de sus explicaciones 1 2 3 4 5 NS
             
11. Expone ejemplos para poner en práctica los contenidos de la asignatura 1 2 3 4 5 NS
             
12. Resuelve las dudas que se le plantean 1 2 3 4 5 NS
             
13. Fomenta un clima de trabajo y participación 1 2 3 4 5 NS
             
14. Motiva a los/las estudiantes para que se interesen por la asignatura 1 2 3 4 5 NS
             
15. Trata con respeto a los/las estudiantes 1 2 3 4 5 NS
             
16. Su docencia me está ayudando a alcanzar los objetivos de la asignatura 1 2 3 4 5 NS
             
17. Los criterios y sistemas de evaluación me parecen adecuados 1 2 3 4 5 NS
             
18. En general, estoy satisfecho/a con la actuación docente desarrollada por este/a profesor/a 1 2 3 4 5 NS