Idrovo-Alvarado, V.A. y Martínez-Romera, D.D.
(2021). Usabilidad y satisfacción del uso
de e-Rúbricas en la Actividad Tutorial del Área
de Urgencias.
Revista Practicum, 6(2), 16-34.
https://doi.org/10.24310/RevPracticumrep.v6i2.12615
Verónica-Alexandra Idrovo-Alvarado
Universidad Católica Santiago de Guayaquil (Ecuador)
vidrovo@gmail.com
Daniel-David Martínez-Romera
Universidad de Málaga (España)
ddmartinez@uma.es
La formación pediátrica actual apuesta por un modelo de aprendizaje autónomo y práctico. Lo que deriva en la necesidad de contar con instrumentos de seguimiento, comunicación y evaluación aplicables a dicho escenario. El objetivo de este trabajo es comprobar si la rúbrica digital puede servir a tal efecto así como la percepción discente que dicha innovación introduce. Se plantea un estudio de caso sobre 12 posgradistas de Pediatría durante sus prácticas profesionales en el área de Urgencias de un Hospital. La herramienta utilizada fue Co-Rubric, con la que se elaboraron cuestionarios de autoevaluación y una evaluación final, previamente validados por el juicio de 10 expertos. Los resultados obtenidos indican que los discentes percibieron la innovación como una experiencia muy positiva, mientras que desde la perspectiva docente se valoró la capacidad del instrumento no sólo para evaluar sino también para retroalimentar él proceso.
Current paediatric training is based on a model of autonomous and practical learning. This leads to the need for monitoring, communication and assessment tools applicable to this scenario. The aim of this paper is to check whether the digital rubric can be used for this purpose, as well as the student perception that this innovation introduces. A case study of 12 postgraduates in paediatrics during their professional practice in the emergency department of a hospital is proposed. The tool used was Co-Rubric, self-evaluation questionnaires and a final evaluation were elaborated with this tool, previously validated by the judgement of 10 experts. The results obtained indicate that the students perceived the innovation as a very positive experience, while from the teaching perspective, the capacity of the instrument not only to evaluate but also to provide feedback on the process was valued.
Evaluación formativa, innovación pedagógica, rúbricas, periodo de prácticas, análisis de ítem.
Formative evaluation, educational innovation, rubrics, practices, item analysis.
La Universidad Católica Santiago de Guayaquil y su Posgrado de Pediatría, con sede en el Hospital de niños Dr. Roberto Gilbert, propone un modelo de aprendizaje con énfasis en el desarrollo global y autónomo del Médico Residente, potenciando la adquisición de competencias académicas y profesionales, desarrollando determinadas destrezas instrumentales e interpersonales (Al-Wardy, 2010; De la Cruz y Abreu, 2014). Estas competencias van a convertirse en un elemento clave de su aprendizaje profesional, logrando el dominio de la especialidad al incorporar habilidades variadas y enriquecedoras, que invitan a estudiar diferentes estrategias metodológicas para su evaluación (Durades et al., 2014; Andolsek, 2015).
En este contexto, las rúbricas o matrices de valoración, ya sea en texto sobre papel, o electrónicas (e-Rúbricas), se vuelven instrumentos esenciales en la evaluación formativa, dado que definen criterios y estándares que miden el progreso de una tarea, tanto para evaluar, como para tutorizar las competencias de los estudiantes (Hafner y Hafner, 2003; Reddy y Andrade, 2010; Cebrián de la Serna y Bergman, 2014).
Muchos trabajos definen y analizan el impacto de las rúbricas en la enseñanza en diversas áreas, y desde el ámbito de la enseñanza de la salud existen propuestas específicas como el trabajo de Dickinson y Adams (2017) y su metodología de evaluación nacional para la salud pública y comunitaria; así como, el impacto en el desarrollo de la argumentación y razonamiento clínico hipotético deductivo en los trabajos de Cano et al. (2017).
En cualquier ámbito y área de formación profesional, las rúbricas son indispensables en el proceso de enseñanza-aprendizaje porque además de definir y explicar a los estudiantes lo que el tutor espera que aprendan, constan de criterios claros y objetivos sobre la forma cómo va a ser valorado su trabajo, determinando los progresos en las competencias propias de cada nivel de Residencia, es decir, conocer lo que le falta por superar, y lo que ha superado (Epstein, 2007; Raposo y Martínez, 2011; Barrientos y López, 2015).
Durante este proceso es necesario que se propicie la retroalimentación entre docentes y estudiantes, la cual se inicia desde la comprensión del proceso de evaluación como tal, mediante el diálogo permanente entre los participantes acerca de los indicadores de una rúbrica de calidad, criterios y su aplicación a las evidencias planteadas (Ramos, 2010; Cebrián-de la Serna et al., 2014). En otras palabras, se requiere determinar las evidencias de éxito del aprendizaje, indicadores de las competencias que le servirán en sus contextos profesionales, convirtiéndose en actores de su propio método de aprendizaje de forma duradera y autorregulada (García-García et al., 2010; Montiela, 2011; Panadero y Jonsson, 2013; Lima-Rodríguez et al., 2015), en el convencimiento de la correlación producida entre las estrategias de autorregulación y el rendimiento académico (Heinze et al., 2017).
Debido a la limitada experiencia con el uso de este instrumento a nivel de Posgrados en Ciencias de la Salud, y más aún en Pediatría, existen pocos estudios que se pueden extrapolar a la evaluación de competencias específicas en el área de Urgencias. Así tenemos el estudio de Lima et al. (2015) quienes desarrollaron un sistema de evaluación de competencias en prácticas clínicas de enfermeras mediante rúbricas validadas, concluyendo que facilitan el proceso de aprendizaje y evaluación. A esto se suma que la preparación como docentes de los profesionales médicos dedicados a la Educación superior también es limitada, y el acceso a las nuevas tecnologías que favorecen el proceso de evaluación suele ser básico (García et al., 2014), como lo demuestra un estudio de Reddy y Andrade (2010), podría surgir resistencia al uso de las rúbricas electrónicas debido a la percepción que tendrían los instructores que hay necesidad de una gran inversión de tiempo y esfuerzo (Raposo y Sarceda, 2008; UNESCO, 2009; Pérez et al., 2011; Correa, 2012; Labarca et al., 2014; Heinze et al., 2017).
Un instrumento diseñado para realizar evaluaciones objetivas, y validado por especialistas, brinda información relevante para los tutores del desarrollo de la formación de los posgradistas, y para éstos una evidencia clara del grado de adquisición de sus competencias, básicas y transversales (Epstein et al., 2002; Gatica y Uribarren, 2013), entre las cuales se ha dado prioridad a la comunicación, toma de decisiones, procesamiento y organización de la información, trabajo en equipo, liderazgo, búsqueda y análisis de la información del Informe SCANS (Secretary’s Commission on Achieving Necessary Skills, 1990) y del Curso de Apoyo Vital Avanzado Pediátrico de la AHA. (Miller, 1990; Field et al., 2006; Carraccio et al., 2008; Kleinman, et al., 2010; Durante et al., 2011).
Teniendo en cuenta lo anterior, la presente investigación se articula en torno al siguiente objetivo general: comprobar si el uso de rúbricas digitales es útil para el seguimiento, la comunicación y la evaluación de los posgradistas de Pediatría de la Universidad la Universidad Católica de Santiago de Guayaquil, durante el desarrollo de sus prácticas profesionales en el área de Urgencias del Hospital Roberto Gilbert. Dicho objetivo general contempla comprobar si la propuesta tiene usabilidad y satisfacción (objetivo 1), la utilidad docente (objetivo 2) y la percepción discente (objetivo 3) en un escenario real de formación médica.
A tal efecto se plantea una pequeña secuencia de trabajo:
Del universo constituido por los 63 postgradistas de Pediatría de la Universidad Católica, con sede en el Hospital de Niños Dr. Roberto Gilbert Elizalde, se trabajó sobre una muestra dirigida. Ésta se formó con 12 posgradistas de primer y tercer año que se encuentran realizando su rotación mensual en el área de Urgencias durante sus labores asistenciales.
El grupo piloto estuvo constituido por un 67% de Residentes de primer año (R1) y un 33% de residentes de tercer año (R3). El 67% de los Residentes fueron del género femenino y 33% del género masculino, con una edad promedio de 30 años, con una mínima de 26 años y máxima de 35 años.
La selección no se basó en métodos estadísticos (Hernández et al., 2014), siguiendo los principios éticos de la Declaración de Helsinki (2019), y contó con la aprobación de la Comisión Académica de la Maestría de Educación Superior e Innovación Educativa con fecha 26 de agosto del 2016, aplicando el consentimiento informado a cada participante y guardando la confidencialidad y el anonimato.
El diseño de rúbrica propuesto para los discentes se recoge en la Tabla 1, y tiene por objeto evaluar las competencias que deben alcanzar en su labor asistencial en la Sala de Urgencias.
Tabla 1. Competencias de la Rúbrica. Fuente: Elaboración propia.
|
Competencias |
Definición conceptual |
Indicadores |
Escala
|
Fuente |
|
Competencia: Comunicación efectiva en el abordaje del paciente y familiar |
Habilidad para dirigirse con empatía a los pacientes y familiares, respetando autonomía, creencias y cultura, para obtener y registrar datos clínicos relevantes y proporcionar información veraz en lenguaje comprensible |
- Se presenta con respeto e interés. - Obtiene y registra datos relevantes. - Proporciona información veraz y comprensible |
Puntaje de 1 a 3 donde 1 corresponde a novato, 2 a principiante avanzado y 3 a competente. |
Durante I., Martínez A., Morales S., Lozano J., y Sánchez M., (2011). Educación por competencias: de estudiante a médico. Revista de Facultad de Medicina de la UNAM, 54(6), 42-50. |
|
Competencia: Juicio clínico orientado al diagnóstico y tratamiento |
Habilidad para jerarquizar atención y ejecutar tratamientos congruentes, utilizando los auxiliares diagnósticos orientados a la patología |
- Jerarquiza atención y procedimientos. - Propone y ejecuta tratamientos congruentes. - Reevalúa y resume las actividades. |
Puntaje de 1 a 3 donde 1 corresponde a novato, 2 a principiante avanzado y 3 a competente. |
Durante I., Martínez A., Morales S., Lozano J., y Sánchez M.,(2011). Educación por competencias: de estudiante a médico. Revista de Facultad de Medicina de la UNAM, 54(6), 42-50. |
|
Competencia: Trabajo en equipo y liderazgo |
Habilidad para asignar funciones y transmitir mensajes claros a los miembros del equipo, compartiendo el conocimiento |
- Liderazgo efectivo. - Circuito cerrado de comunicación - Comparte el conocimiento
|
Puntaje de 1 a 3 donde 1 corresponde a novato, 2 a principiante avanzado y 3 a competente. |
Field, J. M., Gonzales, L., Hazinski, M. F., & Ruple, J. (2006). Advanced cardiovascular life support: provider manual (pp. 51-62). AHA |
|
Competencia: Aprendizaje autónomo |
Habilidad para participar activamente en la visita clínica con intervenciones constructivas basadas en bibliografía y lecturas críticas |
-Participa en la visita con intervenciones constructivas - Revisa bibliografía basada en la mejor evidencia. |
Puntaje de 1 a 3 donde 1 corresponde a novato, 2 a principiante avanzado y 3 a competente. |
Durante I., Martínez A., Morales S., Lozano J. (2011). Educación por competencias: de estudiante a médico. Revista de Facultad de Medicina de la UNAM, 54(6), 42-50. |
El uso de una herramienta de evaluación en línea como la e-Rúbrica, en el proceso de enseñanza-aprendizaje, va a depender de la simplicidad del manejo y de las TIC que la soportan, por lo que es fundamental determinar la Usabilidad, mediante la calidad de la experiencia de los usuarios durante la interacción con la misma, así como la influencia en el desempeño de los posgradistas, mediante la determinación de la Percepción de Utilidad (Gallego y Raposo, 2014; Serrano Angulo y Cebrián Robles, 2014; Martiañez et al., 2015; Pérez-Torregrosa et al., 2017). Por este motivo ha sido necesario tabular con precisión las variables consideradas (Tabla 2).
Tabla 2. Operacionalización de las variables. Fuente: Elaboración propia.
|
Variable |
Definición Conceptual |
Indicadores |
Escala |
Fuente |
|
Usabilidad y satisfacción |
Variable de estudio mediante la cual los posgradistas evalúan si una herramienta logra efectividad, eficiencia y satisfacción en determinado contexto de uso desde la perspectiva técnica de su diseño, accesibilidad y simplicidad de manejo |
- Eficiencia - Efectividad - Satisfacción: · Facilidad de uso · Organización de la información Clasificación · Apariencia visual · Contenido · Recuperación de errores
|
Puntuación de 1 a 5 para cada enunciado, donde 1 es completamente en desacuerdo y 5 totalmente de acuerdo |
Serrano Angulo, J., y Cebrián Robles, D. (2014). Usabilidad y satisfacción de la e-Rúbrica. REDU. Revista de Docencia Universitaria, 12(1), 177-195.
|
|
Percepción de Utilidad de la rúbrica |
Variable de estudio donde los posgradistas realizan una evaluación global de la e-Rúbrica en un contexto educativo que representa la apreciación de su potencial aprovechamiento para los fines que fue elaborado |
- Características de la rúbrica. - Modalidad de evaluación. - Proceso de evaluación. - Repercusión para el aprendizaje. |
Puntuación de 1 a 4 para cada enunciado, donde 1 es totalmente en desacuerdo y 4 totalmente de acuerdo |
Gallego-Arrufat, M. J., & Raposo-Rivas, M. (2014). Compromiso del estudiante y percepción del proceso evaluador basado en rúbricas. REDU. Revista de Docencia Universitaria, 12(1), 197-215. |
La valoración de la usabilidad y satisfacción de los usuarios con respecto a la herramienta e-Rúbrica, desde la perspectiva del diseño, accesibilidad y simplicidad del manejo se realizó mediante el instrumento en línea anónimo, denominado SUSE por sus siglas en inglés Satisfaction and Usability of Software in Education de Serrano y Cebrián (2014). Este instrumento consta de 22 enunciados utilizando una escala de Likert del 1 al 5, donde 1 es totalmente en desacuerdo y 5 totalmente de acuerdo.
El cuestionario fue validado en un trabajo preliminar de Martínez y Raposo (2011), en base a consulta de expertos y una prueba piloto, alcanzando una fiabilidad con un coeficiente Alfa de Cronbach de 0.814 y consta de 11 ítems que recogen la experiencia del trabajo con e-Rúbricas.
Siguiendo las directrices marcadas allí, se calculó el nivel de significancia del consenso de expertos a través del coeficiente de concordancia W de Kendall (0.97), que mide el grado de asociación entre conjuntos de rangos. Además, se calculó el porcentaje de coincidencia de las evaluaciones mediante el índice de validez de Contenido (IVC) de cada ítem y el índice de validez de Contenido General (IVCG) de Lawshe (1975).
Aunque el cuestionario de percepción de utilidad está validado con un valor Alfa de Cronbach de 0,814, se utilizó este estadístico en contexto específico, obteniéndose un valor de 0.831, con una positiva Percepción de Utilidad de los estudiantes hacia la rúbrica (Tabla 3).
Tabla 3. Confiabilidad de la encuesta de Usabilidad mediante Alfa de Cronbach. Fuente: Elaboración propia.
|
Estadísticos de fiabilidad |
|
|
Alfa de Cronbach |
N de elementos |
|
,831 |
11 |
Para valorar la percepción de utilidad se utilizó el instrumento elaborado por Gallego y Raposo (2014) creado especialmente para tal objetivo. Este cuestionario incluye la valoración de la experiencia por parte de los estudiantes en cuanto a la percepción de utilidad de la Rúbrica desde múltiples puntos de vista mediante las variables: utilidad, grado de acuerdo e interés. Además, valora características de la rúbrica y su repercusión en el aprendizaje.
Para determinar el nivel de consistencia interna y la confiabilidad de la rúbrica, se calculó el coeficiente Alfa de Cronbach en base a los resultados del pilotaje, con las valoraciones otorgadas por los estudiantes en la autoevaluación y por el tutor, para determinar que los ítems miden el constructo y están correlacionados (Hernández et al., 2014).
El valor obtenido fue de 0.889, en base a los resultados del pilotaje con las valoraciones otorgadas por el tutor y las autoevaluaciones para determinar si los ítems de la rúbrica miden el constructo para el que fue elaborado. Finalmente, se realizó un análisis descriptivo de los resultados obtenidos de la autoevaluación y la evaluación del tutor, y las diferencias entre los resultados de los 2 niveles de residentes.
El objetivo del pilotaje fue determinar si la rúbrica evalúa de manera adecuada las competencias durante sus desempeños auténticos, además analizar si los resultados confirman que la rúbrica mide lo que pretende medir. Para lograr este objetivo, los posgradistas conocieron al inicio de su rotación asistencial los criterios de evaluación plasmados en la rúbrica electrónica, a través de la aplicación Co-Rubric, un servicio web gratuito con acceso mediante correo electrónico, Facebook o Google+.
Al inicio del curso se presentó la e-Rúbrica validada por expertos, a los Posgradistas a través de la aplicación federada Co-Rubric (http://corubric.com/) de Gtea© Virtual (Globalización, Tecnología, Educación y Aprendizaje) de la Universidad de Málaga.
Este programa interactivo permite la evaluación rápida y retroalimentación inmediata, promoviendo la autoevaluación y monitoreo de sus avances, es decir, una evaluación auténtica con procesamiento casi inmediato de sus calificaciones (Andrade y Du, 2005; Gatica y Uribarren, 2013).
La presentación y aprendizaje de uso se realizó a partir de la propia rúbrica a utilizar, de modo que se garantizase que los posgradistas conocieran las competencias y los indicadores por los cuales iban a ser evaluados. Solo entonces iniciaron la atención de los pacientes de Urgencias siguiendo estos lineamientos, durante el mes que duraron sus actividades asistenciales.
La aplicación de la rúbrica de autoevaluación se realizó en dos momentos concretos, a los quince y treinta días de iniciada la rotación asistencial. Con objeto no sólo de recabar datos si no para que también conocieran su avance formativo, mediante la retroalimentación con el Tutor. Al finalizar el mes de actividades asistenciales se realizó la evaluación final, a cargo del tutor/investigador de Urgencias utilizando la e-Rúbrica.
Posteriormente se les solicitó a los posgradistas acceder al Instrumento SUSE de usabilidad y satisfacción y a la encuesta de percepción de utilidad del uso de la e-Rúbrica a través de formularios de Google online.
En el procesamiento de datos y análisis descriptivo se utilizaron los programas Excel e IBM SPSS Statistics versión 22, tanto para las puntuaciones obtenidas del juicio de expertos en cada uno de los ítems de la rúbrica elaborada, según las categorías de Suficiencia, Claridad, Coherencia y Relevancia.
Para medir la consistencia interna de los resultados de las encuestas utilizando los instrumentos SUSE y Percepción de Utilidad, se utilizó el coeficiente de fiabilidad calculado con el Alfa de Cronbach, además se determinaron medidas de tendencia central y dispersión de cada pregunta.
Con respecto a la validez del instrumento, mediante el dictamen de 10 expertos, se obtuvo que el índice de Validez de Contenido General (IVCG), aplicado de forma individual, arrojó un valor promedio 0.97. Por tanto se trata de un diseño muy adecuado.
El consenso entre los expertos evaluadores para determinar si los ítems deben formar parte del instrumento, se calculó con el coeficiente W de Kendall en todas las categorías, obteniéndose un coeficiente de 0,32 en la categoría de Suficiencia; 0,00 en Claridad y 0,38 en Coherencia y Relevancia.
Para la determinación de la confiabilidad y consistencia interna del instrumento se calculó el coeficiente Alfa de Cronbach con los resultados de las evaluaciones del tutor y las dos autoevaluaciones de los posgradistas, obteniéndose un Alfa de Cronbach de 0.604.
Respecto a la percepción discente de la innovación, la media de calificación de todos los ítems de la encuesta de Usabilidad y Satisfacción fue de 4.243 con 1,087 de desviación típica, con una mínima de 3,167 y una máxima de 4,833.
La valoración de la experiencia por parte de los discentes fue muy positiva, ya que incluso considerando las situaciones límite que introduce la desviación típica (1,087), se está siempre en valores positivos o muy positivos de consideración. También es posible discernir dónde se produjeron las mayores dificultades en el desarrollo de la experiencia, lo que se identifica claramente con puntuaciones más modestas en los ítems correspondientes. Destacan aquí las dificultades de carácter técnico, la necesidad de asistencia o dificultades de interacción con el interfaz. El conjunto de valoraciones se presenta en la Tabla 4.
Tabla 4. Media y desviación típica de las puntuaciones de la encuesta de Usabilidad. Fuente: Elaboración propia.
|
Estadísticos de los elementos |
|||
|
|
Media |
Desviación típica |
N |
|
Fue fácil de usar |
4,750 |
,6216 |
12 |
|
No aparecieron incompatibilidades que me dificultaron el manejo |
3,833 |
1,6422 |
12 |
|
La aplicación me resultó agradable |
4,833 |
,3892 |
12 |
|
No fue agotador utilizar la aplicación |
3,833 |
1,7495 |
12 |
|
Se puede usar sin necesidad de explicaciones previas |
4,000 |
1,2060 |
12 |
|
No me resultó complicada la edición |
4,333 |
1,2309 |
12 |
|
Me resultó motivador trabajar con la aplicación |
4,833 |
,3892 |
12 |
|
NO Hubiera preferido usar otra aplicación conocida en lugar de ésta |
4,583 |
,9962 |
12 |
|
No me desorienté en ningún momento con la aplicación |
4,083 |
1,1645 |
12 |
|
Las escalas del menú son claras |
4,583 |
,6686 |
12 |
|
Necesité poco tiempo para manejarla |
4,750 |
,4523 |
12 |
|
No he necesitado ayuda para acceder |
3,583 |
1,5050 |
12 |
|
No me encontré con problemas técnicos |
3,500 |
1,5076 |
12 |
|
Las opciones de la aplicación fueron las esperadas |
4,667 |
,4924 |
12 |
|
No me resultó muy laborioso hacer algo con la aplicación |
4,250 |
1,4222 |
12 |
|
En ningún momento tuve pánico |
4,167 |
1,5275 |
12 |
|
En caso de necesidad volvería a usar la aplicación en el futuro |
4,583 |
,7930 |
12 |
|
No Encontré opciones difíciles de interpretar |
4,250 |
1,2154 |
12 |
|
No Requerí ayuda de un experto |
3,750 |
1,5448 |
12 |
|
El diseño gráfico no es pobre |
3,167 |
1,5275 |
12 |
|
Recomendaría la aplicación a otras personas |
4,667 |
,6513 |
12 |
|
El tiempo respuesta en la interacción es rápido |
4,333 |
1,2309 |
12 |
|
Media |
4,243 |
1,087 |
|
El análisis de frecuencias de la Tabla 5 muestra que la mayoría de los ítems alcanzaron las puntuaciones de 4 y 5 (de acuerdo y totalmente de acuerdo), con porcentajes por arriba del 50%, para la máxima puntuación de 5 en todos los ítems, excepto en: “Se puede usar sin necesidad de explicaciones previas”, “No he necesitado ayuda para acceder”, “No me encontré con problemas técnicos” con un 41.7% y “El diseño gráfico no es pobre”, con un 33,3%.
Tabla 5. Porcentajes de acuerdo a la escala de puntuación de la encuesta de Usabilidad. Fuente: Elaboración propia.
|
Estadísticos de los elementos |
Valores |
||||
|
1 |
2 |
3 |
4 |
5 |
|
|
Fue fácil de usar |
|
|
8,3 |
8,3 |
83,3 |
|
No aparecieron incompatibilidades que me dificultaron el manejo |
16.7 |
8,3 |
8,3 |
8,3 |
58,3 |
|
La aplicación me resultó agradable |
|
|
|
16,7 |
83,3 |
|
No fue agotador utilizar la aplicación |
16,7 |
16,7 |
|
|
66,7 |
|
Se puede usar sin necesidad de explicaciones previas |
8,3 |
|
16,7 |
33,3 |
41,7 |
|
No me resultó complicada la edición |
|
16,7 |
8,3 |
|
75,0 |
|
Me resultó motivador trabajar con la aplicación |
|
16,7 |
|
|
83,3 |
|
NO Hubiera preferido usar otra aplicación conocida en lugar de ésta |
|
8,3 |
8,3 |
|
83,3 |
|
No me desorienté en ningún momento con la aplicación |
|
16,7 |
8,3 |
25,0 |
50,0 |
|
Las escalas del menú son claras |
|
|
8,3 |
25,0 |
66,7 |
|
Necesité poco tiempo para manejarla |
|
|
|
25,0 |
75,0 |
|
No he necesitado ayuda para acceder |
8,3 |
25,0 |
8,3 |
16,7 |
41,7 |
|
No me encontré con problemas técnicos |
8,3 |
25,0 |
16,7 |
8,3 |
41,7 |
|
Las opciones de la aplicación fueron las esperadas |
|
|
|
33,3 |
66,7 |
|
No me resultó muy laborioso hacer algo con la aplicación |
8,3 |
8,3 |
8,3 |
|
75,0 |
|
En ningún momento tuve pánico |
8,3 |
16,3 |
|
|
75,0 |
|
En caso de necesidad volvería a usar la aplicación en el futuro |
|
|
16,7 |
8,3 |
75,0 |
|
No Encontré opciones difíciles de interpretar |
|
16,7 |
8,3 |
8,3 |
66,7 |
|
No Requerí ayuda de un experto |
8,3 |
25,0 |
|
16,7 |
50,0 |
|
El diseño gráfico no es pobre |
8,3 |
41,7 |
8,3 |
8,3 |
33,3 |
|
Recomendaría la aplicación a otras personas |
|
|
8,3 |
16,7 |
75,0 |
|
El tiempo respuesta en la interacción es rápido |
|
16,7 |
8,3 |
|
75,0 |
Respecto a la percepción discente, como se observa en la Tabla 6, la media de puntuación en la encuesta de Percepción de utilidad fue de 3,841 con una desviación típica de 0,385, con una mínima de 3,667 y máxima de 4.
Tabla 6. Media y desviación típica de las puntuaciones de la encuesta de Percepción de Utilidad. Fuente: Elaboración propia.
|
Estadísticos de los elementos |
|||
|
|
Media |
Desviación típica |
N |
|
La e-Rúbrica permite dar a conocer lo que se espera |
3,917 |
,2887 |
12 |
|
La rúbrica permite constatar el nivel de competencia adquirida |
3,667 |
,4924 |
12 |
|
La rúbrica permite evaluar a los compañeros |
3,667 |
,6513 |
12 |
|
La rúbrica permite una evaluación más objetiva |
3,750 |
,4523 |
12 |
|
La rúbrica obliga al profesor a clarificar sus criterios de evaluación |
3,917 |
,2887 |
12 |
|
La rúbrica muestra cómo seremos evaluados |
4,000 |
|
12 |
|
La rúbrica evidencia el trabajo realizado |
3,833 |
,5774 |
12 |
|
La rúbrica proporciona retroalimentación del desarrollo del trabajo |
3,917 |
,2887 |
12 |
|
La rúbrica nos ayuda a comprender las cualidades que el trabajo debe poseer |
3,917 |
,2887 |
12 |
|
La e-Rúbrica permite autoevaluarnos |
3,917 |
,2887 |
12 |
|
La e-Rúbrica permite evaluar a todos los grupos por igual |
3,750 |
,6216 |
12 |
|
Media |
3,841 |
,3853 |
|
En la Tabla 7 de frecuencias, se observa que por arriba del 90% de los posgradistas puntuaron con la máxima calificación de 4 a los ítems del formulario de percepción de utilidad, excepto en los ítems “la rúbrica permite constatar el nivel de competencia adquirida”, “la rúbrica permite evaluar a los compañeros” y “la rúbrica permite una evaluación más objetiva”, con un 66, 75 y 75% de total acuerdo, lo que nos indica una elevada utilidad percibida con su uso, destacándose sobre todo en la pregunta: “la rúbrica muestra cómo seremos evaluados” con un acuerdo del 100%.
Tabla 7. Porcentajes de acuerdo a la escala de la encuesta de Percepción de Utilidad. Fuente: Elaboración propia.
|
Estadísticos de los elementos |
Valores |
||
|
2 |
3 |
4 |
|
|
La e-Rúbrica permite dar a conocer lo que se espera |
|
8,4 |
91,6 |
|
La rúbrica permite constatar el nivel de competencia adquirida |
|
33,4 |
66,6 |
|
La rúbrica permite evaluar a los compañeros |
8,4 |
16,6 |
75,0 |
|
La rúbrica permite una evaluación más objetiva |
|
25,0 |
75,0 |
|
La rúbrica obliga al profesor a clarificar sus criterios de evaluación |
|
8,4 |
91,6 |
|
La rúbrica muestra como seremos evaluados |
|
|
100 |
|
La rúbrica evidencia el trabajo realizado |
|
8,4 |
91,6 |
|
La rúbrica proporciona retroalimentación del desarrollo del trabajo |
|
8,4 |
91,6 |
|
La rúbrica nos ayuda a comprender las cualidades que el trabajo debe poseer |
|
8,4 |
91,6 |
|
La e-Rúbrica permite autoevaluarnos |
|
8,4 |
91,6 |
|
La e-Rúbrica permite evaluar a todos los grupos por igual |
8,4 |
8,4 |
83,3 |
Respecto al primer objetivo, la usabilidad y satisfacción de la rúbrica, el análisis de los resultados de la encuesta revela que la mayoría de los posgradistas califican con los puntajes más altos de la escala a todas las preguntas de la encuesta, relacionadas al uso de la plataforma Co-Rubric, sobre todo en los aspectos de facilidad de uso sin necesidad de conocimientos previos y que la aplicación les resultó agradable, al igual que el estudio de Serrano y Cebrián (2014), que revela que mientras menos exigencias impliquen estas herramientas en línea y más accesibles resulten permitirán desenvolverse con libertad y seguridad. Por lo que puede considerarse usable este instrumento en la evaluación de competencias incorporando las TIC, evaluando la experiencia desde varios puntos de vista para determinar si se ajusta a sus expectativas, como los estudios de Gallego y Raposo (2014).
Respecto al segundo objetivo, la utilidad docente, el instrumento se mostró eficaz respecto a los tres elementos de interés que se debían considerar desde esta perspectiva. Permitió el seguimiento formativo en el tiempo, facilitó el proceso de evaluación y sirvió como vehículo de comunicación y orientación con los discentes. Se contó así con la posibilidad de trasladar indicaciones específicas en términos curriculares e individualizadas, algo que no habría sido posible en la misma medida con los planteamiento tutoriales en uso.
En relación al tercer objetivo, la percepción discente, se obtuvieron unos resultados muy positivos acerca de su propio desempeño en base a criterios pre-establecidos, poniendo en evidencia el grado en el que van adquiriendo las competencias, como lo afirman los trabajos de investigación educativa de Reddy y Andrade (2010); Martínez y Raposo (2011) y Cebrián-de la Serna, (2014). Los posgradistas manifiestan una elevada percepción de utilidad con la autoevaluación realizada, donde se muestra suficiente evidencia sobre la eficacia de las rúbricas para valorar no solo el producto final sino el proceso de aprendizaje en sí, reflexionando en las competencias adquiridas (Pérez-Torregrosa et al., 2017).
Además, entre otros hallazgos se evidenció concordancia entre la autoevaluación y la evaluación del tutor, sin mayor dispersión entre las calificaciones, y no se encontraron diferencias entre los niveles de residencia. Es decir, el factor experiencia no influyó en esta población al momento de utilizar los criterios específicos y preestablecidos de la e-rúbrica, a diferencia de lo que observaron Hsu y Macías (2010) con el uso de la rúbrica, quienes encontraron diferencias al momento de utilizar la misma rúbrica en residentes con avanzados años de entrenamiento.
Entre las limitaciones del estudio piloto encontramos que haberlo realizado con una muestra pequeña, no probabilística, no seleccionada por ningún método estadístico, sino de forma dirigida con los posgradistas que se encontraban realizando su rotación en el área de Urgencias, no permite generalizar los resultados, ni es representativa de toda la población de Residentes de Pediatría.
De igual manera, el haber realizado la prueba piloto con una muestra pequeña, pese al uso de pruebas estadísticas adecuadas para medir la consistencia interna y confiabilidad como lo es el coeficiente Alfa de Cronbach, los resultados no alcanzaron la expectativa esperada.
Uno de los elementos que se desea recomendar para futuras investigaciones es la pertinencia futura de esta línea de investigación, cuyo objeto pivota en torno al desarrollo de la argumentación integrada de conocimientos en contextos clínicos, en los que incluso es posible introducir el razonamiento hipotético-deductivo (Cano, et al., 2017).
La rúbrica validada y con un valor Alfa de Cronbach suficiente, puede ser utilizada en futuras investigaciones con el resto de tutores del área de Urgencias y con un número mayor de posgradistas, para promover el enfoque de evaluación centrada en el estudiante, lo que podría mejorar el índice de consistencia y confiabilidad.
Además de utilizar esta rúbrica electrónica como instrumento de autoevaluación y evaluación por el tutor, podría utilizarse para co-evaluación entre los mismos posgradistas, desarrollando habilidades metacognitivas al emitir juicios críticos acerca del trabajo de los compañeros y de los resultados de aprendizajes de sus pares en condiciones similares, como lo expresan Cebrián et al. (2014).
Una vez familiarizados con este proceso de evaluación se sugiere que se realicen evaluaciones a mitad del período para favorecer la retroalimentación y la evaluación formativa, como lo expresa Carrillo de la Peña et al. (2009). Incluso podría involucrarse a los Residentes en el desarrollo mismo de la rúbrica, lo cual va a permitir una mejor comprensión de los criterios específicos y mejorar sus valoraciones personales, como lo expresa García-Ros (2011).
Se evidenció concordancia entre la autoevaluación y la evaluación del tutor, sin mayor dispersión entre las calificaciones y no se encontraron diferencias entre los niveles de residencia.
Los estudiantes manifestaron una percepción de utilidad elevada acerca de su propio desempeño en base a criterios pre establecidos en la encuesta, poniendo en evidencia el grado en el que van adquiriendo las competencias.
La mayoría de los posgradistas califican con los puntajes más altos de la escala a todas las preguntas de la encuesta, relacionadas al uso de la plataforma Co-Rubric, sobre todo en los aspectos de facilidad de uso sin necesidad de conocimientos previos y que la aplicación les resultó agradable, por lo que puede considerarse usable este instrumento en la evaluación de competencias incorporando las TIC.
Al-Wardy, N. M. (2010). Assessment methods in undergraduate medical education. Sultan Qaboos University Medical Journal, 10(2), 204-209. https://bit.ly/2Gnux7m
Andolsek, K. M. (2015). Chasing perfection and catching excellence in graduate medical education. Academic Medicine, 90(9), 1191-1195. http://dx.doi.org/10.1097/acm.0000000000000844
Andrade, H. L. y Du, Y. (2005). Student perspectives on rubric-referenced assessment. Educational & Counseling Psychology Faculty Scholarship, 10(3), 1-11.
Barrientos, E. y López, V. (2015). La evaluación formativa en Educación Superior. Revista del CIEG, 21, 272-284.
Boerner, K. E., Coulombe, J. A. y Corkum, P. (2015). Core competencies for health professionals’ training in pediatric behavioral sleep care: a Delphi study. Behavioral sleep medicine, 13(4), 265-284.
Cano, L., De Sarmiento, M., Encizo, S. y Bernal, G. (2017). El uso de las rúbricas en el desarrollo del razonamiento hipotético-deductivo en estudiantes de medicina en una universidad colombiana. Entramados: Educación Y Sociedad, 185–200. https://bit.ly/2Z7Uejw
Carraccio, C. L., Benson, B. J., Nixon, L. J. y Derstine, P. L. (2008). From the educational bench to the clinical bedside: translating the Dreyfus developmental model to the learning of clinical skills. Academic Medicine, 83(8), 761-767. http://dx.doi.org/10.1097/ACM.0b013e31817eb632
Carrillo-de-la-Peña, M. T., Bailles, E., Caseras, X., Martínez, À., Ortet, G. y Pérez, J. (2009). Formative assessment and academic achievement in pre-graduate students of health sciences. Advances in Health Sciences Education, 14(1), 61-67. http://dx.doi.org/10.1007/s10459-007-9086-y
Cebrián de la Serna, M. y Bergman, M. E. (2014). PRESENTACIÓN: Evaluación formativa con e-rúbrica: aproximación al estado del arte. REDU. Revista de Docencia Universitaria, 14(1), 15-22. https://doi.org/10.4995/redu.2014.6427
Cebrián-de la Serna, M., Serrano-Angulo, J. y Ruiz-Torres, M. (2014). Las eRúbricas en la evaluación cooperativa del aprendizaje en la Universidad. Comunicar: Revista Científica de Comunicación y Educación, 22(43), 153-161. https://bit.ly/2IjziB5
Correa Bautista, J. E. (2012). La importancia de la evaluación por competencias en contextos clínicos dentro de la docencia universitaria en salud. Revista ciencias de la salud, 10(1), 73-82. https://bit.ly/2v2b2dV
De la Cruz Flores, G. y Abreu Hernández, L. F. (2014). Rúbricas y autorregulación: pautas para promover una cultura de la autonomía en la formación profesional. REDU. Revista de Docencia Universitaria, 12(1), 31-48.
Dickinson, P. y Adams, J. (2017). Values in Evaluation: The Use of Rubrics. Eval Program. Plann, 113-116. http://dx.doi.org/10.1016/j.evalprogplan.2017.07.005
Durades, M.L.L., de Castro Morgado, M.I.J., Hernández, A.I. y Alvarez, J.A.G. (2014). Evaluación de competencias sobre manejo de pacientes con fenilcetonuria. Revista Información Científica, 87(5), 838-845. https://bit.ly/2PaioWi
Durante, I., Martínez, A., Morales, S., Lozano, J. y M., S. (2011). Educación por competencias: de estudiante a médico. Revista de Facultad de Medicina de la UNAM, 54(6), 42-50. https://bit.ly/2UBZ2Pu
Epstein, R. M. (2007). Assessment in medical education. N Engl J Med, 356(4), 387-396.
Epstein, R. M., Hundert, E. M. y Leach, D. C. (2002). Defining and assessing professional competence. JAMA, the journal of the American Medical Association, 287(2), 243-244. http://dx.doi.org/10.1001/jama.287.2.226
Field, J. M., Gonzales, L., Hazinski, M. F. y Ruple, J. (2006). Advanced cardiovascular life support: provider manual. American Heart Association.
Gallego, M. y Raposo, M. (2014). Compromiso del estudiante y percepción del proceso evaluador basado en rúbricas. REDU. Revista de Docencia Universitaria, 12(1), 197-215. https://bit.ly/2GgjdsB
García Garcés, H., Navarro Aguirre, L., López Pérez, M. y Rodríguez Orizondo, M. D. (2014). Tecnologías de la Información y la Comunicación en salud y educación médica. Edumecentro, 6(1), 253-265.
García-García, J. A., González Martínez, J. F., Estrada-Aguilar, L. y Uriega-González Plata, S. (2010). Educación médica basada en competencias. Rev Med Hosp Gen Mex, 73(1), 57-69. https://bit.ly/2UeyOxv
García-Ros, R. (2011). Análisis y validación de una rúbrica para evaluar habilidades de presentación oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, 9(25), 1043-1062. https://bit.ly/2KLyxTc
Gatica-Lara, F. y Uribarren-Berrueta, T. D. (2013). ¿Cómo elaborar una rúbrica? Investigación en educación médica, 2(5), 61-65. https://bit.ly/2UAM3ha
Hafner, J. y Hafner, P. (2003). Quantitative analysis of the rubric as an assessment tool: An empirical study of student of student peer-group rating. Int J. Sci. Educ., 25(12), 1509-1528. https://doi.org/10.1080/0950069022000038268
Heinze Martin, G., Canchola, O., Hugo, V., Mayén, A., & Valeria, J. (2017). Uso de las tecnologías de la información y comunicación (TIC) en las residencias médicas en Méxic. Acta médica Grupo Ángeles, 15(2), 150-153. https://bit.ly/2v2X6Av
Hernández Sampieri, R., Fernández-Collado, C. y Baptista Lucio, P. (2014). Metodología de la investigación. Mc Graw Hill.
Hsu, D.C. y Macías, C.G. (2010). Rubric evaluation of pediatric emergency medicine fellows. Journal of graduate medical education, 2(4), 523-529. http://dx.doi.org/10.4300/JGME-D-10-00083.1
Kane, M., Berryman, S., Goslin, D. y Meltzer, A., (1990). The secretary´s commission on achieving necessary skills. In Identifying and describing The Skills Required by work. Pelavan Associates, Inc.
Kleinman, M. E., Chameides, L., Schexnayder, S. M., Samson, R. A., Hazinski, M. F., Atkins, D. L. y Hickey, R. W. (2010). Pediatric advanced life support: 2010 American Heart Association guidelines for cardiopulmonary resuscitation and emergency cardiovascular care. Pediatrics, 126(5), e1361-e1399. http://dx.doi.org/10.1542/peds.2010-2972D
Labarca, J., Figueroa, C., Huidobro, B., Wright, A. C., Riquelme, A. y Moreno, R. (2014). Utilidad de la evaluación formativa en cursos clínicos integrativos en estudiantes de pregrado de medicina. Revista médica de Chile, 142(9), 1193-1199. https://bit.ly/2GiFHJc
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563-575. http://dx.doi.org/10.1111/j.1744-6570.1975.tb01393.x
Lima-Rodríguez, J. S., Lima-Serrano, M., Ponce-González, J. M. y Dolores Guerra-Martín, M. (2015). Diseño y validación de contenido de rúbricas para evaluar las competencias prácticas en estudiantes de Enfermería. Educación Médica Superior, 29(1), 119-133. https://bit.ly/2IyTe27
Martiañez, N. L., Rubio, M., Terrón, M. J. y Gallego, T. (2015). Diseño de una rúbrica para evaluar las competencias del Prácticum del Grado en Fisioterapia. Percepción de su utilidad por los estudiantes. Fisioterapia, 37(2), 83-95. https://bit.ly/2v5BgfM
Martínez, M. E. y Raposo, M. (2011). La evaluación del estudiante a través de la rúbrica. comunicación presentada en IV Xornada de Innovación Educativa Universidad de Vigo.
Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic medicine, 65(9), 563-567. https://bit.ly/2KBSuMs
Ministerio de Salud Pública (MSP) & Consejo de Educación Superior (CES). (2013). Norma Técnica para Unidades Asistenciales-Docentes. Quito: El Telégrafo. https://bit.ly/2Fslh2m
Montiela, M. B. (2011). Educación por competencias: de estudiante a médico. Revista de Facultad de Medicina de la UNAM, 54(6), 42-50.
Mundial, A.M. (2019). Declaración de Helsinki de la AMM-Principios éticos para las investigaciones en seres humanos.
Neal, J. A. (1996). Secretary’s Commission on Achieving Necessary Skills (scans) as Viewed by the Staff of Ethelene Jones Crockett Thechnical High School and Career and Technical Center.
Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura-UNESCO. (2009). Conferencia Mundial de Educación Superior. La nueva dinámica de la educación superior y la investigación para el cambio social y el desarrollo, París:. Retrieved from http://www.unesco.org/new/es/unesco/themes/icts/
Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129-144. https://bit.ly/2Gf8bU9
Pérez-Ciordia, I., Brugos, A., Guillén-Grima, F., Fernández-Martínez, C. y Aguinaga, I. (2011). Identificación de problemas y propuestas para mejorar la atención de las urgencias extrahospitalarias en Navarra: un estudio Delphi. Anales del Sistema Sanitario de Navarra, 34(3), 395-407.
Pérez-Torregrosa, A. B., Romero-López, M. A., Ibáñez-Cubillas, P. y Gallego-Arrufat, M. J. (2017). Grado de satisfacción, utilidad y validez de la evaluación con rúbricas electrónicas durante el prácticum. Revista Prácticum, 2(1), 60-79. https://bit.ly/2XgE8CJ
Ramos, M. H. (2010). Evaluación formativa. Revista de posgrado de la Vía Cátedra de Medicina(201), 1-2. https://bit.ly/2UP0WMj
Raposo, M. y Martínez, E. (2011). La Rúbrica en la Enseñanza Universitaria: Un Recurso Para la Tutoría de Grupos de Estudiantes. Universidad de Vigo, 19-28. https://bit.ly/2v4y9EU
Raposo, M. y Sarceda, M. (2008). Cómo evaluar una memoria de prácticas.- Un ejemplo de rúbrica en el ámbito de las nuevas tecnologías, en Prácticas educativas innovadoras de Universidades. 107-124. Universidad de Vigo.
Reddy, Y. M. y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. https://bit.ly/2ZjWO6m
Secretary’s Commission on Achieving Necessary Skills. (1990). What Work Requires of Schools, 3-18. US Department of Labor.
Serrano Angulo, J. y Cebrián Robles, D. (2014). Usabilidad y satisfacción de la e-Rúbrica. REDU. Revista de Docencia Universitaria, 12(1), 177-195. https://bit.ly/2DdHBu6
UNESCO. (2009). La nueva dinámica de la educación superior y la investigación para el cambio social y el desarrollo. In Conferencia mundial sobre la educación superior. Unesco. https://bit.ly/1on8wrg
Fecha de recepción: 16/05/2021
Fecha de aceptación 17/09/2021
