DAISY IMBERT ROMERO
Universidad Internacional Iberoamericana.
daisy.imbert@docente.ceibal.edu.uy
ORCID 0000-0002-2821-2844
EDUARDO ELÓSEGUI BANDERA
Universidad de Málaga, España.
elosegui@uma.es
ORCID 0000-0001-8938-8379
CLAUDIA CABRERA BORGES
Universidad ORT, Uruguay.
ccabrera@docente.ceibal.edu.uy
ORCID 0000-0002-1419-6791
ELISA RODRÍGUEZ INFANZÓN
Universidad Tecnológica, Uruguay.
maria.rodriguez.i@utec.edu.uy
ORCID 0000-0002-3634-1785
RESUMEN:
Se efectuó un estudio en el nivel de profesorado de Uruguay que se enmarca dentro de una investigación con enfoque mixto, de corte longitudinal en la perspectiva de la investigación-acción participativa. En este artículo el foco está puesto en el diseño, validación e implementación de un instrumento que permite cuantificar el desarrollo de estrategias investigativas (EI) enmarcadas en el aprendizaje ubicuo (AU), por parte de futuros docentes de profesorado de diferentes disciplinas.
El instrumento se construyó a partir del utilizado en una tesis doctoral. Las modificaciones consistieron en adaptarlo al nivel de profesorado y a temáticas vinculadas a esta formación. Durante el proceso de construcción fue puesto a consideración de docentes noveles y también se sometió a la validación por expertos nacionales e internacionales.
Las fases del proceso posibilitaron la selección de un conjunto de estrategias investigativas, así como la construcción de indicadores que permiten cuantificar el desarrollo de estas aludiendo, además, a la incorporación de las tecnologías digitales en el proceso de investigación.
El trabajo en el equipo de investigación y la intervención de los expertos posibilitaron la mejora del instrumento en relación a los criterios de claridad, representatividad y adecuación. A la luz de los resultados de la validación es posible afirmar que se trata de un instrumento que cuenta con lo necesario para cuantificar el desarrollo de EI en el marco del AU a nivel de profesorado.
El análisis de consistencia interna, para variables ordinales, ω de McDonals, fue aceptable (0,793). En tanto, los datos se sometieron a un análisis factorial, usando el método de componentes principales del SPSS v.25 (IBM, 2017). La prueba Kaiser-Meyer-Olkin y el test de esfericidad de Bartlett (KMO= 0,756 y en la significación de Bartlett -p= 0.000-), muestran la adecuación del análisis de los datos al modelo.
PALABRAS CLAVE: Evaluación, estrategias investigativas, aprendizaje ubicuo, validación.
ABSTRACT:
Health promotion strategy for Basic Education teachers
A study was carried out at the level of teachers in Uruguay that is part of a research with a mixed approach, longitudinal cut from the perspective of participatory action research. In this article the focus is placed on the design, validation and implementation of an instrument that allows quantifying the development of investigative strategies (IS) framed in ubiquitous learning (UL) by future teachers from different disciplines.
The instrument was built from one used for secondary education in a doctoral thesis. The modifications consisted of adapting it to the level of teaching staff and to topics related to this training. During the construction process, it was put for the consideration of new teachers and it was also submitted to validation by national and international experts.
The phases of the process made it possible to select a set of investigative strategies, as well as the construction of indicators that allow quantifying their development, also alluding to the incorporation of digital technologies in the research process.
The work in the research team and the intervention of the experts made it possible to improve the instrument in relation to the criteria of clarity, representativeness and adequacy. In light of the results of the validation, it is possible to affirm that it is an instrument that has what is necessary to quantify the development of IS within the framework of UL at the teacher level.
The internal consistency analysis, for ordinal variables, ω McDonals, was acceptable (0.793). Meanwhile, the data was subjected to a factor analysis, using the principal components method of SPSS v.25 (IBM, 2017). The Kaiser-Meyer-Olkin test and Bartlett's sphericity test (KMO = 0.756 and Bartlett's significance -p = 0.000-), show the adequacy of the analysis of the data to the model.
KEYWORDS: Evaluation, investigative strategies, ubiquitous learning, validation.
1. Introducción
La propuesta forma parte del proyecto “Estrategias investigativas en el marco del aprendizaje ubicuo” (R-UBIC), ANII-CFE 2019, que se desarrolla en el Centro Regional de Profesores del Centro (CeRP), en el departamento de Florida en Uruguay. El proyecto propone promover el desarrollo de estrategias investigativas (EI) en el marco del aprendizaje ubicuo (AU), en estudiantes de formación inicial de profesores.
Se propende a la formación de futuros docentes que desarrollen competencias del SXXI, profesionales reflexivos sobre su práctica docente, que atiendan a la investigación en didáctica e investiguen y produzcan conocimiento para mejorar el aprendizaje de sus estudiantes.
Los principales antecedentes del estudio al que se hace referencia se enmarcan en la línea de trabajo en Investigación formativa (Ricardo Velázquez, Amat Abreu, Andrade Santamaría, Jiménez Martínez, & Cisneros Zúñiga, 2019; Turpo-Gebera, Quispe, Paz, & Gonzales-Miñán, 2020, Espinoza Freire, 2020). La investigación formativa supone la iniciación en investigación, a través de la creación de un espacio en el que se promueve la indagación, la problematización y la reflexión. Se tiene como propósito lograr que los estudiantes desarrollen “las capacidades y habilidades necesarias para la comprensión de los procesos y la construcción del conocimiento científico” (Cortés et al., 2008, en Turpo-Gebera, et. al., 2020, p.3). De esta forma se crea una relación estrecha entre aprendizaje e investigación que contribuye a la formación profesional de los futuros docentes, al tiempo que los orienta en la construcción autónoma de conocimiento.
En coherencia con un marco de enseñanza por competencias en el que prima el aprender haciendo, los estudiantes de profesorado aprenden a investigar investigando. Espinoza Freire (2020) plantea que lo significativo en la investigación formativa está centrado en la forma de hacer investigación, más que en el contenido explícito, donde el énfasis está en que, a través de la solución de un problema pedagógico, el investigador a través del hacer, contextualiza el problema, lo transforma y produce un nuevo conocimiento.
Una vez identificados los antecedentes vinculados a la temática, con énfasis en el trabajo en investigación formativa a nivel de la formación docente, corresponde mencionar que la investigación realizada se caracteriza por presentar un enfoque socio crítico, con énfasis en lo cualitativo que se encuadra dentro de una investigación-acción, con aportes desde lo cuantitativo. En líneas generales el estudio refiere a la conformación de una comunidad de práctica que nuclea a formadores de las asignaturas: Didáctica, Informática, Investigación y otras asignaturas vinculadas al enfoque investigativo, correspondientes a diferentes profesorados. El trabajo de campo supuso el despliegue de múltiples acciones tendientes a promover la investigación formativa en la formación inicial de profesorado. A los efectos de evaluar el desarrollo de estrategias investigativas en el transcurso de un año se diseñó, validó y aplicó un instrumento cuantitativo, al inicio y al finalizar el año 2020 en forma de pre test y post test. Dicho instrumento evalúa, además, aspectos referidos al aprendizaje ubicuo.
Para llevar adelante el diseño del instrumento cuantitativo a aplicar en R-UBIC, se partió del instrumento propuesto en la tesis doctoral “Análisis del impacto del modelo didáctico de aprendizaje por indagación en biología, sobre el desarrollo de la competencia científica en estudiantes de educación secundaria” (Imbert y Elósegui, 2020, p. 24). El mismo fue realizado con el propósito de diagnosticar las diferentes capacidades de la competencia científica y su desarrollo por parte de estudiantes de ciclo básico y primero de bachillerato en un liceo de contexto sociocultural desfavorable de Uruguay. El instrumento elaborado por Imbert (2020), está compuesto por un cuestionario y su respectiva rúbrica de evaluación y utilizó como referencia a Franco Mariscal (2015. p. 240) quien trabajó con siete dimensiones: “planteamiento de la investigación; manejo de la información; planificación y diseño de la investigación; recogida y procesamiento de datos; análisis de datos y emisión de conclusiones; comunicación de resultados, actitud o reflexión crítica y trabajo en equipo”.
A las categorías, dimensiones y capacidades diseñadas por Franco Mariscal (2015), se añade una nueva categoría, que fue extraída de la evaluación PISA, la cual corresponde al conocimiento científico que implica la dimensión del conocimiento de los contenidos y las capacidades de identificar cuestiones científicas, explicar fenómenos científicamente y utilizar evidencia científica (ANEP, 2016, p.18).
Tomando como referencia las líneas presentadas anteriormente, se transitó un proceso de elaboración y validación hasta llegar a una última versión que es la que fue aplicada a estudiantes de profesorado del CeRP del Centro, Florida, Uruguay en 2020.
A continuación, se esbozan los objetivos que ofician de guía para comprender los hallazgos que se presentan más adelante en este artículo.
2. Objetivos
Objetivo general
Diseñar y validar un instrumento que permita identificar el desarrollo de las estrategias investigativas enmarcadas en el aprendizaje ubicuo.
Objetivos específicos
- Seleccionar un conjunto de estrategias investigativas que sean relevantes para la aproximación de futuros docentes a la investigación formativa.
- Proponer y validar indicadores que permitan cuantificar el desarrollo de estrategias investigativas que evidencian los estudiantes de profesorado cuando son formados en investigación.
- Construir un instrumento, conformado por un cuestionario con su correspondiente rúbrica, para evaluar el desarrollo de las estrategias investigativas enmarcadas en el aprendizaje ubicuo en dos momentos del año lectivo (al inicio y al final).
3. Material y método
Se efectuó un estudio instrumental, el cual, de acuerdo con Montero y León (2005), consiste en el desarrollo de pruebas, incluyendo su diseño y adaptación, así como el estudio y análisis de sus propiedades psicométricas.
Como ya se mencionó, la investigación a la que se alude, presenta una metodología con enfoque mixto, en el que predomina el componente cualitativo. Este estudio se caracteriza, además, por ser de corte longitudinal enmarcado en la perspectiva de la investigación-acción participativa, en la que se triangulan diferentes métodos, técnicas, y fuentes (Denzin y Lincoln, 2012).
En este artículo el foco está puesto en el diseño, validación e implementación de un instrumento que permite cuantificar el desarrollo de estrategias investigativas (EI) enmarcadas en el aprendizaje ubicuo (AU), por parte de futuros docentes. Asimismo, los datos se sometieron a un análisis factorial exploratorio (AFE)
Se realizó además un análisis de la consistencia interna del mismo, así como de la estructura factorial presente en el instrumento, con el objetivo de tener información sobre su fiabilidad y validez más allá de la validez de contenido, y ver qué cambios acontecían en la disposición de los ítems por cada factor o capacidad establecida por los expertos. Se utilizó el análisis de consistencia interna, para variables ordinales, coeficiente omega de McDonals ().
Asimismo, los datos se sometieron a un análisis factorial, usando el método de componentes principales del SPSS v.25. (IBM, 2017)
El instrumento identificado con la sigla: I.EI.AU, está conformado, por un lado, por un cuestionario que contiene la consigna que realizan los estudiantes de los distintos profesorados, y por otro, la rúbrica de evaluación utilizada por los investigadores para el análisis de los datos una vez que se cuenta con las respuestas recabadas. Los estudiantes de profesorado a quienes se les aplicó el instrumento corresponden a segundo, tercero y cuarto de las especialidades de: Biología, Matemática, Inglés, Idioma Español, Literatura, Historia, Derecho, Geografía y Química.
3.1. Etapas en las que se desarrolló esta fase de la investigación
- Etapa 1. Búsqueda y sistematización de antecedentes sobre la temática.
- Etapa 2. Revisión y análisis de un instrumento de similares características propuesto por una tesis doctoral (Imbert y Elósegui, 2020).
- Etapa 3. Estudio y selección de estrategias investigativas relevantes para la formación de futuros profesores.
- Etapa 4. Diseño y revisión de diferentes borradores del cuestionario con su correspondiente rúbrica de evaluación, por parte de los integrantes del equipo de investigación. En dicho proceso se contó además con la revisión de los asesores del proyecto Eduardo Elósegui Bandera y Dra. Carina Lion de la Universidad de Buenos Aires. En la figura 1 se esquematiza el involucramiento de diferentes actores en el proceso de construcción del instrumento.
Figura 1. Actores involucrados en el proceso de construcción del I.EI.AU. Nota. Elaboración propia
- Etapa 5. Validación y revisión de los indicadores por tres expertos de Uruguay y tres de España y cuatro noveles profesores que en años anteriores participaron como estudiantes del trabajo de investigación formativa en los cursos de Didáctica del CeRP del Centro.
La técnica conocida como “Juicio por expertos”, es sencilla, de frecuente uso en la validación de instrumentos de medición, en tanto permite verificar la pertinencia y confiabilidad de las preguntas que los integran (Cuervo-Martínez, 2008).
La selección de los expertos procuró incluir a especialistas en Didáctica y también en Metodología de la investigación, con el propósito de cubrir una amplia gama de enfoques.
En la tabla 1 se detallan las características de los expertos y la proporción para cada una de ellas.
Tabla 1. Características de los expertos y proporciones. Nota. Elaboración propia
En el caso de los docentes noveles la selección se realizó procurando que no pertenecieran a una única disciplina y que estuvieran representados los profesorados que cuentan con más experiencia en el CeRP del Centro en el trabajo en Investigación Formativa. De esa forma el grupo de noveles a cargo de la validación quedó conformado por: dos docentes de Biología, dos de Química y dos de Matemática.
Al momento de convocar a los expertos y noveles se les explicó el contexto y propósito del estudio y se les entregó un protocolo de validación en formato de formulario de Google.
Para que un instrumento de evaluación pueda ser considerado formalmente científico deberá ser sometido a procesos que verifiquen sus propiedades psicométricas fundamentales y que a través de su análisis posibilite el logro de evaluaciones válidas y confiables en cada uno de sus ítems (Kerlinger y Lee, 2002; Mendoza y Garza, 2009; Cárdenas, 2014) de ahí la relevancia significativa, de haber realizado el proceso anteriormente descrito.
La figura 2 representa los diferentes actores que intervinieron en el proceso de validación.
Figura 2. Expertos y noveles que intervinieron en la validación. Nota. Elaboración propia
El formulario de validación constó de un cuestionario, con un total de 15 ítems, dividido en 7 bloques, en cada uno de los cuales se describieron los objetivos y a continuación se detallaron los ítems correspondientes, así como los descriptores para los cuatro niveles de desempeño que conformaron la rúbrica que evalúan las respuestas de cada ítem. Se solicitó que realizaran la valoración, tanto de los ítems como de los descriptores de la rúbrica considerando tres dimensiones: 1. Claridad en la redacción del ítem, 2. Representatividad: sí es significativo en cuanto a la información que se quiere obtener, 3. Adecuación: si el ítemes adecuado al objetivo marcado.
Dichas valoraciones se hacen en una escala estimativa de 1 a 5, donde el valor 1 significa ‘menor grado de’ y el valor 5 ‘mayor grado de’. Se agregó además un recuadro de observaciones para indicar, cuando se considerara necesario, desde la modificación de un ítem/valoración/descriptor hasta la inclusión de aspectos que hicieran falta.
- Etapa 6. Reformulación del cuestionario y rúbrica con 15 ítems que contemplan las sugerencias de los expertos y noveles.
3.2. Decisiones referidas al proceso de diseño de la versión inicial del cuestionario y la rúbrica
El cuestionario y la rúbrica construidos constituyen una adaptación de la versión propuesta por Imbert (2020). Dicha adaptación a la formación docente consistió en reducir las 9 categorías del instrumento original, seleccionando 7 de las mismas. Los criterios considerados para llevar a cabo la jerarquización refieren a la intención de priorizar aquellos aspectos que serían fundamentales en la formación en investigación de los futuros docentes. Además, se tomó en cuenta el relevamiento de aportes teóricos y antecedentes realizados sobre la temática.
Luego de definir las categorías se elaboraron situaciones problema y actividades correspondientes a cada una de ellas. En todos los casos se procuró que los ejemplos aludieran a aspectos vinculados a la profesión docente.
El proceso de elaboración se focalizó en realizar algunas modificaciones en el instrumento en relación con las estrategias investigativas, y sobre todo, se modificaron aspectos referidos al aprendizaje ubicuo, que no había sido incorporado en el instrumento tomado como referencia.
Para incorporar aspectos referidos a la ubicuidad del aprendizaje, se incluyeron variantes en tres categorías que resultaron más afines con su incorporación, tal como se detalla más adelante. Los cambios realizados en el cuestionario siempre estuvieron acompañados de cambios en la sección correspondiente de la rúbrica destinada a la valoración.
Luego de contar con un primer borrador del instrumento se procedió a la revisión por parte de los consultores del proyecto: la Doctora Carina Lion y Autor 2. Los principales aspectos discutidos con la asesora se refirieron a cómo incorporar la evaluación de aprendizaje ubicuo, dado que se trata de un componente transversal. Para ello se acordó incorporar el aprendizaje ubicuo en los ítems: 3, 7 y 15.
Por otra parte, el asesor Autor 2 colaboró en la elaboración del protocolo de validación que fue utilizado para poner a consideración de expertos tanto el cuestionario como la rúbrica.
En base a las sugerencias de ambos expertos se selecciona un grupo de cuatro noveles que vivenciaron el trabajo en Investigación Formativa en su carrera de profesorado, a los cuales se les envía la misma versión del instrumento entregada a los expertos, para que puedan valorarla con el mismo protocolo de validación. En el caso de los noveles luego de completado, además, se realizó una entrevista grupal en la cual se analizaron algunos aspectos referidos a sus comentarios y sugerencias para pensar juntos en la posible reformulación. La opinión de los noveles es muy valiosa por su proximidad con la población destinataria del instrumento.
De acuerdo a lo expresado, lo realizado supuso el diseño colaborativo del instrumento a la interna del equipo de investigación con el apoyo de los asesores y también involucró a docentes noveles de profesorado en el codiseño.
El proceso descrito “ut supra” se denomina como validación de prima facie y tiene por objetivo la verificación de las preguntas o ítems pertenecientes al fenómeno o constructo y su relevancia, así como la redacción y si son comprensibles (Buela y Sierra, 1997).
Finalmente, se traslada el cuestionario y la rúbrica a un formulario de drive que incluyó los diferentes ítems pautados en el protocolo de validación para ser enviado a los expertos.
4. Resultados
Los resultados que se presentan procuran hacer foco en algunos aspectos vinculados al diseño y validación del instrumento. Por cuestiones de extensión, en este artículo no se profundiza respecto al análisis cuantitativo realizado para valorar la validación realizada por los expertos. La organización de los hallazgos busca dar cuenta del proceso de construcción del cuestionario y su rúbrica de valoración, refiriendo a las decisiones que se fueron tomando y a los cambios que se incorporaron hasta llegar a la versión final.
4.1. Estructura general del instrumento
Para la construcción del I.EI.AU se seleccionaron dos variables claves:
- La variable “estrategias investigativas” es categorizada de acuerdo a las diferentes dimensiones y capacidades de la competencia científica (Franco Mariscal, 2015, PISA, 2016). La principal fuente considerada para esta variable es Franco Mariscal (2015), excepto en el primer caso referido a identificar cuestiones científicas que fue tomado de PISA (2016). El orden de las capacidades 2 a 7 se corresponde con el propuesto por Franco Mariscal (2015).
- Otra variable corresponde al aprendizaje ubicuo (Burbules, 2014) analizado a través de la inclusión de tecnologías digitales.
En la figura 3 se representan los quince ítems y los siete bloques correspondientes a las quince capacidades de la competencia científica y las siete dimensiones, respectivamente, vinculadas a las estrategias investigativas.
Figura 3. Bloques que representan las siete dimensiones y los quince ítems que corresponden a cada una
de las capacidades en cada dimensión del I.EI.AU. Nota. Elaboración propia
4.2. Evolución del instrumento
En las tablas 2 a 8 se presentan los cambios que se dieron en el proceso de construcción del cuestionario comenzando por el modelo desde el que se partió, luego la construcción del primer borrador hasta llegar a la versión final que se obtuvo luego del proceso de validación.
Tabla 2. Comparación de la situación problema y los ítems en relación a la capacidad 1. Nota. Elaboración propia
Se mejoró la redacción de los ítems, aclarando que las evidencias corresponden a lo que ya se conoce sobre el tema y se agregó la referencia a las tecnologías digitales. Al principio se entendió que estaba implícito el uso de las tecnologías, no obstante, luego se optó por incluirlo de manera explícita.
Tabla 3. Comparación de los ítems en relación a la capacidad 2. Nota. Elaboración propia
Los cambios corresponden a mejoras en la sintaxis y, además, se decidió solicitar más de un objetivo, para determinar si los estudiantes indican objetivos generales y específicos y si conocen la vinculación entre ambos.
Tabla 4. Comparación de los ítems en relación a la capacidad 3. Nota. Elaboración propia
Se modificó la propuesta de múltiple opción pasando a preguntas abiertas. Otra variante se refiere a la explicitación de la búsqueda en internet con el propósito de incorporar aspectos vinculados a la ubicuidad. Además, interesó que se distinga entre conocimiento científico y cotidiano.
Tabla 5. Comparación de los ítems en relación a la capacidad 4. Nota. Elaboración propia
Se realizaron modificaciones en la redacción de los ítems en relación al modelo y se agregó la indicación referida a que clasifique las variables.
Tabla 6. Comparación de los ítems en relación a la capacidad 5. Nota. Elaboración propia
Se cambió el análisis de un gráfico por una tabla con respecto al modelo, y en el proceso se modificó la redacción y por sugerencia de los noveles se sustituyó la tabla de datos por otra con menos información.
La siguiente cita extraída de los comentarios proporcionados por los docentes noveles, evidencia algunas de las críticas realizadas respecto a la consigna y la tabla:
Novel 1: Considero que la tabla no es clara. (...) En general la tabla, así sin más, sin ninguna explicación de ante mano no me refleja información concreta, al contrario, me entrevera.
Creo que la consigna podría ser un poco más clara. Al principio me costó entenderla, tuve que leerla varias veces. Además, me costó interpretar la primera parte de la tabla. "Nadie puede ayudarlos en las tareas escolares". No sé a qué hace referencia el "Sí" (si me ayudan o si, nadie puede ayudarme).
Tabla 7. Comparación de los ítems en relación a la capacidad 6. Nota. Elaboración propia
Se transita de un solo ítem en el modelo a dos ítems para evaluar la capacidad de elaborar conclusiones. En el proceso se mejora la redacción para asegurar la comprensión de las consignas.
Tabla 8. Comparación de los ítems en relación a la capacidad 7. Nota. Elaboración propia
En la capacidad 7 se opta por incorporar dos ítems, en lugar de uno que constaba en el instrumento que se tomó como modelo. En el proceso se mejoró la redacción de los ítems.
El instrumento tomado como modelo presentaba dos capacidades más referidas al componente actitudinal (trabajo en equipo y participación en comunidad) que se omitieron en este instrumento, buscando que el mismo no fuera tan extenso.
A modo de síntesis corresponde aludir a las modificaciones que se dieron en los ítems desde el modelo a la versión final. El cuestionario luego de la validación de los expertos experimentó cambios en el total de ítems, ya que algunos se dividieron a los efectos de lograr una mayor comprensión. Se partió de un cuestionario con 7 bloques correspondientes a las 7 dimensiones de las estrategias investigativas con 12 ítems que apuntaban a 12 capacidades y finalizado el proceso de validación, al tomar en cuenta las sugerencias los 7 bloques se mantuvieron, no así las capacidades que se organizaron en 15 ítems. En la figura 4 se representan los cambios efectuados en cada uno de los bloques. En la misma se puede observar que en el bloque 1 se pasa de tener 2 ítems a 3 ítems, también se registran cambios en el bloque 6 y 7, en ambos se pasa de 1 ítems a 2. En total el instrumento inicial contenía 12 ítems y el final 15.
Figura 4. Modificaciones realizadas al cuestionario en relación a la cantidad de ítems. Nota. Elaboración propia
4.3. Modificaciones en la rúbrica
La rúbrica que acompaña al cuestionario fue sujeta a varios cambios en los distintos momentos de construcción del cuestionario tanto a nivel de discusión interna al equipo de investigación como a través de los aportes de los expertos. Uno de los puntos centrales de la construcción de la rúbrica está dado por los distintos niveles de desempeño que se definieron para la evaluación de las EI y del AU. Además de los cambios realizados en los descriptores es de destacar los referidos a los niveles de desempeño, los cuales pueden apreciarse en la figura 5. Se agregó el nivel 0 para el caso que el estudiante no respondiera, o que su respuesta no fuera coherente con lo planteado. Los niveles de desempeño definidos finalmente fueron: no presente valorado con 0, incipiente valorado con 1, en proceso valorado con 2, avanzado valorado con 3 y destacado valorado con 4.
Figura 5. Modificaciones en los niveles de desempeño de la rúbrica luego de la validación de expertos. Nota. Elaboración propia
Por otra parte, en lo que respecta a los descriptores definidos en la rúbrica, se procuró que fueran claros, de modo de poder definir cada nivel de desempeño con precisión, dado que a través de ella se produce el relevamiento de los datos obtenidos en el cuestionario. El trabajo más complejo estuvo en determinar en cada uno de los bloques los niveles de aceptable en los descriptores, con lo cual se llegó a definir los niveles de desempeño 0 y 1 como no aceptable y a partir del nivel 2 (correspondiente a: en proceso) se consideraron como aceptables. Este trabajo con la rúbrica brinda un potencial cuantificador de EI y AU, lo que permite evaluar el desarrollo de las EI y AU en la muestra objeto de estudio.
4.3.1. Resultados cuantitativos de la validación del instrumento
Si bien no desarrolla en detalle el análisis cuantitativo realizado a partir de las respuestas de los expertos, a continuación, se esbozan algunos datos que resultan relevantes a ese respecto. Desde un enfoque cuantitativo cuando se analizan las respuestas de los expertos, se obtiene una media que va de 4,24 a 4,44, en un total de 5 puntos, siendo el valor inferior para claridad y el valor más alto para adecuación (Figura 6).
Figura 6. Resultados de la validación del IEIAU. Nota. Elaboración propia
En relación a los valores medios otorgados a la rúbrica, los mismos oscilan entre 4,07 para representatividad en el nivel aceptable a 4,41 en adecuación para el nivel de excelente. En tanto corresponde a variaciones de 3,63 a 3,89 en el nivel de no satisface como se puede apreciar en la figura 7.
Figura 7. Valores de media para cada nivel de desempeño de la rúbrica en relación a la claridad, representatividad y adecuación.
Nota. Elaboración propia
En relación a los valores medios otorgados a la rúbrica, los mismos oscilan entre 4,07 para representatividad en el nivel aceptable a 4,41 en adecuación para el nivel de excelente. En tanto corresponde a variaciones de 3,63 a 3,89 en el nivel de no satisface como se puede apreciar en la figura 7.
4.3.2. Análisis de consistencia interna y estructura factorial
En el momento pretest se aplicó el cuestionario a un total de 126 participantes, realizándose un análisis de la consistencia interna del mismo, así como de la estructura factorial presente en el instrumento, con el objetivo de tener información sobre su fiabilidad y validez más allá de la validez de contenido descrita anteriormente, y ver qué cambios acontecían en la disposición de los ítems por cada factor o capacidad establecida por los expertos.
El análisis de consistencia interna, para variables ordinales, de McDonals, fue aceptable (0,793).
Los datos se sometieron a un análisis factorial exploratorio (AFE), usando el método de componentes principales del SPSS v.25 (IBM, 2017). La prueba Kaiser-Meyer-Olkin y el test de esfericidad de Bartlett (KMO= 0,756 y en la significación de Bartlett -p= 0.000-), muestran la adecuación del análisis de los datos al modelo.
La regla de káiser (1960) sugiere la existencia de siete factores, todos ellos con valores superiores a 1 (ver tabla 9). La varianza explicada para estos tres componentes es de 75,863%.
Tabla 9. Análisis factorial exploratorio, instrumento de estrategias investigativas. Nota. Elaboración propia
La matriz de componentes rotados agrupa por ítems en 7 factores o componentes, según podemos comprobar en la tabla 10:
Tabla 10. Método de rotación: Quartimax con normalización Kaiser. Nota. Elaboración propia
Gráficamente, las correlaciones establecidas de los ítems con los distintos factores se describen en la figura 8.
Figura 8. En línea gruesa se describen las relaciones establecidas en la matriz de componentes rotados -principales-, así como en línea media -secundarios- (ítem 11 con el componente 2, y el ítem 14 con el componente 6). Nota. Elaboración propia
Para una compresión de los factores obtenidos en comparación con los establecidos en la Fig. 3, se presenta la tabla 11.
Tabla 11. Comparación entre los bloques y factores obtenidos por el AFE. Nota. Elaboración propia
Por tanto, hay una estructura factorial que se corresponde en gran medida con la estructura de bloques relacionadas con competencias investigadoras, que habría que confirmar mediante un Análisis Factorial Confirmatorio (AFC) que dejamos para una próxima investigación, y muy probablemente, obligaría a modificar la estructura para adecuar en número de componentes.
5. Discusión
Las diferentes fases del proceso de diseño y validación del instrumento han posibilitado la selección de un conjunto de estrategias investigativas, así como construcción de indicadores que permiten cuantificar el desarrollo de las mismas aludiendo, además, a la incorporación de las tecnologías digitales en el proceso de investigación.
La elaboración de este instrumento permite evaluar las estrategias investigativas que esgrimen los estudiantes al inicio del año lectivo y al finalizar el mismo, de manera de poder ver la evolución de las mencionadas estrategias en el transcurso del año.
Se considera muy positivo haber logrado un instrumento que permite la evaluación de las estrategias investigativas y del aprendizaje ubicuo de los futuros docentes de profesorado en el marco de una investigación formativa que según Cortés et al (2008) mencionado por Turpo-Gebera et al. (2020) tiene como propósito lograr que los estudiantes desarrollen las capacidades imprescindibles para entender los procesos de construcción del conocimiento científico.
El trabajo colaborativo a la interna del equipo de investigadores y la intervención de los expertos posibilitaron la mejora del instrumento en relación a los criterios de claridad, representatividad y adecuación. Los cambios más importantes estuvieron vinculados a los descriptores de la rúbrica.
Se agregaron ítems en los bloques 1, 6 y 7 y se modificaron las designaciones de los niveles de desempeño.
Según lo mencionado por Escobar-Pérez y Cuervo-Martínez (2008, p. 27) “una pregunta que surge cuando se intenta medir el comportamiento es qué tan válida y confiable es la medición”. La utilización del juicio de expertos busca proporcionarles dicha validez, por lo cual formó parte del proceso para estimar la validez del contenido del instrumento elaborado.
Para determinar el grado de acuerdo entre los expertos se usan distintos procedimientos. En el caso del IEIAU los expertos debieron asignar rango a los ítems entre 1 y 5.
No obstante, los cambios sugeridos, las valoraciones otorgadas por los expertos con relación a cada uno de los ítems del cuestionario han tenido un grado de acuerdo muy alto en cada uno de los criterios: claridad (4,24), representatividad (4,41) y adecuación (4,44) en una escala de 1 a 5.
De forma similar ha sido valorada la rúbrica con puntajes inferiores solamente en el nivel de desempeño de no satisface, siendo en este nivel, siempre superiores a 3,6.
Escobar-Pérez y Cuervo-Martínez (2008, p. 31) mencionan a Aikeb (2003) cuando indica que para estimar la confiabilidad de un juicio de expertos, “es necesario conocer el grado de acuerdo entre ellos, ya que un juicio incluye elementos subjetivos”. Dichos autores agregan, citando a Ato, Benavente y López (2006) que “cuando la medida de acuerdo obtenida es alta indica que hay consenso en el proceso de clasificación o asignación de puntajes entre los evaluadores” (Op. cit. p.31).
En relación a lo que el instrumento pretende medir, el mismo brinda información sobre las estrategias investigativas que desarrollan los estudiantes de profesorado unido al uso de TD en cuatro niveles de desempeño: destacado, avanzado, en proceso e incipiente.
Esta información es muy importante si se aspira a formar docentes en el marco de la Investigación Formativa (Espinoza Freire, 2020), docentes que cuenten con las herramientas necesarias para investigar sobre sus propias prácticas con el fin de mejorar los aprendizajes de los estudiantes de educación media. Es fundamental también para la promoción de las estrategias investigativas por parte de los docentes de educación terciaria o universitaria.
5. Conclusiones
Este artículo se enfoca en el diseño y validación de un instrumento que permite cuantificar el desarrollo de estrategias investigativas (EI) enmarcadas en el aprendizaje ubicuo (AU), por parte de futuros docentes de profesorado de Uruguay.
El proceso de construcción del instrumento tomó como punto de partida otro instrumento de similares características propuesto por Imbert Romero (2020) para el nivel de educación media. Las modificaciones realizadas apuntaron fundamentalmente a realizar adaptaciones al nivel de profesorado. Otra variante relevante es que se incorpora la dimensión referida al aprendizaje ubicuo, que no formaba parte del instrumento tomado como modelo.
El proceso de construcción supuso la selección de un conjunto de estrategias investigativas, así como la construcción de indicadores que permiten cuantificar el desarrollo de las mismas aludiendo, además, a la incorporación de las tecnologías digitales en el proceso de investigación. El instrumento consta de dos componentes, por un lado, el formulario con las consignas para los estudiantes y por otro la rúbrica con la cual se valoran dichas respuestas. Ambos componentes fueron objeto de validación por parte de docentes noveles y expertos nacionales e internacionales.
Tanto durante el proceso de diseño a partir del modelo, como en el proceso de reestructuración realizado luego de la validación, se realizaron modificaciones en la cantidad de ítems y redacción de las consignas en el cuestionario, que fueron acompañados con los correspondientes cambios en la rúbrica.
En relación a la rúbrica los cambios más importantes estuvieron vinculados a los descriptores de la rúbrica y a que se agregaron ítems en los bloques 1, 6 y 7 al igual que en el cuestionario, además de ello se modificaron las designaciones de los niveles de desempeño.
En lo que respecta a la valoración de los expertos con relación a cada uno de los ítems del cuestionario se obtuvieron resultados que dan cuenta de la robustez del instrumento (claridad 4,24, representatividad 4,41 y adecuación 4,44, en una escala de 1 a 5). Algo similar ocurre respecto a la valoración de la rúbrica para la que siempre se obtuvieron puntajes superiores a 3,6.
La versión final del instrumento se organiza en 7 bloques. El primer bloque apunta a: identificar cuestiones científicas, utilizar evidencia científica y relevar evidencias del aprendizaje ubicuo. El segundo bloque incluye: identificar problemas científicos, definir objetivos y formular hipótesis. El tercero propone buscar información de diferentes fuentes en el marco del aprendizaje ubicuo y valorarla de forma crítica y reflexiva. El cuarto corresponde a identificar variables y diseñar una metodología, en tanto el quinto corresponde a interpretar resultados. El sexto por su parte concierne a formular conclusiones y proyecciones a futuro. Finalmente, el séptimo bloque se refiere a dar a conocer los hallazgos e identificar herramientas digitales que lo posibiliten.
En síntesis, se propuso un instrumento que permite valorar el desarrollo de estrategias investigativas en el marco del aprendizaje ubicuo en el nivel de profesorado.
Lo aportado puede resultar útil tanto para investigadores, como para formadores de profesores que tengan como propósito reflexionar sobre sus prácticas para transformarlas.
Una de las principales potencialidades del estudio es que el instrumento propuesto fue puesto en práctica y cuenta con resultados que ponen en evidencia que es viable de ser aplicado en el contexto de profesorado.
En el futuro será necesario realizar nuevos estudios, que pongan a prueba el instrumento en otras comunidades, con el propósito de continuar afinando la propuesta tanto de cuestionario como de rúbrica.
6. Referencias BIBLIOGRÁFICAS
Administración Nacional de Educación Pública (2016). Marco teórico de Ciencias Naturales PISA 2015 . https://www.anep.edu.uy/sites/default/files/images/Archivos/publicaciones-direcciones/DSPE/pisa/pisa2015/otras-publicaciones/pisa%202015%20marco%20teorico%20ciencias.pdf
Buela-Casal, G. y Sierra, J.C. (1997). Manual de evaluación psicológica: fundamentos, técnicas y aplicaciones. Siglo XXI de España Editores.
Burbules, N. C. (2014). Los significados de "aprendizaje ubicuo". Archivos Analíticos de Políticas Educativas, 22, 1-10. https://www.redalyc.org/pdf/2750/275031898130.pdf
Cárdenas-Aguilera, P.S. (2014). Instrumentos de evaluación: ¿qué piensan los estudiantes al terminar la escolaridad obligatoria? Perspectiva Educacional , 53(1), 57-72. http://www.redalyc.org/pdf/3333/333329700005.pdf
Denzin, N. y Lincoln, Y. (coord.) (2012) Manual de investigación cualitativa . Gedisa.
Escobar-Pérez, J. y Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición , 6, 27-36. http://www.humanas.unal.edu.co/psicometria/files/7113/8574/5708/Articulo3_Juicio_de_expertos_27-36.pdf
Espinoza Freire, E. E. (2020). La investigación formativa. Una reflexión teórica. Conrado , 16 (74 ), 45-53. http://scielo.sld.cu/pdf/rc/v16n74/1990-8644-rc-16-74-45.pdf
Franco Mariscal, A. J. (2015). Competencias científicas en la enseñanza y el aprendizaje por investigación. Un estudio de caso sobre corrosión de metales en secundaria. Enseñanza de las Ciencias , 33 (2), 231-252. https://raco.cat/index.php/Ensenanza/article/view/293274
IBM Corp. Released (2017). IBM SPSS Statistics for Windows, Version 25.0 . Armonk, NY: IBM Corp.
Imbernón, F. (coord.) (2002). La investigación educativa como herramienta de formación del profesorado. Reflexión y experiencias de investigación educativa. Graó.
Imbert Romero, D. (2020). Análisis del impacto del modelo didáctico de aprendizaje por indagación en biología, sobre el desarrollo de la competencia científica en estudiantes de educación secundaria [Tesis doctoral, Universidad Internacional Iberoamericana]. RIdAA-CFE. http://repositorio.cfe.edu.uy/bitstream/handle/123456789/1337/Imbert%2c%20D.%2c%20Analisis.pdf?sequence=2&isAllowed=y
Imbert Romero, D. y Elósegui Bandera, E. (2020). Mejoras en el desarrollo de la competencia científica en estudiantes de primer año de secundaria en un liceo de Uruguay. MLS Educational Research, 4 (1) , 22-40. https://www.mlsjournals.com/Educational-Research-Journal/article/view/247
Kerlinger, F.N. y Lee, H.B. (2002). Investigación del comportamiento. Métodos de investigación en ciencias sociales (4ª ed.). McGraw-Hill.
Mendoza-Gómez, J. y Garza-Villegas, J.B. (2009). La medición en el proceso de investigación científica: evaluación de VC y confiabilidad. Innovaciones de Negocios , 6 (1), 17-32 . http://eprints.uanl.mx/12508/
Montero, I. y León, O. (2005). Sistema de clasificación del método en los informes de investigación en psicología. International Journal of Clinical and Health Psychology, 5(1) , 115-127. http://www.redalyc.org/articulo.oa?id=33701007
Ricardo Velázquez, M., Amat Abreu, M., Andrade Santamaría, D. R., Jiménez Martínez, R., y Cisneros Zúñiga, C. P. (2019). Desarrollo de competencias investigativas formativas: retos y perspectivas para la Universidad. Dilemas Contemporáneos: Educación, Política y Valores , 6 , 1-26. https://www.dilemascontemporaneoseducacionpoliticayvalores.com/index.php/dilemas/article/view/1472/1650
Turpo-Gebera, O., Quispe, P. M., Paz, L. C., y Gonzales-Miñán, M. (2020). La investigación formativa en la universidad: sentidos asignados por el profesorado de una Facultad de Educación. Educação e Pesquisa, 46 , 1-19. https://www.scielo.br/j/ep/a/bvYGHxgCpxB8sKNNp6zd3sN/?format=pdf&lang=es