Implantación de las pruebas adaptativas por ordenador para evaluaciones de alto nivel: Un cambio para el Consejo de Exámenes de Lesotho
DOI:
https://doi.org/10.24310/ijne.14.2024.20487Palabras clave:
Tecnología de la evaluación, pruebas adaptativas por ordenador, medición educativa, consejo examinador de Lesotho, evaluaciones de alto nivelResumen
Examinamos la viabilidad de la aplicación de las Pruebas Adaptativas por Ordenador (PAO) a las evaluaciones de alto nivel en Lesoto, concretamente a través del Consejo de Exámenes de Lesoto (ECoL). El CAT, un método de evaluación de vanguardia, mejora la precisión y la eficacia ajustando los elementos de la prueba en tiempo real en función de la capacidad del examinado. Aunque el CAT se ha adoptado de forma generalizada en todo el mundo, su aplicación en los países en vías de desarrollo presenta importantes retos, especialmente en lo que respecta a la infraestructura, la experiencia y las limitaciones de recursos. Nuestra investigación aborda una laguna crítica en la comprensión de cómo la TAO puede integrarse eficazmente en los sistemas educativos de contextos en desarrollo como el de Lesoto. Llevamos a cabo una revisión de la literatura a través de cinco bases de datos-Google Scholar, ERIC, PsycINFO, JSTOR y PubMed-recuperando 48 estudios publicados entre 2013 y 2023. De estos, 18 estudios cumplieron con nuestros criterios de inclusión, centrándose en las ventajas, desafíos y aplicaciones del mundo real de CAT en evaluaciones educativas. Se aplicó un análisis temático para identificar los principales beneficios y obstáculos, centrándose en la precisión, la equidad y los requisitos de infraestructura. Esbozamos las etapas esenciales del desarrollo de un CAT, incluidos los estudios de viabilidad, la creación de un banco de ítems, las pruebas preliminares y la calibración, la determinación de las especificaciones y la publicación del CAT en vivo. Destacamos tareas críticas como el uso de simulaciones Monte Carlo para validar la viabilidad de los CAT y el desarrollo de un banco de ítems robusto calibrado con la Teoría de Respuesta al Ítem (TRI). También abordamos retos como la creación de una infraestructura tecnológica sólida, la formación exhaustiva de las partes interesadas y la obtención de financiación adecuada. Hacemos hincapié en la importancia de la evaluación continua y la participación de las partes interesadas para garantizar el éxito de la aplicación y la sostenibilidad del CAT. Las tendencias mundiales indican una creciente adopción, impulsada por los avances en psicometría y tecnología. El CAT tiene el potencial de ofrecer evaluaciones más equitativas y precisas, lo que lo convierte en una solución prometedora para mejorar los resultados educativos en Lesotho.
Descargas
Métricas
Citas
Ayanwale, M. A., Chere-Masopha, J., & Morena, M. C. (2022). The Classical Test or Item Response Measurement Theory: The Status of the Framework at the Examination Council of Lesotho. International Journal of Learning, Teaching and Educational Research, 21(8), 384–406. https://doi.org/10.26803/IJLTER.21.8.22
Ayanwale, M. A., & Ndlovu, M. (2022). Transition from computer-based testing of national benchmark tests to adaptive testing: Robust application of fourth industrial revolution tools. Cypriot Journal of Educational Sciences, 17(9), 3327–3343. https://doi.org/10.18844/CJES.V17I9.7124
Han, K. C. T. (2018a). Components of the item selection algorithm in computerized adaptive testing. Journal of Educational Evaluation for Health Professions, 15, 7. https://doi.org/10.3352/JEEHP.2018.15.7
Han, K. C. T. (2018b). Conducting simulation studies for computerized adaptive testing using SimulCAT: an instructional piece. Journal of Educational Evaluation for Health Professions, 15, 20. https://doi.org/10.3352/jeehp.2018.15.20
Han, K. T. (2012). SimulCAT: Windows Software for Simulating Computerized Adaptive Test Administration. Applied Psychological Measurement, 36(1), 64–66. https://doi.org/10.1177/0146621611414407
Han, K. T. (2016). Maximum Likelihood Score Estimation Method With Fences for Short-Length Tests and Computerized Adaptive Tests. Applied Psychological Measurement, 40(4), 289–301. https://doi.org/10.1177/0146621616631317
Leroux, A. J., Lopez, M., Hembry, I., & Dodd, B. G. (2013). A Comparison of Exposure Control Procedures in CATs Using the 3PL Model. Educational and Psychological Measurement, 73(5), 857–874. https://doi.org/10.1177/0013164413486802
Meijer, R. R., & Nering, M. L. (n.d.). Computerized Adaptive Testing: Overview and Introduction.
Mujtaba, D. F., & Mahapatra, N. R. (2020). Artificial Intelligence in Computerized Adaptive Testing. Proceedings - 2020 International Conference on Computational Science and Computational Intelligence, CSCI 2020, 649–654. https://doi.org/10.1109/CSCI51800.2020.00116
Ogunjimi, M. O., Ayanwale, M. A., Oladele, J. I., Daramola, D. S., Jimoh, I. M., & Owolabi, H. O. (2021). Simulated evidence of computer adaptive test length: Implications for high stakes assessment in Nigeria. Journal of Higher Education Theory and Practice, 21(2), 202–212. https://doi.org/10.33423/JHETP.V21I2.4129
Oladele, J. I., Ndlovu, M., & Spangenberg, E. D. (2022). Simulated computer adaptive testing method choices for ability estimation with empirical evidence. International Journal of Evaluation and Research in Education, 11(3), 1392–1399. https://doi.org/10.11591/IJERE.V11I3.21986
Oladele, J.I.; Ayanwale, M.A. ;Owolabi, H.O. (2020). Paradigm Shifts in Computer Adaptive Testing in Nigeria in Terms of Simulated Evidences. Journal of Social Science, 63(1–3), 9–20. https://doi.org/10.31901/24566756.2020/63.1-3.2264
Rice, N., Pêgo, J. M., Collares, C. F., Kisielewska, J., & Gale, T. (2022). The development and implementation of a computer adaptive progress test across European countries. Computers and Education: Artificial Intelligence, 3. https://doi.org/10.1016/j.caeai.2022.100083
Seo, D. G. (2017). Overview and current management of computerized adaptive testing in licensing/certification examinations. Journal of Educational Evaluation for Health Professions, 14, 17. https://doi.org/10.3352/JEEHP.2017.14.17
Stepanek, L., & Martinkova, P. (2020). Feasibility of computerized adaptive testing evaluated by Monte-Carlo and post-hoc simulations. Proceedings of the 2020 Federated Conference on Computer Science and Information Systems, FedCSIS 2020, 359–367. https://doi.org/10.15439/2020F197
Thompson, N. (2023). Computerized Adaptive Testing (CAT): An Introduction. https://assess.com/computerized-adaptive-testing/ Access date: 11-04-2024
Thompson, N. A. (2009). Item selection in computerized classification testing. Educational and Psychological Measurement, 69(5), 778–793. https://doi.org/10.1177/0013164408324460
Thompson, N. A., & Weiss, D. J. (2009). Computerized and Adaptive Testing in Educational Assessment. In F. Scheuermann & J. Björnsson (Eds.), The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for Large-scale Testing (pp. 127–133). European Commission.
Thompson, N. A., & Weiss, D. J. (2011). A framework for the development of computerized adaptive tests. Practical Assessment, Research and Evaluation, 16(1), 1–9.
Tsaousis, I., Sideridis, G. D., & AlGhamdi, H. M. (2021). Evaluating a Computerized Adaptive Testing Version of a Cognitive Ability Test Using a Simulation Study. Journal of Psychoeducational Assessment, 39(8), 954–968. https://doi.org/10.1177/07342829211027753
Viswanandhne, S., & Nandakumar, G. S. (2017). Computer-Based Adaptive Testing. 2(2), 686–691.
Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., & Mislevy, R. J. (2000). Computerized Adaptive Testing. Computerized Adaptive Testing. https://doi.org/10.4324/9781410605931/Computerized-Adaptive-Testing-Howard-Wainer-Neil-Dorans-Ronald-Flaugher-Bert-Green-Robert-Mislevy
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Las obras se publican en edición electrónica bajo una licencia Creative Commons Reconocimiento-NoComercial 4.0 España: se pueden copiar, usar, difundir, transmitir y exponer públicamente, siempre que:
a) Se cite la autoría y la fuente original de su publicación (revista,
editorial y URL de la obra.
b) No se usen para fines comerciales.
c) Se mencione la existencia y especificaciones de esta licencia de uso.
Será responsabilidad exclusiva de los autores obtener los permisos necesarios de las imágenes que estén sujetas a derechos de autor.