Implantación de las pruebas adaptativas por ordenador para evaluaciones de alto nivel: Un cambio para el Consejo de Exámenes de Lesotho

Autores/as

  • Musa Adekunle Ayanwale National University of Lesotho Lesoto https://orcid.org/0000-0001-7640-9898
  • Julia Chere-Masopha National University of Lesotho Lesoto
  • Mapulane Mochekele National University of Lesotho Lesoto
  • Malebohang Catherine Morena National University of Lesotho Lesoto

DOI:

https://doi.org/10.24310/ijne.14.2024.20487

Palabras clave:

Tecnología de la evaluación, pruebas adaptativas por ordenador, medición educativa, consejo examinador de Lesotho, evaluaciones de alto nivel

Resumen

Examinamos la viabilidad de la aplicación de las Pruebas Adaptativas por Ordenador (PAO) a las evaluaciones de alto nivel en Lesoto, concretamente a través del Consejo de Exámenes de Lesoto (ECoL). El CAT, un método de evaluación de vanguardia, mejora la precisión y la eficacia ajustando los elementos de la prueba en tiempo real en función de la capacidad del examinado. Aunque el CAT se ha adoptado de forma generalizada en todo el mundo, su aplicación en los países en vías de desarrollo presenta importantes retos, especialmente en lo que respecta a la infraestructura, la experiencia y las limitaciones de recursos. Nuestra investigación aborda una laguna crítica en la comprensión de cómo la TAO puede integrarse eficazmente en los sistemas educativos de contextos en desarrollo como el de Lesoto. Llevamos a cabo una revisión de la literatura a través de cinco bases de datos-Google Scholar, ERIC, PsycINFO, JSTOR y PubMed-recuperando 48 estudios publicados entre 2013 y 2023. De estos, 18 estudios cumplieron con nuestros criterios de inclusión, centrándose en las ventajas, desafíos y aplicaciones del mundo real de CAT en evaluaciones educativas. Se aplicó un análisis temático para identificar los principales beneficios y obstáculos, centrándose en la precisión, la equidad y los requisitos de infraestructura. Esbozamos las etapas esenciales del desarrollo de un CAT, incluidos los estudios de viabilidad, la creación de un banco de ítems, las pruebas preliminares y la calibración, la determinación de las especificaciones y la publicación del CAT en vivo. Destacamos tareas críticas como el uso de simulaciones Monte Carlo para validar la viabilidad de los CAT y el desarrollo de un banco de ítems robusto calibrado con la Teoría de Respuesta al Ítem (TRI). También abordamos retos como la creación de una infraestructura tecnológica sólida, la formación exhaustiva de las partes interesadas y la obtención de financiación adecuada. Hacemos hincapié en la importancia de la evaluación continua y la participación de las partes interesadas para garantizar el éxito de la aplicación y la sostenibilidad del CAT. Las tendencias mundiales indican una creciente adopción, impulsada por los avances en psicometría y tecnología. El CAT tiene el potencial de ofrecer evaluaciones más equitativas y precisas, lo que lo convierte en una solución prometedora para mejorar los resultados educativos en Lesotho.

Descargas

Los datos de descargas todavía no están disponibles.

Métricas

Cargando métricas ...

Biografía del autor/a

Musa Adekunle Ayanwale, National University of Lesotho

Department of Educational Foundations, National University of Lesotho

Julia Chere-Masopha, National University of Lesotho

Department of Educational Foundations

Mapulane Mochekele, National University of Lesotho

Department of Educational Foundations, National University of Lesotho, Lesotho.

 

Malebohang Catherine Morena, National University of Lesotho

Department of Educational Foundations

Citas

Ayanwale, M. A., Chere-Masopha, J., & Morena, M. C. (2022). The Classical Test or Item Response Measurement Theory: The Status of the Framework at the Examination Council of Lesotho. International Journal of Learning, Teaching and Educational Research, 21(8), 384–406. https://doi.org/10.26803/IJLTER.21.8.22

Ayanwale, M. A., & Ndlovu, M. (2022). Transition from computer-based testing of national benchmark tests to adaptive testing: Robust application of fourth industrial revolution tools. Cypriot Journal of Educational Sciences, 17(9), 3327–3343. https://doi.org/10.18844/CJES.V17I9.7124

Han, K. C. T. (2018a). Components of the item selection algorithm in computerized adaptive testing. Journal of Educational Evaluation for Health Professions, 15, 7. https://doi.org/10.3352/JEEHP.2018.15.7

Han, K. C. T. (2018b). Conducting simulation studies for computerized adaptive testing using SimulCAT: an instructional piece. Journal of Educational Evaluation for Health Professions, 15, 20. https://doi.org/10.3352/jeehp.2018.15.20

Han, K. T. (2012). SimulCAT: Windows Software for Simulating Computerized Adaptive Test Administration. Applied Psychological Measurement, 36(1), 64–66. https://doi.org/10.1177/0146621611414407

Han, K. T. (2016). Maximum Likelihood Score Estimation Method With Fences for Short-Length Tests and Computerized Adaptive Tests. Applied Psychological Measurement, 40(4), 289–301. https://doi.org/10.1177/0146621616631317

Leroux, A. J., Lopez, M., Hembry, I., & Dodd, B. G. (2013). A Comparison of Exposure Control Procedures in CATs Using the 3PL Model. Educational and Psychological Measurement, 73(5), 857–874. https://doi.org/10.1177/0013164413486802

Meijer, R. R., & Nering, M. L. (n.d.). Computerized Adaptive Testing: Overview and Introduction.

Mujtaba, D. F., & Mahapatra, N. R. (2020). Artificial Intelligence in Computerized Adaptive Testing. Proceedings - 2020 International Conference on Computational Science and Computational Intelligence, CSCI 2020, 649–654. https://doi.org/10.1109/CSCI51800.2020.00116

Ogunjimi, M. O., Ayanwale, M. A., Oladele, J. I., Daramola, D. S., Jimoh, I. M., & Owolabi, H. O. (2021). Simulated evidence of computer adaptive test length: Implications for high stakes assessment in Nigeria. Journal of Higher Education Theory and Practice, 21(2), 202–212. https://doi.org/10.33423/JHETP.V21I2.4129

Oladele, J. I., Ndlovu, M., & Spangenberg, E. D. (2022). Simulated computer adaptive testing method choices for ability estimation with empirical evidence. International Journal of Evaluation and Research in Education, 11(3), 1392–1399. https://doi.org/10.11591/IJERE.V11I3.21986

Oladele, J.I.; Ayanwale, M.A. ;Owolabi, H.O. (2020). Paradigm Shifts in Computer Adaptive Testing in Nigeria in Terms of Simulated Evidences. Journal of Social Science, 63(1–3), 9–20. https://doi.org/10.31901/24566756.2020/63.1-3.2264

Rice, N., Pêgo, J. M., Collares, C. F., Kisielewska, J., & Gale, T. (2022). The development and implementation of a computer adaptive progress test across European countries. Computers and Education: Artificial Intelligence, 3. https://doi.org/10.1016/j.caeai.2022.100083

Seo, D. G. (2017). Overview and current management of computerized adaptive testing in licensing/certification examinations. Journal of Educational Evaluation for Health Professions, 14, 17. https://doi.org/10.3352/JEEHP.2017.14.17

Stepanek, L., & Martinkova, P. (2020). Feasibility of computerized adaptive testing evaluated by Monte-Carlo and post-hoc simulations. Proceedings of the 2020 Federated Conference on Computer Science and Information Systems, FedCSIS 2020, 359–367. https://doi.org/10.15439/2020F197

Thompson, N. (2023). Computerized Adaptive Testing (CAT): An Introduction. https://assess.com/computerized-adaptive-testing/ Access date: 11-04-2024

Thompson, N. A. (2009). Item selection in computerized classification testing. Educational and Psychological Measurement, 69(5), 778–793. https://doi.org/10.1177/0013164408324460

Thompson, N. A., & Weiss, D. J. (2009). Computerized and Adaptive Testing in Educational Assessment. In F. Scheuermann & J. Björnsson (Eds.), The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for Large-scale Testing (pp. 127–133). European Commission.

Thompson, N. A., & Weiss, D. J. (2011). A framework for the development of computerized adaptive tests. Practical Assessment, Research and Evaluation, 16(1), 1–9.

Tsaousis, I., Sideridis, G. D., & AlGhamdi, H. M. (2021). Evaluating a Computerized Adaptive Testing Version of a Cognitive Ability Test Using a Simulation Study. Journal of Psychoeducational Assessment, 39(8), 954–968. https://doi.org/10.1177/07342829211027753

Viswanandhne, S., & Nandakumar, G. S. (2017). Computer-Based Adaptive Testing. 2(2), 686–691.

Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., & Mislevy, R. J. (2000). Computerized Adaptive Testing. Computerized Adaptive Testing. https://doi.org/10.4324/9781410605931/Computerized-Adaptive-Testing-Howard-Wainer-Neil-Dorans-Ronald-Flaugher-Bert-Green-Robert-Mislevy

Publicado

2024-12-09

Cómo citar

Ayanwale, M. A., Chere-Masopha, J., Mochekele, M., & Morena, M. C. (2024). Implantación de las pruebas adaptativas por ordenador para evaluaciones de alto nivel: Un cambio para el Consejo de Exámenes de Lesotho. International Journal of New Education, (14). https://doi.org/10.24310/ijne.14.2024.20487

Número

Sección

Artículos