Márgenes, Revista de Educación de la Universidad de Málaga
INVESTIGACIONES

Evaluación de actividades de investigación
y posgrado. Una experiencia bajo un modelo comprensivo

Evaluation of research and postgraduate activities.
An experience under a comprehensive model
José Alfonso Jiménez Moreno, Joaquín Caso Niebla y Juan Guillermo Vaca Rodríguez
Recibido: 16 de marzo de 2022  Aceptado: 17 de enero de 2023  Publicado: 31 de julio de 2023
To cite this article: Jiménez, J. A.; Caso, J.; y Vaca, J. G. (2023). Evaluación de actividades de investigación y posgrado. Una experiencia bajo un modelo comprensivo. Márgenes, Revista de Educación de la Universidad de Málaga, 4(2), 53-70. https://doi.org/10.24310/mgnmar.v4i2.14515
DOI: https://doi.org/10.24310/mgnmar.v4i2.14515

copyrightEsta obra está bajo licencia internacional Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0.


José Alfonso Jiménez Moreno 0000-0003-0704-7883
Universidad Autónoma de Baja California
Instituto de Investigación y Desarrollo Educativo
jose.alfonso.jimenez.moreno@uabc.edu.mx

Joaquín Caso Niebla 0000-0002-3557-1722
Universidad Autónoma de Baja California
Instituto de Investigación y Desarrollo Educativo
jcaso@uabc.edu

Juan Guillermo Vaca Rodríguez 0000-0002-5115-7177
Universidad Autónoma de Baja California
Facultad de Ciencias Marinas
juangvaca@uabc.edu.mx

RESUMEN:
El presente artículo se centra en el desarrollo de una propuesta para el problema de evaluación académica en educación superior. A partir de la necesidad institucional de la Universidad Autónoma de Baja California (UABC), México, se desarrolló un mecanismo de evaluación para su personal académico en sus actividades de investigación y posgrado, enfocado en ofrecer retroalimentación para la mejora de las labores académicas. Considerando la necesidad de tomar en cuenta indicadores más robustos que la sola productividad científica, se decidió utilizar el modelo de evaluación comprensiva para definir las áreas de evaluación a partir de la experiencia y necesidades de la comunidad universitaria. A través de la participación de 579 académicos de toda la universidad a partir de una encuesta abierta, se definieron las categorías e indicadores por evaluar, mismas que pretenden reflejar las demandas del contexto particular de los académicos participantes. Se realizó un análisis de contenido inductivo de las respuestas obtenidas; derivado de ello se definió un mecanismo de evaluación que sugiere el uso de tres instrumentos: Guía de autoevaluación; Guía de entrevista; y, Cuestionario para estudiantes. Cada instrumento se sujetó a revisión de expertos de la propia comunidad universitaria para valorar su pertinencia de aplicación para las diferentes áreas de conocimiento. Como resultado, se obtuvo una propuesta de mecanismo de evaluación basada en la colegialidad y no en estándares, coincidiendo así con la perspectiva comprensiva, la cual pretende reflejar la diversidad de la comunidad universitaria y la complejidad que implica la realización de actividades académicas en el ámbito del posgrado y la investigación.

PALABRAS CLAVE: evaluación formativa; evaluación académica; evaluación institucional

ABSTRACT:
This article focuses on the development of a proposal for the academic evaluation in higher education. Based on the institutional need of the Autonomous University of Baja California (UABC), Mexico, we developed an evaluation mechanism for its academic staff in their research and postgraduate activities, focused on offering feedback to improve academic work. Considering the need to take into account more robust indicators than scientific productivity by itself, we decided to use the comprehensive evaluation model to define the evaluation areas, based on the experience and needs of the community. Through the participation of 579 academics based on an open survey, the categories and indicators to be evaluated were defined, which are intended to reflect the demands of the particular context of the participating academics. We performed an inductive content analysis of the responses obtained; derived from this, we defined an evaluation mechanism that suggests the use of three instruments: Self-assessment guide; interview guide; and, Questionnaire for students. Each instrument was reviewed by experts from the university community to assess its possibility of application in all university areas. As a result, we obtained a proposal for an evaluation mechanism based on collegiality, thus coinciding with the comprehensive perspective, which aims to reflect the diversity of the university community and the complexity involved in carrying out academic activities in the field of postgraduate and research.

KEYWORDS: formative evaluation; academic evaluation; institutional evaluation

Financiación: Esta investigación fue financiada por la Universidad Autónoma de Baja California, a través de la convocatoria interna 2020, promovida por la CGIP.
Agradecimiento: Los autores agradecen la participación de los 579 académicos implicados en el presente estudio quienes apoyaron la definición de categorías y criterios; así como de los siete coordinadores de investigación y posgrado y del conjunto de estudiantes que con sus juicios y valoraciones permitieron la validación de los instrumentos propuestos.

1. INTRODUCCIÓN

La investigación que a continuación se presenta derivó de la intención de la Universidad Autónoma de Baja California (UABC), México, de desarrollar una propuesta para la evaluación de su personal académico en sus actividades de investigación y de posgrado, con el propósito de generar información que alimente las políticas institucionales en esta materia. Se implementó una metodología para la recolección de información sobre diversas dimensiones asociadas con el desempeño del personal académico en sus actividades en los programas de posgrado y sus prácticas de investigación. Los supuestos que subyacen a la propuesta parten del reconocimiento de la diversidad como rasgo distintivo de la actividad que realizan las diferentes comunidades académicas. La investigación que se presenta no solo pretende contribuir a la generación de propuestas de mecanismos institucionales, también documenta una experiencia que pretende sumar a la discusión sobre los alcances, objetivos e instrumentos por utilizar en evaluaciones que vayan más allá de la burocratización (Buendía et al., 2017) o de ejercicios enfocados solo en la productividad (Vázquez e Hirales, 2018). Cabe aclarar que el desarrollo de este estudio se llevó a cabo a través de medios digitales, debido a la contingencia sanitaria causada por el virus SARS-CoV-2.

2. PROBLEMÁTICA Y JUSTIFICACIÓN

La evaluación de los programas, procesos y prácticas educativas son actividades de gran relevancia para las Instituciones de Educación Superior (IES) en México , ello debido a que la información que se genera es un insumo importante para la planificación institucional, así como para la retroalimentación de las actividades de la vida universitaria. Uno de los ámbitos de evaluación de mayor importancia dentro de la vida académica es aquella enfocada en la investigación. Tradicionalmente, esta labor se realiza enfocada en la identificación de productos académicos, situación fuertemente influida la intención institucional de transferencia del conocimiento (Vasen, 2018).

Considerando las perspectivas actuales de la evaluación de los docentes universitarios en sus funciones académicas (Buendía et al., 2017; Franco-López et al., 2017; Autor; Park y Woo, 2018), la medición de los logros, así como el conteo de las publicaciones en revistas son las prácticas consideradas como válidas para reconocer el trabajo académico (Vasen, 2018). De esta manera, se reafirma la intención de legitimación socio-académica de la ciencia, reducida a los productos comunicativos generados (Jiménez, 2019). Esto resulta insuficiente para poder hacer una evaluación amplia; frente a ello, y en consideración de la necesidad de plantear propuestas de evaluación acordes con la realidad institucional (Cordero et al., 2003), se realizó un proyecto coincidente con los esquemas y dinámicas propias de la UABC.

A partir de los procesos de modernización educativa suscitados en Latinoamérica desde los años ochenta, se establecieron formas de evaluación como medio de fomento de competitividad . Estas intenciones se operan en México a través del Sistema Nacional de Investigadores (SNI) del Consejo Nacional de Ciencia y Tecnología (CONACYT), así como programas de estímulos enfocados en la productividad (Cordero et al., 2003; Autor). Los mecanismos de evaluación a nivel nacional se reducen mayoritariamente a la medición de la productividad a través de publicaciones en revistas de alto impacto, lo cual ha sido fuertemente criticado en la literatura internacional, particularmente en el contexto de habla hispana, debido a un exceso de reductibilidad, así como a la necesidad que el trabajo académica solo responda a determinados indicadores (Buendía et al., 2017; Galaz, Martínez y Gil, 2020; Jiménez, 2019; San Fabián, 2020; Vera y González-Ledesma, 2018). Adicionalmente, en el caso particular de la UABC, existe el Programa de Reconocimiento al Personal Académico (PREDEPA), el cual se enfoca en la recopilación de evidencias del personal académico con fines de incentivar los indicadores de productividad (Vázquez e Hirales, 2018); sin embargo, sus resultados no ofrecen retroalimentación alguna para mejorar los procesos académicos.

Dentro de la UABC existen modelos de evaluación docente enfocados al nivel licenciatura (Henríquez et al., 2020), además, existen antecedentes de evaluación a nivel posgrado, las cuales se implementan a través de la Coordinación General de Investigación y Posgrado (CGIP) —instancia encargada de administrar todo lo relacionado con estas áreas en la UABC—. Sin embargo, estos ejercicios además de que no han sido debidamente documentados, no consideran en sus diseños actividades que no sean relacionadas con la docencia (como dirección de tesis, vinculación, tutorías, entre otros), ni sobre el desarrollo de investigaciones, más allá de publicaciones o participación en congresos.

A partir de la necesidad de ofrecer un esquema de retroalimentación vinculado con el desempeño del personal en actividades de Posgrado e Investigación, y de las orientaciones ofrecidas por la bibliografía, que apunta hacia la consideración de formas de evaluación robustas (Buendía et al., 2017; Franco-López et al., 2017), la investigación tuvo por objeto desarrollar un mecanismo para evaluar las funciones de posgrado e investigación de los académicos de la UABC.

3. EVALUACIÓN DEL TRABAJO ACADÉMICO EN EDUCACIÓN SUPERIOR

Tradicionalmente, la evaluación académica en las IES mexicanas se regula a través de dos medios: en las que el Estado Mexicano establece las pautas de reconocimiento de su labor (como el caso del SNI); o bien, a través de ejercicios institucionales, como es el caso del PREDEPA en la UABC. Los procesos de evaluación regulados por el Estado establecen reconocimientos simbólicos y monetarios a la productividad, esto como forma de incentivar la producción bajo los intereses temáticos nacionales . Uno de los mayores problemas de este mecanismo ha sido la reducción de la labor académica a la publicación en determinadas revistas; de tal manera que la pretensión de publicar exclusivamente en revistas con alto factor de impacto ha influido en que la investigación se enfoque fuertemente en la difusión de resultados.

Los ejercicios de evaluación docente se han caracterizado por valoración de elementos parciales, así como por la acumulación de comprobantes de cada una de las actividades (Rueda, 2018). Frente a ello, la literatura apunta a que las evaluaciones no deben centrarse solo en premiar la labor que realizan los docentes (Buendía et al., 2017). Bajo esta dinámica, se pretende desarrollar mecanismos que permitan retroalimentar la labor académica y de investigación no por la cantidad de publicaciones generadas (Franco-López et al., 2017). La construcción de un mecanismo de evaluación que aquí se documenta retoma la idea de una valoración sistemática que oriente la función académica de manera formativa, que valore el trabajo académico en función de sus propósitos, los retos que enfrentó, la manera de solucionarlo, así como los aspectos por mejorar (Buendía et al., 2017).

Este posicionamiento es coincidente con la preocupación internacional respecto a la diversificación de la evaluación académica. En 2017 se firmó el San Francisco Declaration on Research Assessment (DORA), en el cual 840 instituciones formalizaron su intención de no apoyarse únicamente en el factor de impacto de las publicaciones al momento de evaluar la investigación. Como propuesta, se manifestó que el contenido de la publicación es más importante que las métricas de las revistas; y que para valorar los logros de una investigación se pueden considerar también lo que se genera (bases de datos, software, entre otros) (Franco-López et al., 2017). Bajo esa misma intención, Oztaysi et al. (2017) sugieren los siguientes criterios para poder valorar el trabajo que se realiza en investigación, más allá de la productividad y publicación en revistas de alto impacto:

  1. Potencial de innovación y originalidad.
  2. Viabilidad legal, ética, técnica y económica.
  3. Competencia y experiencia de los investigadores.
  4. Infraestructura de la investigación, así como inclusión de estudiantes.
  5. Colaboración gubernamental o con otras instancias.
  6. Potencial para patentar y publicar la investigación.

Estas categorías son más amplias que la mera consideración de la cantidad de publicaciones como factor de evaluación. Sin embargo, también es importante considerar los objetivos particulares institucionales, más allá del planteamiento de propuestas sin contextos definidos. Además, es importante que la comunidad universitaria participe en la definición de los criterios de evaluación (Cordero et al., 2003). Dada la intención del proyecto, fue necesario considerar un modelo de evaluación que reconociera las orientaciones referidas por la literatura, así como de las necesidades institucionales. Bajo estas consideraciones se optó por el modelo comprensivo de evaluación educativa propuesto por Stake (2006).

La evaluación comprensiva pretende dar respuesta a las necesidades y particularidades del fenómeno por evaluar. Este enfoque no se centra en las características técnicas de la evaluación, sino en atender las necesidades e intereses de los stakeholders1, con el fin que la información que se genere sea de utilidad para éstos. Para el modelo de la evaluación comprensiva, el diseño metodológico enfocado en los instrumentos y la persecución de la objetividad no trasciende a la comprensión a profundidad de las características del evaluando (Stake, 2006). Según este autor, el trabajo debe ser caracterizado conforme a las particularidades de su contexto. Debido a que la evaluación implica analizar prácticas humanas, se vuelve necesario entenderlas como acciones contextualizadas y reconocer que se trabaja con experiencias de las personas en un momento y condiciones en particular.

En términos técnicos, la evaluación comprensiva utiliza una diversidad de medios de recolección de información (Stake, 2006), considerando siempre el rescate de la experiencia propia de los stakeholders dentro de las evaluaciones que se desarrollen.. Considerando las recomendaciones de la literatura respecto a que la evaluación debe tomar en cuenta la diversidad de agentes y la evitación de los procesos de burocratización, el modelo seleccionado permite establecer una propuesta en la que involucre a la comunidad universitaria (Buendía et al., 2017; Cordero et al., 2003), no solo como una fuente de información, sino como quienes delimitan los alcances y limitaciones de la propuesta.

4. METODOLOGÍA

Se fundamentó en el modelo comprensivo (Stake, 2006), que favoreció que la propuesta fuera acorde con las necesidades perspectivas institucionales de la comunidad de la UABC, dado su contexto en particular. Una de las características del modelo comprensivo es que no se define a sí mismo como cuantitativo o cualitativo, sino que es flexible respecto a la incorporación de técnicas que faciliten el acercamiento al fenómeno de interés. Esta perspectiva implica la participación de los diversos stakeholders relacionados con las actividades de Posgrado e Investigación, así como el Modelo Educativo de la universidad (UABC, 2018). Esta metodología permitió considerar el ideal sistemático y colectivo que la literatura sugiere para efectos de evaluaciones académicas (Buendía et al., 2017).

El método no se enfocó en los instrumentos en sí mismos, sino en la identificación de la perspectiva de los agentes (Stake, 2006) y su correspondencia con el mecanismo de evaluación planteado. En ese sentido, el proyecto implicó estar en cercanía con los actores que definen los procesos de investigación y posgrado de la UABC; es decir, los académicos de las diferentes áreas del conocimiento, además de la CGIP. A continuación, se describen las actividades realizadas en cada una de las etapas mencionadas.

4.1. Delimitación conceptual de las actividades por evaluar

Para la delimitación conceptual no bastaba con la identificación de las orientaciones de la literatura. Considerando las sugerencias de Stake (2006), respecto a la univocidad del objeto de evaluación y la necesidad de resaltar la visión de los stakeholders; pero también, la importancia que la comunidad participe activamente en la definición de criterios por evaluar (Buendía et al., 2017; Cordero et al., 2003; Rueda, 2018), se optó por buscar un mecanismo que permitiera recuperar la perspectiva de los stakeholders.

Inicialmente se había planeado la organización de foros de discusión en cada uno de los diferentes campus de la universidad, con representatividad de las siete áreas del conocimiento: Ciencias Agropecuarias, Ciencias de la Educación y humanidades, Ciencias de la Ingeniería y Tecnología, Ciencias de la Salud, Ciencias Económico-Administrativas, Ciencias Naturales y Exactas, Ciencias Sociales; en los que se discutieran los criterios por considerar para esta evaluación. Sin embargo, derivado de la contingencia sanitaria causada por el virus SARS-CoV-2, se optó por la aplicación de una encuesta electrónica.

La definición de la encuesta diseñada ad hoc tomó en cuenta la valoración de dos académicos, ambos con experiencia en temáticas relacionadas con la educación superior e investigación. Como resultado, se generó un instrumento en el que se solicitó a los participantes que enlistaran las actividades de investigación y posgrado que, a su juicio, pueden ser evaluadas, tomando en cuenta lo siguiente:

De esta manera, las preguntas del instrumento fueron totalmente abiertas, con la intención de recopilar de manera libre la opinión y perspectiva de los participantes. La encuesta se aplicó a través del software SurveyMonkey entre el 18 agosto y 4 de septiembre de 2020. El instrumento se envió vía correo electrónico a todos los académicos de tiempo completo de la UABC. Como resultado se obtuvo una participación de 579 académicos. De estos, 52 % fueron hombres y 48 % mujeres.

Se obtuvieron un total de 848 propuestas sobre acciones por evaluar en Investigación, así como 858 respuestas respecto al ámbito de Posgrado. El procedimiento posterior se basó en el análisis de contenido inductivo (Saldaña, 2015) a través de un ejercicio iterativo que orientó la definición de categorías e indicadores por considerar en la evaluación. El uso de una lógica inductiva permitiría retomar la perspectiva propia de los participantes y clasificarla en función de la información manifiesta, guardando así coincidencia con la perspectiva adoptada en el proceso de evaluación, respecto a que la evaluación debe reflejar los criterios e indicadores establecidos por los actores en un contexto en particular (Buendía et al., 2017; Stake, 2006).

El análisis requirió un trabajo iterativo de las respuestas, en el que se asignaron códigos para las 1,706 respuestas (848 de Investigación y 858 de Posgrado). Se trabajó con el software MAXQDA en su versión 2020, con el apoyo de dos becarios, ambos estudiantes de la licenciatura en Ciencias de la Educación, con quienes se trabajaron diversas sesiones de calibración de juicios. La organización de los códigos se realizó en función de núcleos de significado (Quecedo y Castaño, 2002). A partir de estos núcleos se delimitaron las categorías de cada área. Dentro del proceso se buscó que los códigos y las categorías se mantuvieran relativamente excluyentes entre sí. Las categorías y códigos resultantes representaron la propuesta conceptual sobre la cual se construyeron todos los instrumentos.

4.2. Determinación del mecanismo de evaluación

En concordancia con el modelo utilizado (Stake, 2006), se asume que el mecanismo debía de ser lo suficientemente flexible para reflejar la realidad de la vida académica en las diferentes unidades académicas de la UABC. Además de haber construido una serie de categorías e indicadores, era necesario evitar la burocratización (Buendía et al., 2017; Franco-López et al., 2017; Rueda, 2018) y mantener la posibilidad de diálogo entre los académicos.

Como consecuencia del ejercicio de la encuesta, se realizaron tres instrumentos: a) Guía de autoevaluación; b) Guía de entrevista y, c) Cuestionario para estudiantes. La racionalidad de la selección se basa en la reflexión sobre las labores propias desarrolladas por los académicos (Buendía et al., 2017; Rueda, 2018), así como en la colegialidad y diálogo que ofrecen. Asimismo, se valoró importante incluir la perspectiva de los estudiantes de posgrado, con fines de incorporar en esta discusión a los diversos actores involucrados en los procesos de investigación y aspectos formativos (Stake, 2006). Estos cuestionarios se entregaron a la institución a manera de propuesta, con el fin que cada unidad académica valorara su implementación y posibles ajustes acordes con las particularidades disciplinares en cada caso.

4.3. Elaboración de instrumentos

Con la finalidad de contar con evidencias de validez adicionales, los instrumentos se sometieron a un conjunto de procedimientos de revisión indicados por la literatura (Kane, 2011). La Guía de autoevaluación y la Guía de entrevista fueron analizadas por siete coordinadores de investigación y posgrado de diferentes unidades académicas de la UABC. Por su parte, el Cuestionario fue revisado a detalle por ocho estudiantes de posgrado. La siguiente tabla resume las características de los revisores:

Tabla 1: Resumen de revisores de los instrumentos elaborados. Fuente: Elaboración propia.

Instrumento Número de revisores Unidades participantes
Guía de autoevaluación 7 coordinadores de investigación y posgrado Fac. Sociales.
Fac. de Ciencias Humanas.
Fac. de Medicina y psicología.
Inst. de Ingeniería.
Inst. de Investigaciones oceanológicas.
Fac. de Ciencias.
Inst. de investigaciones en ciencias veterinarias
Guía de entrevista
Cuestionario para estudiantes 8 estudiantes de posgrado

La revisión se realizó con el fin de valorar la pertinencia de los indicadores propuestos, la suficiencia de la información, así como la claridad de los ítems. La validación se realizó durante el mes de enero de 2021 de manera asincrónica con el uso de medios digitales. La información obtenida se sistematizó; asimismo, se analizaron todos los comentarios recibidos para cada ítem de los tres instrumentos. Como consecuencia, la propuesta inicial sufrió cambios, con el fin de hacerla acorde con lo expresado por los revisores.

5. RESULTADOS

Con la finalidad de organizar la información resultante del proyecto de investigación, los resultados se organizan en función de las fases descritas con anterioridad.

5.1. Delimitación conceptual de las actividades por evaluar

En concordancia con las recomendaciones de la literatura (Buendía et al., 2017; Didier, 2014; Follari, 1999; Franco-López et al., 2017; Oztasi et al., 2017), se optó por un proceso inductivo, enfocado en recopilar la perspectiva del personal académico. Como resultado, se obtuvieron un total de 848 propuestas de actividades por evaluar y 858 respuestas respecto al posgrado, de un total de 579 participantes. Las edades de los participantes oscilaron entre 29 y 71 años, con un promedio de 44.31 años. La mayoría de los participantes (35.86 %) tenía entre 30 y 39 años. La información detallada de los participantes es la siguiente. En el caso de los años de experiencia laboral dentro de la universidad, hubo participantes con entre 1 y más de 40 años de experiencia; el promedio de experiencia fue de 13.34 años, y el mayor porcentaje registra entre 1 y 10 años de labor universitaria (50 % de los participantes).

Vale resaltar que 50 % de los participantes manifestaron pertenecer al SNI. Lo cual refleja la alta participación de la comunidad en medios de evaluación académicos de orden federal. Por último, en lo que respecta a la representatividad de las diversas áreas de conocimiento, la Tabla 4 muestra el porcentaje de participación de académicos en cada una de ellas. Al igual que en otras variables, se observa una participación diversa. El registro de participación consideró 12.54 % de profesores del área de Ciencias Administrativas, 6.52 % de Ciencias Agropecuarias, 14.6 % de Ciencias de la Educación y Humanidades, 16.15 % de Ciencias de la Salud, 12.19 % de Ciencias Naturales y Exactas, 12.88 % de Ciencias Sociales, y la mayor participación fue del área de Ingeniería y Tecnología, con 25.08 %.

Los resultados de la población reflejan una interesante multiplicidad de perfiles, lo cual abonó para contar con información que mantuviera un determinado nivel de representación de la totalidad de áreas del conocimiento de la UABC. Como resultado del ejercicio de codificación se definieron las siguientes categorías e indicadores, los cuales pretenden ser un eje para el desarrollo de los mecanismos de evaluación académica a nivel institucional. Las categorías definidas para cada dimensión se generaron a partir de la agrupación de indicadores semánticamente relacionados.

La Tabla 5 muestra, así, los indicadores que la comunidad académica participante delimita como importantes para realizar la evaluación en las dos áreas de interés. Todos los indicadores se redactaron en infinitivo con la finalidad de establecer una manera unívoca para su posterior interpretación y trabajo de operacionalización para efectos de construir los instrumentos en cuestión.

DIMENSIONES CATEGORÍAS INDICADORES FRECUENCIA
INVESTIGACIÓN Perfil del investigador Formar parte de comité editoriales y de evaluación científica 2
Asegurar el perfil adecuado para sus funciones 2
Sumar evaluaciones externas para la valoración del perfil 2
Contar con reconocimientos externos 13
Diseño de investigación Definir la línea de investigación 2
Elegir tema de investigación acorde con el perfil profesional 8
Elaborar el protocolo de investigación 63
Marco teórico Identificar bibliografía reciente y pertinente 25
Definir el marco teórico de la investigación 16
Metodología Planear la estrategia metodológica del estudio 45
Diseñar instrumentos de evaluación 12
Recolectar información 5
Análisis de la información Crear base de datos para su posterior análisis 3
Analizar la información 11
Evaluar modelos aplicados 2
Impacto de la investigación Vincular la investigación con la práctica profesional 2
Vincular investigación con la docencia 6
Vincularse con sectores externos 10
Participar en desarrollos tecnológicos 2
Proponer temas relevantes e innovadores 30
Diseñar investigaciones con impacto en la región 30
Evaluar el impacto de la investigación 17
Difusión y divulgación del trabajo científico Elaborar el reporte de investigación 18
Desarrollar trabajos como primer autor 1
Registrar patentes o derechos de autor 9
Identificar revistas científicas 6
Crear eventos académicos 4
Participar en foros académicos 38
Publicar artículos, capítulos de libros o libros científicos 81
Divulgar los resultados de las investigaciones 73
Función formativa Formar a colegas 5
Incorporar estudiantes a los proyectos de investigación 59
Gestión Elaborar un plan de trabajo detallado 2
Presentar un informe de actividades académicas 2
Equilibrar la carga horaria 10
Registrar proyectos de Investigación 6
Obtener financiamiento y recursos para la investigación 43
Contar con laboratorios y equipo especializados 35
Obtener apoyos institucionales 30
Administrar recursos de investigación 1
Trabajo colaborativo Fomentar un ambiente armónico 2
Participar en proyectos de investigación 8
Someter sus investigaciones a evaluación por parte de pares 9
Evaluar trabajos de investigación 20
Fomentar el trabajo colegiado 3
Desarrollar trabajo en redes 40
Participar en cuerpos académicos 35
POSGRADO Perfil del (la) académico(a) en posgrado Participar en asociaciones profesionales 1
Tener reconocimientos externos 13
Mantener una actualización disciplinaria y pedagógica 8
Buscar el nombramiento de profesor-investigador 3
Asegurar correspondencia del perfil profesional con el posgrado 9
Actividades de gestión Participar en la adquisición de acervo bibliográfico 1
Participar en actividades de gestión 3
Reclutar estudiantes de posgrado 2
Promocionar el posgrado a lo interno y externo 6
Dirección de tesis/proyectos terminales Participar como sinodal de tesis 33
Codirigir tesis/trabajos terminales 6
Valorar los diseños de los estudios de trabajo terminal 2
Revisar la pertinencia de los proyectos de estudiantes 16
Evaluar el impacto de la investigación 17
Documentar asesorías 8
Orientar el trayecto formativo del estudiante 10
Fomentar una comunicación adecuada con tutorados 2
Supervisar el avance de los estudiantes 10
Dirigir el avance en el programa 3
Asegurar el cumplimiento de objetivos del programa 8
Asesorar a estudiantes 51
Retroalimentar el avance de tesis/proyecto 41
Evitar sobrecargarse en dirección de tesis 3
Dirigir, al menos, una tesis de posgrado 93
Docencia Asegurar el cumplimiento del plan de clase 5
Impartir clase con apego al modelo educativo 7
Diagnosticar el nivel académico del grupo 2
Realizar el encuadre del curso 3
Impartir, al menos, una unidad de aprendizaje (asignatura) 54
Impartir clases en línea 3
Impartir clases en inglés 1
Formación de habilidades Asegurar la pertinencia de la formación 9
Velar por evitar el plagio 1
Fortalecer la formación metodológica 3
Promover prácticas en entornos reales 3
Guiar el proceso de búsqueda de información bibliográfica 4
Fomentar el aprendizaje autodidacta 1
Orientar la formación del estudiante hacia la investigación 10
Promover el pensamiento crítico 3
Formar competencias de vanguardia 1
Enseñar técnicas de investigación 3
Enseñar a los estudiantes al uso de base de datos 5
Enseñar a leer y escribir textos científicos 5
Movilidad Realizar acciones de movilidad (docente) 10
Fomentar/Apoyar la movilidad de los estudiantes 19
Participación en eventos académicos Ofrecer seminarios y conferencias 5
Realizar/Organizar eventos académicos 22
Participar en eventos académicos con estudiantes 24
Impulsar la participación de estudiantes en foros públicos 14
Planeación didáctica Usar herramientas de formación innovadoras 11
Seleccionar materiales para los cursos 8
Diseñar seminarios integradores de conocimiento 3
Seleccionar actividades de evaluación del aprendizaje apropiada 20
Asegurar materiales y referencias actuales 19
Ofrecer clase con conocimientos actuales 7
Actualizar unidades de aprendizaje 17
Elaborar planes/cartas de clase 10
Productividad con estudiantes Medir el impacto de la productividad estudiante-profesor 3
Promover que los estudiantes publiquen 23
Promover que los estudiantes colaboren con CA 1
Incorporar a estudiantes a proyectos de investigación 13
Fomentar que los estudiantes produzcan conocimiento 4
Desarrollar productos académicos con los estudiantes 5
Colaborar en investigaciones de las tesis de estudiantes 1
Trabajo colegiado Participar en procesos de selección 15
Participar activamente en modificaciones o acreditaciones 26
Participar en la creación de programas de posgrado 13
Colaborar en seguimiento a egresados 2
Colaborar con cuerpos académicos 3
Participar en el núcleo académico de los programas educativos 19
Participar en comités académicos 12
Vinculación Proponer proyectos a instancias externas 2
Fomentar una formación que atienda a necesidades de la región 6
Conseguir convenios 3
Trabajar en equipos multidisciplinarios 5
Colaborar con otros académicos 3
Colaborar con grupos de investigación externo 4
Vincularse con el sector social y productivo 18
Vincular actividades académicas con otro posgrado/unidad 15
Vincular actividades académicas con programas de niveles previos 1

Se observa la manifestación de preocupaciones de diversa índole que, como se comentó, trascienden la mera suma de la productividad académica. La información representa la organización sistematizada a través de la codificación inductiva (Saldaña, 2015) de la perspectiva individual manifestada por los académicos. Se conforma así una aproximación de las dimensiones, categorías e indicadores esperados por parte de la comunidad académica de la UABC respecto a lo que, a su juicio, debería evaluarse a nivel institucional en sus funciones de investigación y posgrado.

La frecuencia de cada uno de los indicadores refleja cómo existen ciertas acciones/actividades que resultan de mayor relevancia para la comunidad —considerando solo para ello el número de veces referida por los diversos participantes—. A continuación, se resaltan los diez indicadores con el mayor número de menciones (en paréntesis la frecuencia de cada uno de ellos):

Investigación

Como se puede observar, los indicadores de mayor referencia son aquellos relacionados con la publicación y divulgación de la investigación, elementos de gran tradición dentro de la evaluación académica. Es interesante como se manifiesta la incorporación de estudiantes, la planificación de las investigaciones, además de financiamiento y trabajo en redes.

Por su parte, en el caso del Posgrado, los indicadores de mayor frecuencia fueron los siguientes:

Posgrado

Las respuestas reflejan claramente la participación activa en la formación de los estudiantes, desde la relevancia de dirigir una tesis, impartir clase, así como participar activamente como sinodal. Adicionalmente existen acciones más enfocadas en temas de gestión, como participar en modificaciones o acreditaciones de programas educativos.

Esta valoración permite resaltar aquellos que la comunidad participante mencionó constantemente, independientemente del área de estudio. Sin embargo, la Tabla 5, en su conjunto, es ya un resumen de una libre participación de las y los académicos de la universidad —en todas las áreas de conocimiento— que se interesaron en participar en el ejercicio. Esto resulta, sin duda, una primera aproximación que deberá ser sujeta a análisis más precisos en cada una de las escuelas, facultades e institutos de la UABC, para valorar cómo los indicadores propuestos resultan cercanos o distantes a las necesidades y realidades particulares, en función del área de estudio y las características contextuales y demandas concretas en cada espacio universitario. De la misma manera, para su uso como referente para otras IES mexicanas y extranjeras, un análisis enfocado a las necesidades de los stakeholders de cada comunidad en particular resulta necesario.

5.2. Determinación del mecanismo de evaluación

A continuación, se describen los pasos a seguir sugeridos a la UABC para la evaluación de académicos en sus actividades de investigación y posgrado

5.2.1. Revisión colegiada de instrumentos propuestos

Considerando la necesidad que la evaluación que se propone refleje la realidad de las unidades académicas, los instrumentos se revisarán en el seno de cada escuela, facultad e instituto; y, de ser necesario, incluso con el equipo de investigación encargado de elaborar la propuesta. Esto con la intención de ampliar o reducir los indicadores manifiestos en cada instrumento, con el objetivo que refleje las particularidades disciplinares de cada unidad académica. Esto deberá realizarse a través de los cuerpos colegiados de cada escuela, facultad e instituto en lo particular.

5.2.2. Instrumentación de la Guía de autoevaluación

Este instrumento pretende iniciar la reflexión de toda la comunidad académica respecto a las actividades de Investigación y Posgrado que cada persona realiza durante el periodo que se defina en cada escuela, facultad o instituto. No se pretende que la guía sea una recolección de evidencias de trabajo; la pretensión de este instrumento es generar una reflexión respecto a las actividades plasmadas en los intereses manifiestos por la comunidad académica. La guía deberá fundamentar un ejercicio que aporte al análisis individual sobre las actividades y logros respecto a las actividades de investigación y posgrado que la misma comunidad estipula como relevantes. La guía, como propuesta, resulta extensa, ya que incluye una pregunta de reflexión individual para cada indicador (un total de 127 elementos). Sin embargo, deberá ser sujeta a análisis de cada grupo, tratando de ser lo más concreta posible.

5.2.3. Instrumentación de la Guía de entrevista

Se pretende que funja como un medio de orientación para el diálogo entre el personal y la unidad académica. Se espera que sea un eje de diálogo y retroalimentación respecto a la manera en que los académicos desarrollan sus investigaciones y sus actividades en el área de posgrado. De esta manera, a partir de la Guía de autoevaluación, de forma colegiada se puedan discutir objetivos, alcances, condiciones de trabajo y algunos otros elementos particulares. Su conformación es la misma que la Guía de autoevaluación, con la finalidad de ser complementarias, tratando de promover un análisis individual y colegiado.

5.2.4. Instrumentación del Cuestionario para estudiantes

La opinión de los estudiantes es un elemento de gran relevancia, ello debido a que son el beneficiario directo de las acciones de la universidad en términos formativos (Scriven, 2007). Con ello en mente, se estableció como relevante conocer la perspectiva de los estudiantes respecto al trabajo que realizan los académicos, particularmente en su rol como director(a) de tesis.

Con la incorporación de la perspectiva de los estudiantes, el mecanismo de evaluación permite también tomar en cuenta el punto de vista de uno de los beneficiarios directos del trabajo de posgrado. Adicionalmente, este instrumento consideró, no solo la inclusión de los indicadores enlistados en la Tabla 5, sino también, cómo las y los académicos universitarios promueven cada uno de los valores manifiestos en el código de ética de la UABC (2016), a saber:

5.3. Elaboración de instrumentos

Como parte de la preparación de los instrumentos se realizó un proceso de validación por parte de jueces. Esta actividad se sustenta en la intención de obtener evidencias de validez de contenido, más allá respecto a que éstos se construyeron a partir de la opinión de la comunidad académica; la opinión de jueces favorece a la comprensión y claridad del constructo (Escobar-Pérez y Cuervo-Martínez, 2008).

Para la obtención de la perspectiva de especialistas sobre la propuesta de instrumentos, se desarrolló un cuestionario para cada instrumento, con el cual se cuestionó sobre la Pertinencia, Claridad y Suficiencia; categorías que se definieron de la siguiente manera:

Para conocer la perspectiva de especialistas en el desarrollo de la Guía de autoevaluación y la Guía de entrevista, se procuró la participación de coordinadores de posgrado de las siete áreas del conocimiento (ver Tabla 1). A partir de las observaciones recopiladas, se realizaron ajustes sobre cada una de las guías, mayoritariamente centradas en la evitación de repetición de afirmaciones, pero, sobre todo, en lo que respecta a la pertinencia de las aseveraciones. Como resultado, se definieron las versiones de los instrumentos que se pusieron a disposición de las comunidades académicas.

Por su parte, el cuestionario se envió para revisión de estudiantes de posgrado de las siete áreas del conocimiento (ver Tabla 1). De la misma manera que las guías, el cuestionario tuvo ajustes, particularmente respecto a la claridad de las afirmaciones, pero, sobre todo, en la pertinencia de los cuestionamientos. El resultado de este ejercicio fue una primera versión del cuestionario para estudiantes.

Los tres instrumentos representan una propuesta de operacionalizar los indicadores del ejercicio de consulta, tratando de equilibrar la reflexión, participación colegiada, así como la perspectiva de los estudiantes de posgrado. De esta manera, se sugieren acciones que puedan ser valoradas por las comunidades académicas, y de ser así, utilizadas, o bien, adaptadas, en función de las necesidades y realidades particulares.

6. CONCLUSIONES

El trabajo aquí descrito se desarrolló bajo la intención de proponer un mecanismo de evaluación institucional que apoye las tareas que realiza la UABC y que pueda orientar la actividad que realizan otras IES con necesidades similares. La propuesta se estableció dando respuesta a las necesidades institucionales, pero también a las perspectivas de evaluación académica que la literatura en esta materia establece. En ese sentido, la literatura resalta la necesidad de diseñar ejercicios que reflejen la realidad institucional a la cual se enfrentan los académicos, que no se centre en la burocratización o en la intención de establecer estímulos de productividad (Buendía et al., 2017; Cordero et al., 2003).

Con esta idea, el mecanismo propuesto se desarrolló bajo la evaluación comprensiva (Stake, 2006). La diversidad metodológica y técnica que este modelo favoreció la recolección de información de los académicos universitarios y se atendieron puntualmente las exigencias propias del quehacer metodológico de análisis de información cualitativa (Quecedo y Castaño, 2002). Bajo estas orientaciones, el mecanismo de evaluación resultante rescató la perspectiva de la comunidad académica de la UABC, la cual, en consonancia con las delimitaciones institucionales, refleja un ejercicio de evaluación comprensivo que muestra la realidad bajo la cual se desarrollan las actividades de investigación y posgrado en el contexto institucional en particular. Como resultado, se logró obtener un mecanismo que recupera un ejercicio de reflexión por parte de cada miembro de la comunidad universitaria participante, promoviendo una discusión en cada unidad académica, así como la necesidad de incluir la perspectiva estudiantil respecto a las actividades y éticas de los académicos.

Los instrumentos están sujetos a ampliación o modificación, acorde con los objetivos y alcances de las unidades académicas y sus programas educativos. Sin embargo, como lo demuestra el trabajo descrito, los instrumentos se construyeron bajo las perspectivas que indica la literatura, teniendo como base la experiencia de académicos universitarios de las siete áreas del conocimiento, quienes, a través de sus juicios, permitieron la delimitación de categorías y criterios por evaluar. La posibilidad de analizar y ajustar el marco y los instrumentos dentro de cada comunidad académica resulta necesaria bajo la perspectiva comprensiva (Stake, 2006). Bajo este marco, no sería válido pensar en un mecanismo de evaluación preordenado o sistematizado que procurara unificar valoraciones de manera unívoca entre áreas del conocimiento o unidades académicas (escuelas, facultades e institutos); de tal suerte que la revisión y ajuste resulta importante para reflejar las perspectivas y necesidades particulares de cada disciplina y espacio universitario. Es importante resaltar las limitaciones del estudio. Al igual que el resto de las actividades académicas en todo el mundo, la contingencia sanitaria no permitió la aplicación de técnicas que permitieran conocer a mayor profundidad la lógica de las propuestas manifiestas por los participantes; actividades como foros de discusión, grupos de enfoque o entrevistas hubieran permitido contar con información de mayor profundidad. Sin embargo, la información recopilada permitió establecer categorías e indicadores de utilidad para intenciones como las descritas en este ejercicio.

Por otra parte, el estudio presenta no solo una propuesta de mecanismo institucional, sino que también ofrece un ejercicio práctico de implementación de mecanismos de evaluación que eviten enfocarse en la sobre burocratización del trabajo docente o el foco centrado solamente en la productividad en materia de investigación, o bien, que promueva una lógica meritocrática que la literatura critica (Buendía et al., 2017; Franco-López et al., 2017; Rueda, 2018), y que no necesariamente abona al seguimiento o a la retroalimentación de las actividades académicas. De esta manera, es necesario seguir desarrollando análisis respecto a cómo un mecanismo como el que se presentó tiene impactos dentro de las comunidades universitarias, tratando de identificar casos de éxito, así como elementos que influyan de forma negativa en el cumplimiento de los objetivos propuestos.

REFERENCIAS

Buendía, A., García, S., Grediaga, R., Landesmann, M., Rodríguez-Gómez, R., Rondero, N., Rueda, M. y Vera, H. (2017). Queríamos evaluar y acabamos contando: alternativas para la evaluación del trabajo académico. Perfiles educativos, 39(157), 200-219.

Cordero, G., Galaz, J. y Sevilla, J. (2003). Evaluación de la diversidad del trabajo académico: los programas de estímulo de la UABC: 1990-2002. UABC-ANUIES.

Didier, N. (2014). Capital humano nominal, empleabilidad y credencialismo. Revista Iberoamericana de Psicología, 7(2), 19-27.

Escobar-Pérez, J. y Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6, 27-36.

Follari, R. (1999). Aspectos teóricos metodológicos sobre evaluación de la función investigación en las universidades. Comisión Nacional de Evaluación y Acreditación Universitaria: Buenos Aires.

Fontes, J., Stack, J. y Antón, M. (2020). The emergence of the New Mexican academic meritocracy. Higher Education Governance and Policy, 1(2), 138-151.

Franco-López, A., Sanz-Valero, J. y Culebras, J. (2017). El factor de impacto ya no es el patrón de oro; la declaración de San Francisco sobre evaluación de la investigación. Journal of negative & no positive results, 2(5), 173-176.

Jiménez, A. (2019). El Sistema Nacional de Investigadores en México como mecanismo meritocrático de un Estado Evaluador. Reflexión política, 21(41). https://doi.org/10.29375/01240781.2850

Kane, M (2011). Content-related validity evidence in test development. En: Downing, S y Haldyna, T. (Coords.). Handbook of test develpoment (pp. 131-154). Lawrence Erlbaum Associates.

Martínez, R., Hernández, M. y Hernández, J. (2014). Psicometría. Alianza.

Negrete, R., Moctezuma, P., Mungaray, A., y Burgos, B. (2021). El impacto del Programa para el Desarrollo Profesional Docente en la construcción de capacidades académicas de la Universidad Autónoma de Baja California. Revista de la Educación Superior, 50(197), 77-95. http://resu.anuies.mx/ojs/index.php/resu/article/view/1580

Oztaysi, B., Onar, S., Goztepe, K. y Kahraman, C. (2017). Evaluation of research proposals for grant funding using interval-valued institutionistic fuzzy sets. Soft Comput, 21, 1203-1218.

Park, H. y Woo, H. (2018). Research evaluation of Asian countries using altmetrics: comparing South Korea, Japan, Taiwan, Singapore and China. Scientometrics, 117, 771-788.

Quecedo, R. y Castaño, C. (2002). Introducción a la metodología de investigación cualitativa. Revista de Psicodidáctica, 14, 5-39.

Henríquez, P., Boroel, B. y Arámburo, V. (2020). Percepciones docentes en torno a la evaluación del aprendizaje en el nivel educativo superior: el caso de la UABC (México) y la UCM (España). Actualidades Investigativas en Educación, 20(1).

Rueda, M. (2018). Los retos de la evaluación docente en la universidad. Publicaciones, 48(1), 171-192.

Saldaña, J. (2015). The coding manual for qualitative researchers. Sage.

San Fabián, J. (2020). El reconocimiento de la actividad investigadora universitaria como mecanismo de regulación del mercado académico. Márgenes, 1(1), 23-44. http://dx.doi.org/10.24310/mgnmar.v1i1.7208

Scriven, M. (2007). The logic of evaluation. In H.V. Hansen, et. al. (Eds), Dissensus and the Search for Common Ground. (pp. 1-16). OSSA.

Stake, R. (2006). Evaluación comprensiva y evaluación basada en estándares. Graó.

Universidad Autónoma de Baja California [UABC] (2016). Código de ética universitario. UABC. Disponible en: https://bit.ly/3JiktKR

Universidad Autónoma de Baja California [UABC] (2018). Modelo Educativo de la UABC. UABC. Disponible en: https://bit.ly/3q8MoW8

Vasen, F. (2018). La ‘Torre de marfil’ como apuesta segura: políticas científicas y evaluación académica en México. Archivos Analíticos de Políticas Educativas, 26(96). http://dx.doi.org/10.14507/epaa.v26.3594

Vázquez, J. e Hirales, M. (2018). Desempeño del personal académico: notas para comprender resultados de un programa de evaluación del profesorado universitario. Ponencia presentada en el Congreso Internacional de Educación y Aprendizaje. Disponible en: https://bit.ly/3KKGlid

Vera, H. y González-Ledesma, M. (2018). Calidad y evaluación: matrimonio del cielo y el infierno. Perfiles educativos, 40(Especial), 53-97.

1 El término stakeholders es frecuentemente utilizado en el ámbito de la evaluación educativa, y refiere a los agentes o partes interesadas en el proceso y resultados de la evaluación.

Márgenes, Revista de Educación de la Universidad de Málaga