ABSTRACT
This article is a preliminary proposal of an assessment model for conference interpreting (both simultaneous and consecutive) coming from the experience of the Department of Interpreting and Translation (DIT) at the University of Bologna and, more specifically, from the best practices emerging from teaching support (exercise hours) and extra-curriculum (tutorials) activities of conference interpreting between Italian and Spanish. However, these best practices may be applied to any language combination. The model is based upon three phases: self-assessment, peer assessment and expert assessment. The second part of this article describes the implementation modalities and the methods of this approach at DIT. To conclude, this article sheds lights on some potential investigation developments.
KEYWORDS: interpreting; self-assessment; peer assessment; expert assessment.
RESUMEN
Este artículo es una propuesta preliminar de un modelo de evaluación de la interpretación de conferencias (tanto simultánea como consecutiva) que viene de la experiencia desarrollada en el Departamento de Interpretación y Traducción (DIT) de la Universidad de Bolonia, y, precisamente, de las buenas prácticas que surgieron de las actividades de apoyo a la didáctica (ejercicios) y extra-curriculares (tutorías) de interpretación entre italiano y español. Sin embargo, dichas buenas prácticas se pueden aplicar a cualquiera combinación lingüística. El modelo se basa en tres fases: autoevaluación, evaluación entre pares y heteroevaluación. En la segunda parte se describen las modalidades y los métodos de aplicación de este enfoque en el DIT y, finalmente, se vislumbran algunos potenciales desarrollos aplicativos de la investigación.
PALABRAS CLAVE: interpretación; autoevaluación; evaluación entre pares; heteroevaluación.
La investigación en el campo de los Interpreting Studies está marcada por una gran cantidad de estudios sobre la evaluación de la calidad en interpretación: ya en los años ‘70 y ‘80 se empezaron a definir una serie de indicadores de calidad y también a desarrollar una teoría basada en la error analysis (Barik, 1975; Kopczynski, 1980), pasando por una serie de estudios sucesivos sobre la identificación de estrategias de interpretación y cuadros de evaluación más complejos (Dillinger, 1994), hasta llegar a una evaluación indirecta de la calidad que tome en consideración la percepción de los usuarios de la interpretación (Pöchhacker, 1994; Shlesinger, 1994; Kurz, 2001). Finalmente, en las últimas dos décadas, la investigación se ha centrado en la búsqueda de definiciones específicas de calidad y norma en interpretación y en lo que se puede efectivamente medir (Garzone, 2002; Kalina, 2005), así como la definición de calidad como proceso (Moser-Mercer, 2008).
En cambio, en lo que atañe a la investigación sobre la evaluación de la interpretación para fines didácticos, la literatura es más limitada. En este campo existen dos principales ejes de investigación: la heteroevaluación (evaluación externa) realizada por el docente y la autoevaluación por parte del estudiante como herramienta de formación para el desarrollo de sus capacidades de interpretación. En lo que atañe al primer grupo, algunos investigadores elaboraron unos complejos cuadros de evaluación de las prestaciones de los estudiantes (Schjoldager, 1996; Ackermann et al., 1997; Falbo, 1998; Riccardi 2002); en lo que respecta al segundo grupo, en cambio, se pueden encontrar unos estudios a favor del uso de la autoevaluación como metodología didáctica (Heine, 2000). Sin embargo, los primeros estudios empíricos sobre la autoevaluación aplicada a la didáctica de la interpretación empiezan a surgir solamente a partir de la segunda mitad de los años ‘90 (Russo, 1995; Bartlomiejczyk, 2007).
Por último cabe subrayar que, además de la heteroevaluación y la autoevaluación, poca atención se ha dedicado al papel de la evaluación entre pares en la literatura científica: algunos estudios, como por ejemplo Schafer (2011), subrayan la importancia de la llamada deliberate practice, o sea una actividad añadida fuera del aula a realizarse en autonomía bajo el impulso inicial del docente quien establece con el estudiante una serie de objetivos de aprendizaje personalizados. Sin embargo, tampoco este caso hace mención de la evaluación entre pares; en cambio, se define la actividad como encaminada hacia la autoevaluación, descuidando la perspectiva de colaboración dentro del grupo-clase. Entre los pocos estudios que analizan la evaluación entre pares de forma sistemática se encuentra Foster y Cupido (2017) que propone un cuadro de evaluación de la calidad en interpretación en ámbito académico diseñado por y para intérpretes: de todas formas, cabe recordar que en este caso no se trata de estudiantes sino de intérpretes profesionales que trabajan en la universidad1.
En el Posgrado en Interpretación del Departamento de Interpretación y Traducción (DIT) de la Universidad de Bolonia, se han activado desde hace años algunas actividades formativas añadidas que acompañan las actividades curriculares tradicionales: por ejemplo, los ejercicios y las tutorías de interpretación de conferencias entre italiano y español. Las primeras son una integración del curso del docente titular a través de un plan didáctico compartido que sigue el mismo calendario de temas de semana en semana con el afán de reforzar tanto las competencias técnicas (simultánea y consecutiva) como los conocimientos enciclopédicos/léxicos relacionados con los temas tratados (economía, política internacional, medioambiente, etc.). En cambio, las tutorías se proponen como una actividad añadida opcional bajo petición de los estudiantes y están encaminadas hacia un apoyo personalizado sobre todo para los que muestran dificultades específicas: todo esto se puede realizar gracias al número muy reducido de estudiantes que participan cada vez de forma voluntaria y bajo petición directa, en un contexto didáctico más informal ya que son actividades desvinculadas de cualquier tipo de nota o evaluación formal.
Debido a las características específicas de los dos tipos de actividad de formación, en los últimos años han surgido algunas buenas prácticas que, aunque vengan de un contexto didáctico menos formal que en las clases curriculares, merecen ser compartidas y analizadas ya que no se encuentran con frecuencia en la amplia literatura sobre didáctica de la interpretación.
Entre los aspectos más importantes de las buenas prácticas relacionadas con las actividades didácticas extracurriculares, destaca la evaluación como proceso y no solo como meta final de un recorrido de formación (Schafer, 2011). Esto podría parecer en contradicción con el hecho de que ninguna de las dos actividades (ejercicios y tutorías) prevé una evaluación del estudiante por parte del docente. Sin embargo, precisamente en virtud de la falta de una nota final y del trabajo personalizado hecho en grupos de estudiantes mucho más reducidos que en el grupo-clase entero, ha sido posible en los años detenerse de forma específica (y sin las presiones originadas por la prueba final de examen) para reflexionar sobre todos los aspectos de la evaluación desde varias perspectivas y sobre lo que significa evaluar en la interpretación entre italiano y español (precisamente, qué evaluar y por qué).
En virtud de lo que ha surgido de dicha experiencia didáctica que lleva más de una década, aquí se propone un potencial modelo de evaluación de la interpretación que se basa en tres puntos: autoevaluación, evaluación entre pares y heteroevaluación.
A raíz de los estudios mencionados arriba llevados a cabo sobre un amplio abanico de cursos de formación para intérpretes y de la experiencia didáctica desarrollada en el campo en el DIT, la fase de evaluación de los ejercicios y de las tutorías de interpretación entre italiano y español se ha organizado en tres vertientes que, a su vez, se reparten en el siguiente orden cronológico (Fig. 1):
Figura 1. Propuesta de modelo de evaluación de proceso.
Esta fase se ha repartido a su vez en dos partes. En la primera, al finalizar la prueba, al estudiante se le pide evaluar los aspectos más críticos del discurso original sobre la base de un esquema de criterios descrito a los estudiantes antes de la prueba. Dichos criterios son de tres tipos:
Este análisis, junto con la presentación inicial pre-ejercitación por parte del docente, está encaminado a concienciar al estudiante sobre sus dificultades frente a determinadas características del discurso de partida (velocidad, acento, tipo de discurso, sintaxis, etc.): de esta forma, está llamado a confirmar (o no) el análisis de las variables más críticas del texto original efectuada antes del ejercicio por parte del docente y, al mismo tiempo, en esta primera fase se abre el debate a todo el grupo, incluyendo a los estudiantes que no efectuaron la prueba y que solo escucharon a sus compañeros. Esta apertura de la clase permite comparar las dificultades específicas de un estudiante con las del grupo, aumentando la conciencia entre los estudiantes sobre su percepción del discurso original y, por consiguiente, sobre sus propias necesidades específicas de aprendizaje.
En la segunda parte se pasa a la autoevaluación propiamente dicha, es decir, un momento de reflexión «en caliente» por parte del estudiante justo después de la ejecución de la prueba, seguido por una fase de consolidación a posteriori en la que, por cuenta propia después de la clase, al estudiante se le pedirá escuchar su grabación (normalmente solo audio, aunque, en lo posible, también en vídeo) y hacer una segunda autoevaluación. La división de estas dos fases asíncronas permite aumentar la conciencia individual sobre la percepción de la prueba justo después de la actuación y, también a distancia de tiempo de la actuación a través de un análisis sistemático de la grabación.
Los estudiosos de la didáctica de la interpretación coinciden en reconocer un valor importante a la autoevaluación en el proceso de aprendizaje de la técnica, en particular para definir con más precisión una serie de objetivos y herramientas específicas de aprendizaje (Russo, 1995; Schjoldager, 1996; Riccardi, 2002; Martínez-Fernández y González, 2006), siempre que el estudiante tenga la guía del docente a priori y a posteriori se le puedan proporcionar los instrumentos necesarios para sistematizar las variables a considerar (Schjoldager, 1996) a través de cuadros y tablas. De hecho, sin estos requisitos previos, la autoevaluación corre el riesgo de quedarse como una actividad solamente relacionada con la percepción subjetiva del estudiante que, por definición, no posee la necesaria conciencia metacognitiva para llevar a cabo esta operación (Kruger y Dunning, 1999). En cambio, al estudiante se le debe enseñar a observar algunas variables establecidas.
En lo que atañe a las tutorías y a los ejercicios de interpretación entre italiano y español llevadas a cabo en el DIT, la fase de autoevaluación se reveló muy útil, sobre todo en la perspectiva de la comparación entre la autoevaluación «en caliente» justo después de la actuación de la prueba y la autoevaluación a posteriori después de la escucha de la grabación ya que, en la segunda, los estudiantes tuvieron la posibilidad de re-evaluar sus percepciones iniciales a raíz del análisis sistemático de su prestación y, sobre todo, de las pautas proporcionadas por el docente en la fase de heteroevaluación.
Esta segunda fase, objeto de investigación solamente en años recientes (Bartlomiejczyk, 2007; Foster y Cupido, 2017), se ha introducido de propósito después de la autoevaluación y antes de la heteroevaluación con una triple finalidad: permitir una comparación añadida entre autoevaluación justo después de la prueba y evaluación por parte del docente; involucrar a todo el grupo, haciendo participar activamente también a los estudiantes que no pudieron/quisieron hacer la prueba y aumentando la capacidad crítica de todo el grupo llamado a reflexionar sobre las dificultades propias y de los demás; por último, pero no menos importante, subrayar la posibilidad de una dimensión colaborativa también en una actividad —y una profesión, la del intérprete— a menudo muy solitaria, en la que la prestación, el ejercicio y las competencias individuales a veces esconden la importancia del resultado final (o sea, la prestación de la cabina/equipo de intérpretes en su conjunto).
Esta última dimensión de colaboración entre pares tiene varios fines didácticos: en primer lugar, un objetivo de ética profesional, o sea crear una mayor conciencia hacia el trabajo en equipo y la colaboración previa a una clase/un examen así como a un encargo real en el mundo laboral; en segundo lugar, todo esto ayuda a establecer una idea de didáctica de la interpretación que no puede basarse solo en las horas efectivas de clase curriculares, sino que se debe relacionar con momentos de ejercicio autónomo en pequeños grupos fuera del aula. Esto no solo responde a exigencias prácticas (como se sabe, algunos programas de formación para interpretes tuvieron que reducir el número de horas efectivas de clase de interpretación3), sino también a la real necesidad por parte de los estudiantes de practicar sus habilidades de interpretación con continuidad también por cuenta propia, fuera del aula, sobre todo en pequeños grupos de compañeros para aumentar la conciencia colectiva de todo el grupo hacia las necesidades y objetivos de aprendizaje individuales.
Bartlomiejczyk (2007: 264) afirma que, frente a la imposibilidad de llevar a cabo una autoevaluación estructurada de manera formal, sería aconsejable apostar por la evaluación entre pares. Durante las tutorías y ejercicios en el DIT, en esta fase de evaluación entre pares se ha dejado amplio espacio a los estudiantes, con menos intervención posible por parte del docente ya que la fase sucesiva de heteroevaluación está completamente dedicada a sus comentarios y a la comparación entre estos últimos y las evaluaciones del grupo-clase.
El hecho de que estos encuentros se repitan con periodicidad constante manteniendo el mismo formato (análisis del discurso original - ejecución de la prueba - autoevaluación - evaluación entre pares - heteroevaluación) proporciona a la evaluación de los estudiantes una mayor estructuración y adherencia a los criterios de evaluación del docente a medida que el semestre va avanzando: la repetición de este esquema responde a los requisitos previos indicados en la literatura para que la autoevaluación y la evaluación entre pares sean eficaces, estructuradas y no exclusivamente basadas en percepciones personales sino en criterios comunes establecidos previamente.
Corresponde al momento en el que el docente interviene con un comentario estructurado sobre la actuación y subrayando la adherencia (o no adherencia) de la autoevaluación y de la evaluación entre pares con la evaluación de un experto.
Sin embargo, esta fase final de la evaluación supone otro paso a realizar posterior a la clase: de hecho, al estudiante se le pide escuchar su grabación y realizar otra autoevaluación de la prueba a raíz de los comentarios del docente (y de los compañeros).
Como se sabe en la práctica didáctica, las clases curriculares de interpretación no siempre permiten tener el tiempo para un feedback personalizado: de aquí surge la importancia que se le reconoce a esta fase (Schafer, 2011: 20) en los ejercicios y las tutorías, donde los grupos son más pequeños y la presión didáctica es menor.
Por consiguiente, las actividades están organizadas para dejar amplios momentos de reflexión personal por parte del estudiante, del grupo-clase y guiada por el docente: idealmente; de hecho, como subrayan Foster y Cupido (2017: 130), la formación se debería organizar de tal manera que combinara una evaluación externa por parte de un experto sobre la calidad y una evaluación entre pares.
En este artículo se han presentado algunas buenas prácticas relacionadas con la evaluación en la didáctica de la interpretación de conferencias entre italiano y español a raíz de la literatura existente y de la experiencia de varias décadas en la formación de intérpretes profesionales desarrollada en el DIT (Universidad de Bolonia).
En concreto, se han tomado en consideración las buenas prácticas que surgieron de las actividades de apoyo a la didáctica curricular (ejercicios) y extracurricular (tutorías) de interpretación de conferencias entre italiano y español. Sobre la base de estas experiencias didácticas, se ha definido una propuesta de modelo sobre el que organizar la evaluación de la interpretación simultánea y/o consecutiva.
Dicho modelo se funda en tres fases, normalmente llevadas a cabo en el siguiente orden cronológico:
Esta propuesta preliminar abre el camino a una gran cantidad de estudios sobre este campo, más específicamente a una validación añadida a realizarse en otras universidades y cursos de posgrado, así como en otras combinaciones lingüísticas también. Por último, dicho modelo se puede aplicar y validar de forma útil en contextos extraacadémicos como cursos de formación y/o actualización para intérpretes de conferencias profesionales, así como en la creciente cantidad de sesiones de deliberate practice, es decir, grupos de intérpretes profesionales que se reúnen regularmente para practicar activamente ciertas habilidades y competencias (interpretación simultánea, consecutiva, etc.) o pares lingüísticos específicos4.
Ackermann D, H. Lenk y M. Redmond 1997. “Between Three Stools - Performance Assessment in Interpreter Training”. En Fleischmann, Eberhard, Wladimir Kutz y Peter Axel Schmitt (eds.) Translationsdidaktik. Grundfragen der Übersetzungswissenschaft. Proceedings of a conference held in Leipzig in September, Tübingen: Gunten Narr, 262-268.
Barik H. C. 1975. “Simultaneous Interpretation: Qualitative and Linguistic Data”. En Language and Speech, 18(3): 272-297.
Bartlomiejczyk M., 2007, “Interpreting Quality as Perceived by Trainee Interpreters”. En The Interpreter and Translator Trainer, 1(2): 247-267.
Bendazzoli C. 2010a. Corpora e interpretazione simultanea. Bologna: Asterisco.
Bendazzoli C. 2010b. Il corpus DIRSI: creazione e sviluppo di un corpus elettronico per lo studio della direzionalità in interpretazione simultanea. Tesis de doctorado. Universidad de Bologna.
Cokely D. y E. Winston 2008. “Phase I Deaf Consumer Needs Assessment Final Report, Report submitted on behalf of the National Consortium of Interpreter Education Centers”. Informe electrónico. URL: http://www.interpretereducation.org/wp-content/uploads/2011/06/FinalPhaseIDCReport.pdf [consulta: 10/05/2024]
Dillinger M. 1994. “Comprehension during interpreting. What do interpreters know that bilinguals don’t?”. En Lambert, Sylvie y Barbara Moser-Mercer (eds.) Bridging the Gap: Empirical research in simultaneous interpretation, Amsterdam and Philadelphia: John Benjamins 155-190.
Falbo C. 1998. “Analyse des erreurs en interprétation simultanée”. En The Interpreter’s Newsletter, 8: 107-120.
Falbo C. 2018. “Insegnare la simultanea dal francese all’italiano. La prosodia come rivelatore dell’apprendimento”. En InTralinea Special Issue 2018, Revista electrónica [consulta: 10/05/2024]
Foster L. y A. Cupido 2017. “Assessing spoken-language educational interpreting: Measuring up and measuring right”. En Stellenbosch Papers in Linguistics Plus, 53: 119-132.
Frabetti F. 2005. Fenomeni di mitigazione nel discorso interpretato. Tesis de posgrado no publicada, Universidad de Bolonia.
Garzone G. 2022. “Quality and Norms in Interpretation”. En Garzone, Giuliana y Maurizio Viezzi (eds.), Interpreting in the 21st century, Amsterdam: John Benjamins, 107-119.
Kalina S. 2005. “Quality in the interpreting process: what can be measured and how?”. En Godijns, Rita M. y Michaël Hinderdael (eds.), Directionality in Interpreting. The ‘Retour’ or the Native?, Gent: Communication & Cognition, 27-46.
Kopczynski A. 1980. Conference interpreting: some linguistics and communicative problems. Poznan: UAM.
Kruger J. y D. Dunning 1999. “Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessment”. En Journal of Personality and Social Psychology, 77(6): 1121-1134.
Kurz I. 2001. “Conference Interpreting. Quality in the Ears of the User” En Meta, 46(2), 394-409.
Luque Nadal L. 2009. “Los culturemas: ¿unidades lingüísticas, ideológicas o culturales?”. En Language Design, 11: 93-120.
Moser-Mercer B. 2008. “Constructing Quality Interpretation”. En Hansen, Gyde, Andrew Chesterman y Heidrun Gerzymisch-Arbogast (es.), Efforts and Models in Interpreting and Translation Research. A Tribute to Daniel Gile, Amsterdam: John Benjamins, 143-156.
Pöchhacker F. 1994. “Quality assurance in simultaneous interpreting”. En Dollerup, Cay y Annette Lindegaard (eds.), Teaching Translation and Interpreting 2: Insights Aims and Visions, Amsterdam: John Benjamins, 155-189.
Riccardi A. 2002. “Evaluation in Interpretation: Macrocriteria and Microcriteria”. En Hung, Eva (ed.), Teaching Translation and Interpreting 4. Building Bridges, Amsterdam: John Benjamins, 115-126.
Russo M. 1995. “Self-evaluation: the awareness of one’s own difficulties as a training tool for simultaneous interpretation”. En The Interpreter’s Newsletter, 6: 75-86.
Russo M. 2014. “Fenomeni dell’oralità critici per l’interpretazione simultanea”. En Cuadernos AISPI, 4: 165-182.
Sandrelli A. 2012. “Interpreting football press conferences: the FOOTIE Corpus”. En Kellet Bidoli, Cynthia Jane (ed.), Interpreting across genres: Multiple research perspectives, Trieste: EUT, 78-101.
Schjoldager A. 1996. “Assessment of Simultaneous Interpreting”. En Dollerup, Cay y Vibeke Appel (eds.), Teaching Translation and Interpreting 3. New Horizons, Amsterdam: John Benjamins, 187-196.
Schafer T. 2011, “Developing expertise through a deliberate practice project”. En International Journal of Interpreter Education, 3, Revista electrónica. [consulta: 10/05/2024]
Shlesinger M. 1994. “Intonation in the Production and Perception of Simultaneous Interpretation”. En Lambert, Sylvie y Barbara Moser-Mercer (eds.), Bridging the Gap: Empirical research in simultaneous interpretation, Amsterdam: John Benjamins, 225-236.
1 En la Universidad de Stellenbosch (Sudáfrica) el servicio de Educational Interpreting, interpretación simultánea de clases académicas por un equipo de intérpretes que trabajan junto con los docentes para garantizar la accesibilidad lingüística a las minorías étnicas sudafricanas, lleva dos décadas activo (https://languagecentre.sun.ac.za/language-services/interpreting/). Un proyecto similar se puso en marcha también en el Departamento de Interpretación y Traducción de la Universidad de Bolonia (https://site.unibo.it/educationalinterpreting/it) [último acceso 21/03/2023].
2 European Parliament Interpreting Corpus, desarrollado por el Departamento de Interpretación y Traducción de la Universidad de Bolonia bajo la coordinación de la profesora Russo https://docs.sslmit.unibo.it/doku.php?id=corpora:epic (última visita 2/04/2023).
3 Para más información, véase el informe de Cokely & Winston (2008).
4 Para un listado de ejemplos no completo, véase https://interpreterscpd.eu/interpreting-skills/#practice-groups [última visita 21/03/2023].