ChatGPT se ha llevado buena parte de los titulares, pero la IA lleva años metida en la traducción profesional a través de los sistemas de traducción automática neuronal (TAN). Dos investigadores de la Universitat Oberta de Catalunya (UOC), Antoni Oliver y Sergi Álvarez-Vidal, del grupo GRIAL, han desarrollado un método para medir algo que hasta ahora se evaluaba mal: cuánto le cuesta de verdad a un traductor corregir lo que entrega la máquina.
Por qué las métricas automáticas no bastan
La posedición, corregir el texto que ya ha generado un sistema de traducción automática, es hoy la segunda habilidad más demandada entre proveedores de servicios lingüísticos y la que más crece, según la European Language Industry Survey. El problema es cómo se elige la herramienta de IA que va a generar ese primer borrador: la mayoría de empresas se apoya en métricas automatizadas que puntuan la traducción sin tener en cuenta lo que realmente le va a costar al humano revisarla.
En su estudio Assessing MT with measures of PE effort, publicado en acceso abierto en la revista Ampersand, Oliver y Álvarez-Vidal comprobaron que esas métricas automáticas no predicen bien el esfuerzo real de posedición. «Hemos concluido que no hay una relación directa entre lo que indican las medidas automáticas de evaluación de la calidad y el esfuerzo de posedición», explica Oliver. Por eso propusieron añadir un paso más al proceso de evaluación.
Cómo funciona el nuevo método
El sistema es sencillo en el planteamiento: los traductores corrigen una muestra de traducción automática con un programa desarrollado por el propio equipo de la UOC, que registra tiempo, pausas y pulsaciones de teclado durante la posedición. «Ese programa nos permite recoger una serie de datos y decidir si el esfuerzo de los traductores es menor o no que con otros sistemas», detalla Álvarez-Vidal. Si el esfuerzo medido es menor, la herramienta de traducción automática encaja en el flujo de trabajo real de la empresa. Si no, por muy bien que puntué en las métricas clásicas, no sirve.
El planteamiento conecta con un debate que ya aparecía en otra encuesta a profesionales de la traducción, donde el 84% defendía mantener siempre la revisión humana antes de entregar cualquier texto generado por IA.
El humano en el centro, la máquina a su servicio
«Es muy importante reflexionar sobre quién está en el centro de esta tarea, ¿el poseditor humano o el sistema de inteligencia artificial?», plantea Oliver. Para los investigadores la respuesta es clara: el protagonista es el traductor, y el sistema de IA debe estar a su servicio, no al revés. Cuando la calidad de la traducción automática es mala, el esfuerzo de posedición se dispara y pasan dos cosas: el traductor tarda más (con la pérdida económica que eso implica) y aumenta el riesgo de que se le cuelen errores porque revisar a fondo cada frase se vuelve inviable con los plazos habituales.
El debate sobre qué tareas absorbe realmente la IA y cuáles siguen necesitando un humano detrás no es exclusivo de la traducción. Un estudio de Microsoft sobre qué empleos están más expuestos a la automatización apunta en la misma dirección: la IA sustituye tareas concretas, no perfiles enteros, y el resultado final sigue dependiendo de quién lo revisa.
Para Álvarez-Vidal, hay también una lectura de fondo sobre el acceso a la tecnología: «Es muy importante que el conocimiento sobre estas tecnologías y el acceso a estas herramientas no recaigan sobre unos pocos especialistas y unas pocas empresas». La UOC, añade, está incorporando esta formación tanto en sus grados como en sus másters.
Preguntas frecuentes
¿Qué es la posedición de traducciones automáticas?
Es el proceso por el que un traductor humano revisa y corrige un texto generado por un sistema de traducción automática antes de entregarlo. Hoy es la segunda habilidad más demandada del sector.
¿Por qué no bastan las métricas automáticas para elegir una herramienta de IA?
Porque, según el estudio de la UOC, no hay una relación directa entre lo que puntuan esas métricas y el esfuerzo real que le supone al traductor corregir el texto.
¿Cómo mide el esfuerzo de posedición el método de la UOC?
Con un programa propio que registra el tiempo, las pausas y las pulsaciones de teclado del traductor mientras corrige una muestra de traducción automática.
¿Quiénes son los autores del estudio?
Antoni Oliver y Sergi Álvarez-Vidal, investigadores del grupo GRIAL de la Universitat Oberta de Catalunya, publicado en la revista Ampersand.
¿Qué pasa si la calidad de la traducción automática es baja?
El traductor tarda más en poseditar, lo que cuesta dinero, y aumenta el riesgo de que se cuelen errores porque revisar todo a fondo se vuelve inviable con los plazos habituales.
Fuente: Sergi Alvarez-Vidal, Antoni Oliver, «Assessing MT with measures of PE effort», Ampersand, vol. 11, 2023, DOI 10.1016/j.amper.2023.100125. Nota de prensa de la UOC.
