protocolos de pensamiento en voz alta en postedición...los protocolos de pensamiento en voz alta,...
TRANSCRIPT
-
Protocolos de
pensamiento en voz
alta en postedición
Nombre: Marta Ochando García / [email protected]
Línea de investigación: Tecnologías de la traducción
Tutor: Mikel Lorenzo Forcada Zubizarreta / [email protected]
Fecha: Junio de 2018
Trabajo de
Fin de Grado de
Traducción e Interpretación
-
2
Protocolos de pensamiento en voz alta en postedición
Marta Ochando García [email protected]
Resumen
Basado en el libro de Krings (2001) Repairing texts: empirical investigations of
machine translation post-editing processes, este experimento recoge y analiza los datos
obtenidos a partir del análisis de los tiempos empleados en la postedición de un texto,
posteditado por cada una de las estudiantes de traducción; y los compara con los resultados que
obtuvo Krings en su estudio, cuyas postediciones fueron llevadas a cabo por traductores
profesionales.
El objetivo de este trabajo radica en la demostración de que se puede realizar un estudio
de este calibre con un hardware de propósito general y de que se pueden obtener unos datos
comparables con los de Krings.
El texto que posteditan las estudiantes se divide en dos partes, con el mismo número de
palabras cada una, abordando la primera parte de este sin protocolos de pensamiento en voz
alta, y la segunda con protocolos de pensamiento en voz alta. La tarea se desarrolla de esta
manera con el fin de observar si el hecho de obligarles a describir lo que piensan interfiere en su
trabajo.
La labor de postedición se realiza en el programa de traducción asistida por ordenador
OmegaT; todo este proceso es monitorizado y transcrito.
Tras la realización de todo este proceso se procede al análisis de los resultados. Krings
(2001) en su experimento obtuvo unos resultados muy similares en lo que respecta a los tiempos
obtenidos en la postedición con protocolos de pensamiento y sin ellos. Tan solo hubo una
diferencia de un tercio, siendo la postedición con protocolos de pensamiento en voz alta más
lenta.
En este experimento nos hemos acercado a esos resultados, pero los obtenidos han sido aún más
cercanos, existiendo solamente una diferencia de un 10% entre ambos.
Palabras clave: Postedición. Protocolos de pensamiento en voz alta. Traducción automática.
Monitorización. Memorias de traducción.
-
3
Agradezco a todas las participantes que han formado
parte de este estudio y en especial a mi tutor Mikel que
me ha guiado de la mejor manera en la realización de este
trabajo.
-
4
ÍNDICE
Resumen 2
Introducción 5
Metodología 7
Las traductoras y el encargo que se les pide 7
La labor de las traductoras y la elección del texto 8
Software utilizado 10
Resultados 15
Discusión 20
Bibliografía 21
-
5
Introducción
“Los protocolos de pensamiento en voz alta son instrumentos metodológicos que
implican el uso de informantes mientras explican en voz alta la actividad que llevan a cabo”
según Armengol Castells (2007). Los pensamientos de los informantes se graban para poder ser
transcritos y analizados posteriormente con el propósito de llegar a unos resultados, que en este
caso serán comparados con los obtenidos por Krings (2001); quien pretendía averiguar con su
estudio el grado de influencia que tenían los protocolos de pensamiento en voz alta, con
respecto a la velocidad, la calidad y la manera de abordar la postedición de un texto.
Así pues, en este trabajo se analizan los procesos cognitivos de las traductoras cuando
posteditan, y esta tarea se realiza a través de los protocolos de pensamiento en voz alta (PPVA).
De esta manera se comprueba si el hecho de obligarles a describir lo que piensan interfiere en su
trabajo; comparando dos trabajos similares de postedición, uno sin PPVA y otro con PPVA.
Este trabajo está basado en el estudio llevado a cabo por Krings, pero él no fue quien
inició la práctica del uso de PPVA, sino que fue Emig (1971) el que lo puso en práctica para
estudiar el acto de composición en hablantes nativos de inglés. Posteriormente, los protocolos
de pensamiento en voz alta fueron utilizados por Flower y Hayes (1981) para fundamentar su
modelo cognitivo del proceso de composición.
La intención, con la realización de este trabajo, ha sido desde un primer momento
reproducir algunas de las operaciones que realizó Krings (2001) en su día, y demostrar que se
pueden obtener unos resultados con un hardware de propósito general (un ordenador portátil
convencional) y programas de código abierto. Así mismo, está pensado para que pueda ser
dirigido por una estudiante y con estudiantes como traductoras participantes.
Esta es una de las novedades que se ofrecen con respecto al trabajo de Krings (2001); el
uso de un hardware de propósito general y programas de código abierto al alcance de todos, con
el fin de que cualquier persona que lea este trabajo pueda reproducir cada una de las
operaciones y llegar a unos resultados, que obviamente podrán ser iguales o distintos a los
obtenidos en este trabajo de fin de grado. Los resultados pueden variar en función del modus
operandi de los traductores, los programas utilizados, el entorno en el que se trabaja o la
profundidad con la que se analicen los procesos; entre otros.
La postedición, que es el proceso de modificación de una traducción generada por una
máquina con una mínima mano de obra, es uno de los aspectos que se ha analizado para poder
obtener unos resultados. La postedición está cobrando vida y cada vez más, y el motivo de este
aumento es debido a que el uso de sistemas de traducción automática (TA) ha crecido en los
últimos años. Este crecimiento se debe a la ganancia de productividad y la reducción de costes
en lo que respecta a los encargos de traducción.
-
6
Los traductores automáticos mejoran rápidamente. Esta evolución está basada en la
mejora de las técnicas de la TA, la mayor disponibilidad de recursos y herramientas para el
desarrollo de sistemas de TA, el cambio en las expectativas de los usuarios de la TA y la mayor
integración de sistemas de TA en herramientas de ayuda a la traducción ha desembocado en el
aumento de los encargos de postedición en el mundo de la traducción, según afirma Sánchez-
Martínez (2013).
Hoy en día existen numerosos programas de traducción asistida por ordenador como pueden ser
Trados1, Déjà Vu
2 o MemoQ
3, todos ellos de pago. También existen otros programas como
Anaphraseus4 que es gratuito y de código abierto o Wordfast
5y Across
6 qué son gratuitos pero
con funcionalidad limitada. Por ejemplo, Wordfast es gratuito pero está limitado a memorias de
traducción de 500 segmentos y Across permite suscripciones gratuitas de 30 a 60 días. Y
finalmente tenemos OmegaT7 que es el programa por el que se ha optado para la realización de
este trabajo. Se trata de un programa de código abierto, escrito en Java, lo que permite su uso en
cualquier sistema operativo que permita instalar Java, entre ellos los más usados: Windows,
GNU/Linux o MacOS. Para obtener OmegaT tan solo hay que descargar el programa en la
versión que más convenga, según la tarea que se vaya a llevar a cabo.
Estos son solo algunos de los programas de traducción asistida más conocidos, pero para la
realización de este trabajo, si se tienen licencias, puede utilizarse cualquiera; según convenga.
La elección de OmegaT radica en el propósito de este trabajo, un trabajo hecho para
estudiantes y dirigido a ellos, que conocen el mecanismo del mismo. Además, OmegaT ha sido
elegido por su funcionalidad. Con el alineador de textos incluido en este programa se han
generado unas memorias de traducción que contienen segmentos traducidos automáticamente;
los cuales las traductoras participantes deben posteditar. Una postedición llevada a cabo
también con el programa OmegaT.
El trabajo de Krings (2001) ha sido la base de este trabajo de fin de grado, que
reproduce su estudio, como ya se ha dicho anteriormente; además, se han tenido en cuenta otros
estudios relacionados con la postedición y los protocolos de pensamientos en voz alta. Por
ejemplo el estudio de O’Brien (2005) en el que utiliza dos métodos para medir el esfuerzo en
postedición. Uno de ellos son los protocolos de pensamiento en voz alta y otro el uso de un
teclado monitorizado. El uso del teclado monitorizado también es empleado por Krings (2010),
pero en este trabajo se decidió no profundizar tanto en la tarea de postedición, pues no nos
1 https://www.sdltrados.com/es/
2 https://atril.com/
3 https://www.memoq.com/es/
4 http://anaphraseus.sourceforge.net/
5 http://www.wordfast.com/
6 https://www.across.net/en/
7 http://omegat.org/
-
7
planteábamos realizar un estudio tan detallado. El objetivo, no es otro, que averiguar si los
protocolos de pensamiento en voz alta influyen en la traducción y de qué manera. La intención
del estudio de O’Brien (2005) era muy distinta; controlar las reglas de la lengua para eliminar la
mayor cantidad posible de “indicadores problemáticos en traducción” y así reducir el trabajo de
postedición. Sin embargo ha servido de documentación su manera de analizar los protocolos de
pensamiento en voz alta.
Otro de los estudios que ha servido de documentación ha sido el de Vieira (2017) quien
también empleaba los protocolos de pensamiento en voz alta con Eye-tracking, llamado en
castellano “seguimiento de la mirada”. Una vez más el “seguimiento de la mirada” no ha sido
necesario en este trabajo para llegar a los resultados esperados, pero si el hecho de que empleara
los protocolos de pensamiento en voz alta, ya que al igual que el estudio de O’Brien (2005),
sirve de inspiración para este trabajo.
Y finalmente van Someren et al. (1994) quienes monitorizan los movimientos de ratón,
de teclado y el tiempo de pausa generando así una ventana de símbolos. El objetivo de este
estudio era la constitución de modelos de traducción basados en el procedimiento mental.
En el estudio llevado a cabo por Krings (2001) sí que se utilizan algunos de estos
métodos, como la grabación de los movimientos del teclado o el “seguimiento de la mirada”,
pero en este trabajo solo se reproduce una de las partes llevadas a cabo por Krings con el fin de
comparar los resultados.
A continuación, el trabajo se encuentra dividido en cuatro apartados que corresponden a
la “metodología” donde se explica paso a paso el proceso de este estudio y los programas
utilizados; “resultados” donde aparecen todos los datos recogidos a partir de los análisis de los
tiempos de postedición; y finalmente una breve “discusión” y una “bibliografía” donde se
recogen todas las citas del texto y diferentes libros o páginas que han servido de inspiración.
Metodología
Las traductoras y el encargo que se les pide
En este experimento se cuenta con la participación de varias traductoras, estudiantes de
traducción e interpretación de cuarto curso, que se enfrentan a un trabajo de postedición inglés–
español. La lengua L₁ de las participantes es el español, por lo que se trata de una traducción
directa. Posteriormente se ha procedido al análisis de productividad de todas ellas.
Se ha redactado esta breve explicación para las traductoras con el fin de dejar clara la
tarea y alentarlas para concienciarles de la importancia de realizar postediciones de calidad.
-
8
“¡Hola a todas! Vais a participar en un experimento que forma parte del
análisis del proceso de postedición de una traducción automática por parte
de un traductor, es decir, por vosotras.
Vuestro trabajo consiste en posteditar la traducción automática de un texto
periodístico de francés a español en el programa OmegaT. La traducción
automática se os proporciona en forma de una memoria de traducción.
Cabe destacar que para este experimento se esperan obtener traducciones
de una calidad suficiente para poder ser publicables, por ello os pido que
elaboréis una traducción de la que os podáis sentir orgullosas.
Vuestro trabajo es monitorizado (es decir, se registran vuestras acciones de
teclado y de ratón y se toma un vídeo de vuestra sesión de traducción), pero
en uno de las partes del texto además se os pide que expliquéis en voz alta
cada uno de los pasos que vais dando, así como las decisiones y demás
comentarios que consideréis oportunos.
Disponéis de un tiempo de familiarización con el entorno de 10 o 15
minutos aproximadamente. En este tiempo de familiarización posteditaréis
un texto breve, de unas 200 palabras, y de temática similar.
Después, posteditaréis el texto principal del experimento, con una extensión
de unas 550 palabras. Posteditarlo os llevará una media hora.
Cuando acabéis, se hará un análisis de vuestro trabajo. Tras la realización
de este análisis, si lo deseáis, tendréis acceso a los datos de vuestra sesión y
a los resultados del análisis.
Muchas gracias por vuestra colaboración.”
La labor de las traductoras y la elección del texto
Cada una de las traductoras trabaja individualmente, y dispone de un tiempo de
familiarización con el programa OmegaT (como en Esplà-Gomis et al., 2015), unos autores que
estudiaban otro problema, un sistema que anotaba la calidad de las palabras de las sugerencias
que venían de la memoria de traducción; pero hicieron un estudio con participantes en el que se
inspira parcialmente este trabajo.
Las traductoras cuentan con un breve texto inicial en el que tienen que posteditar y para el que
disponen de unos diez o quince minutos; por este motivo, este texto no consta de más de 200
palabras. Posteriormente se comienza con la postedición del texto final, que en este caso es de
una extensión más larga, pues interesa que su tiempo de trabajo sea de una media hora para
disponer de material suficiente para analizar; por todo esto se ha calculado que la extensión del
texto tenía que tener alrededor de 550 palabras.
-
9
Los textos elegidos para este trabajo son textos periodísticos pero con una temática económica.
Se ha elegido esta temática para aportar algo más de dificultad al texto y que tengan un mayor
número de cosas que comentar.
Todas las traductoras disponen y traducen los mismos textos, en un mismo equipo, para obtener
datos comparables.
La labor de postedición con pensamientos en voz alta, consiste en explicar en voz alta
todos los cambios que se van realizando; a lo que denominamos protocolos de pensamiento en
voz alta. Esta tarea no se realiza a lo largo de todo el texto, sino que hay una primera parte del
texto en la que se limitan a posteditar, sin explicar ningún paso, y una segunda parte en la que
tienen lugar los protocolos de pensamiento en voz alta, con el fin de comparar los resultados
obtenidos.
Cuando se diseñó el experimento inicialmente, la idea fue de dividir a los traductores en
dos grupos de al menos dos personas cada uno; uno de ellos se había denominado "grupo de
control" que sería el grupo que se encargaría de traducir el texto en cuestión, sin explicar los
procesos que iban realizando. En cambio el segundo grupo debería explicar en voz alta cada una
de las decisiones que se iban tomando en su traducción.
Sin embargo tras haber analizado previamente el proceso del experimento, se ha llegado a la
conclusión de que no se hará distinción de grupos. El motivo que ha conducido hacia este
cambio es que al dividir a los traductores en dos grupos podemos encontrarnos con factores
adicionales que hagan variar los resultados. La rapidez de todos los traductores a la hora de
traducir no es la misma; es por ello que podemos encontrarnos con un traductor muy rápido y
que casualmente a este traductor le toque la parte del experimento en la que tenga que explicar
en voz alta todo el proceso (parte que por lo general suele llevar más tiempo) esto provocaría
que los tiempos obtenidos confundieran el sentido de los resultados del experimento, ya que se
obtendría, que traducir a la vez que se explica en voz alta el proceso, lleva menos tiempo que
traducir sin explicarlo.
Así pues, todos los traductores abordan partes del texto en las que tienen que explicar
en voz alta el proceso, y otras partes en las que solo tienen que posteditar. De esta manera se
obtienen datos más reales y objetivos, ya que no influye la rapidez o lentitud de cada persona en
el resultado obtenido.
El experimento en cuestión se lleva a cabo en una misma habitación en la que las
traductoras disponen de un mismo entorno informático pero no trabajan al mismo tiempo, pues
se solaparían las grabaciones. De este modo las traductoras trabajan por turnos, pero todas se
enfrentan al mismo texto que deben posteditar.
Con la realización de este experimento se pretende estudiar si el hecho de explicar en
voz alta cada uno de los pasos que se van realizando influye en la calidad o velocidad de la
traducción, y de qué manera, positiva o negativa. Puede darse el caso en el que ir explicando el
-
10
procedimiento "desconcentre" al traductor y se obtenga una traducción de menos calidad y para
la que se necesite más tiempo, es decir, influiría negativamente en la traducción; y de esta
manera calificaríamos al "grupo de control" como más productivo y útil. O también podría
darse el caso en el que explicar en voz alta todo el proceso haga replantearse muchas cosas al
traductor, obteniendo así una traducción de mayor calidad; aunque en este trabajo solo se
medirá la velocidad.
Para resolver todas estas hipótesis es necesario realizar un análisis en el que se analizarán de
forma exhaustiva diferentes operaciones como son los tiempos empleados para la postedición
del texto, los pensamientos y escritura de cada traductor, así como cambios que va realizando. Y
finalmente la calidad obtenida de la postedición. Para ello se cuenta con una traducción de
referencia con la que se compararán las postediciones obtenidas de las traductoras.
Cabe destacar que para poder llevar a cabo todos estos análisis es necesario la realización de
una transcripción de cada uno de los segmentos acompañada de los tiempos, y las explicaciones
de los traductores realizadas en una parte específica del texto.
Todas las postediciones de las traductoras, así como el texto original y el texto modelo
se pueden ver en: https://goo.gl/xYomoh
Software utilizado
En primer lugar disponemos de OmegaT,8 programa con el cual se lleva a cabo la labor
de postedición que desarrollan.
Se utilizan dos versiones distintas de OmegaT. En primer lugar contamos con la versión
OmegaT 4.1.4. Se trata de una versión experimental que es de gran utilidad para alinear los
textos, es decir, para alinear el texto original que está en francés como ya se ha comentado
anteriormente y el texto traducido automáticamente que está en español. La necesidad de esta
alineación para la elaboración de las memorias de traducción se debe a que el programa de
traducción automática (en este caso Reverso) no se puede usar directamente desde dentro de
OmegaT, para ello se construye una memoria de traducción en la que cada segmento en francés
del texto original está apareado con un segmento traducido automáticamente al español, que
será presentado a las traductoras con un 100% de coincidencia para que lo postediten.
La otra versión de OmegaT utilizada es OmegaT 3.5.4, es la última versión estable, y sirve para
abordar la postedición del texto. Cabe destacar que se seleccionaron dos versiones distintas por
si se usaba una extensión de OmegaT para monitorizar el trabajo de las traductoras; finalmente
no se utilizó ya que se prefirió monitorizar el trabajo con otro programa, explicado
posteriormente, por lo que se podría haber hecho todo con OmegaT 4.1.4.
8 http://omegat.org/
https://goo.gl/xYomoh
-
11
Esta imagen corresponde a OmegaT 4.1.4. y la alineación de textos
Para alinear los textos hay que ir a la ventana “herramientas” y seleccionar “alineación de
textos”. A continuación se eligen el par de textos que queremos alinear y su lengua de origen.
Tras realizar todo este proceso aparece una alineación automática provisional, que se puede
modificar si fuese necesario. Esta alineación nos sirve como memoria de traducción.
Esta imagen corresponde a OmegaT 3.5.4 y a la postedición del texto
Para crear un documento de postedición hay que hacer clic en “proyecto”, seleccionamos
“nuevo” y la carpeta en la que queremos que se genere el documento. El siguiente paso consiste
en adjuntar los textos que queremos posteditar. Una vez realizado todo el proceso tan solo hay
que incluir en la carpeta “tm” las memorias de traducción generadas anteriormente.
-
12
La decisión de trabajar con Reverso9 se debe a que es un traductor disponible en línea
y parece estar en un rango intermedio si se compara con otros traductores para el mismo par de
lenguas; como pueden ser Google,10
Apertium11
o DeepL.12
Con la elección de Reverso para la realización de las memorias, se deja claro que el trabajo se
enfoca a la observación de cómo los traductores se enfrentan a los posibles errores otorgados
por el traductor automático y de qué manera los abordan. La intención, ha sido en todo
momento, de provocar una actividad notable para que las traductoras tuvieran que explicarse, y
tal vez con un STA de calidad demasiado buena se recogerían pocos datos, insuficientes para el
análisis del trabajo.
Es preciso señalar que no se permite el uso de ningún recurso extra, ni en línea ni en papel. Se
toma esta decisión con el propósito de establecer un entorno más controlado, ya que la soltura
con la que los traductores pueden acceder a la información que les sirva de apoyo puede variar
mucho de una traductora a la otra.
El trabajo de todas las traductoras participantes es monitorizado mediante el
programa Captura,13
que sirve para monitorizar todo el proceso. Con este programa se graba el
sonido, durante toda la intervención, y la pantalla; de esta manera se pueden observar en tiempo
real todos los cambios realizados por los traductores junto con las explicaciones otorgadas en
los momentos en los que se les piden.
Programa Captura
9 http://www.reverso.net
10 https://translate.google.com
11 https://www.apertium.org
12 https://www.deepl.com
13 https://captura.softonic.com
-
13
En Internet podemos encontrar muchos programas gratuitos para grabar audio o pantalla, pero
no todos realizan ambas acciones a la vez que graban durante un tiempo indefinido. Muchos de
los programas instalados como prueba solo grababan durante un periodo muy corto de tiempo;
así pues, no sirven para este experimento.
Captura es un programa sencillo de utilizar en el que solo hay que seleccionar el área de la
pantalla que queremos grabar y especificar si también queremos grabar con la cámara del
portátil, audio y micrófono. En este caso hemos seleccionado que grabaremos toda la pantalla y
el micrófono; todo en formato estándar MPEG-4 (.mp4) para no tener problemas a la hora de
manipular el archivo obtenido. Finalmente se selecciona la ubicación en la que se quiere
guardar el documento y se empieza a grabar. Tanto para grabar como para parar la grabación
tan solo hay que darle a las teclas play y pause.
El siguiente paso consiste en la transcripción; para ello se utiliza el programa
ELAN,14
una herramienta profesional para anotar y transcribir grabaciones de audio o vídeo de
forma manual y semiautomática. Con este programa se puede transcribir a la vez que ver la
imagen y sonido grabado con el programa ELAN, y como opción extra se puede observar la
forma de onda de la señal de audio; de esta manera se facilita la tarea de las transcripción. Para
poder ver la forma de onda de audio hay que cargar en el programa ELAN el archivo mp4
generado con el programa Captura y ese mismo archivo en formato Waveform Audio File
Format (“.wav”).
Para cambiar el formato al archivo mp4 se utiliza el programa Freac,15
. Para generar el
fichero “.wav” hay que importar el archivo mp4, para ello nos metemos en la carpeta archivo,
seleccionamos añadir archivo de audio y la opción Windows Wave File Output.. Una vez
realizado todo el proceso se generará automáticamente nuestro archivo “.wav” solo hay que
seleccionar la ubicación en la que queremos que se guarde.
Contando ya con ambos formatos, tanto mp4 como “.wav·, ya podremos empezar a usar
ELAN.
14
https://tla.mpi.nl 15
https://www.freac.org/
-
14
Programa ELAN
En un trabajo futuro podría utilizarse una extensión o plug-in para monitorizar todos los
movimientos del ratón y del teclado y así obtener unos datos muchos más completos. Con esta
extensión se podrían observar mucho mejor todos los momentos de pausa, cambios, etc.
Una vez realizado todo el proceso, se procede a realizar la transcripción. Para la
elaboración de esta, se crean cuatro columnas en ELAN (correspondientes a cuatro “tipos
lingüísticos” como los denomina el programa). El primer tipo lingüístico se ha nombrado como
“tipo_transcripción” que es donde se escribe la transcripción propiamente dicha. El segundo
tipo lingüístico se ha nombrado “tipo_operación”, donde se especifica el tipo de proceso que ha
tenido lugar durante un determinado intervalo de tiempo. Para ello se ha creado un vocabulario
controlado con todos los procesos posibles que podrían tener lugar en la postedición del texto.
Al crear un vocabulario controlado el programa permite automáticamente seleccionar el proceso
deseado en un menú desplegable en la parte correspondiente de la transcripción. Para crear un
vocabulario controlado debemos seleccionar "editar vocabulario controlado", donde se
escribirán todos los procesos deseados, así como su nombre y descripción del mismo.
Posteriormente se cambian las propiedades del tipo lingüístico en el que queremos que vaya
vinculado, en este caso corresponde al segundo tipo, para ello cambiamos el tipo “none” que
aparece por defecto y seleccionamos que en este tipo queremos usar el vocabulario controlado
creado anteriormente.
El vocabulario controlado se ha generado con los siguientes procesos:
● nontask: procesos no relacionados con la tarea
● globtask: procesos globales relacionados con la tarea
● source: procesos relacionados con el texto original
-
15
● machine: procesos relacionados con la traducción automática
● target/prod: procesos relacionados con la producción del texto meta
● target/mon: procesos relacionados con la monitorización del texto meta
● undecided: para decidir más tarde
● other: otros
La lista de procesos se basa en la de Krings (2001) pero se ha eliminado "refbook" porque se
indicó expresamente a las participantes que no miraran ningún texto de referencia. También se
ha eliminado "write" de la lista de Krings (2001) porque se asume que todos los procesos de
escritura son de producción de texto meta y se engloban en target/prod. Además se han añadido
dos categorías: "undecided" que no debería aparecer en la anotación final por representar un
caso de duda. Y "other" que significa que el proceso anotado no se corresponde con ninguna de
las categorías.
El tercer tipo lingüístico se ha nombrado “tipo_comentario” en el que se escriben algunos
comentarios explicativos en lo referente a la tarea de postedición. Y finalmente un cuarto tipo
lingüístico nombrado como “tipo_numsegmento” en el que se escribe el número del segmento
en el que tiene lugar la operación. Este número corresponde a la numeración de segmentos
realizada por OmegaT.
Tras la realización de la transcripción y la compilación de los resultados se ha
procedido al análisis de estos; se pueden ver en el siguiente apartado.
Resultados
Los resultados se han obtenido a partir de las transcripciones elaboradas en el programa
ELAN. Este programa nos permite presentar las transcripciones realizadas a modo de tablas,
acompañadas de los tiempos en los que empieza y acaba cada transcripción. Estas tablas se
pueden descargar como una hoja de cálculo y analizar con un programa de hojas de cálculo
como Microsoft Excel o LibreOffice Calc, donde se pueden suprimir o mantener las columnas
generadas por ELAN que más nos interesen.
Para el análisis de los resultados, que se ha querido llevar a cabo en este trabajo, se ha
necesitado el tiempo inicial y final de cada segmento de la transcripción, la duración de ésta, el
tipo de operación realizada en cada segmento, la transcripción propiamente dicha, los
comentarios aportados y el número de segmento.
Se ha elaborado una hoja de cálculo en formato “.xlsx” para cada una de las traductoras.
Dichas hojas de cálculo se pueden ver en el siguiente enlace: https://goo.gl/n3vG8U. Con estos
datos se pueden analizar a cada una de las participantes y obtener datos relevantes en lo que
concierne al tiempo que han invertido en cada tipo de operación.
https://goo.gl/n3vG8Uhttps://goo.gl/n3vG8Uhttps://goo.gl/n3vG8U
-
16
Cabe destacar que los datos recopilados corresponden únicamente al proceso de
postedición con protocolos de pensamiento en voz alta, pues son datos obtenidos a través de las
transcripciones realizadas de sus expresiones en voz alta. Del resto de la postedición, es decir de
la postedición sin protocolos de pensamiento en voz alta, se ha recogido sólo el tiempo de inicio
y final del proceso.
En lo que respecta a la participante n.º 1 se ha obtenido un tiempo de 15 minutos y 20
segundos en lo que respecta a la postedición sin protocolos de pensamiento en voz alta y 14
minutos y 13 segundos en lo que respecta a la postedición con protocolos de pensamiento en
voz alta. Es la única participante que ha dedicado menos tiempo a la PPVA. En lo que respecta
al tiempo invertido en cada uno de los procesos durante la PPVA se han recopilado los
siguientes resultados:
Participante n.º 1
TIEMPO MILISEGUNDOS SEGUNDOS PORCENTAJE
(Cualquier tipo) 153060 153,06 100,00%
Other 6140 6,14 4,01%
Nontask 400 0,4 0,26%
Source and
Machine
0 0 0,00%
Tarjet/prod 146520 146,52 95,73%
Suma 153060 153,06 100,00%
Al observar los resultados obtenidos de la participante n.º1 se puede apreciar cómo invierte el
95,73% del tiempo posteditando la traducción automática, frente a un 0,26% de procesos no
relacionados con la tarea o un 4,01% que corresponde a otros procesos que no tienen nada que
ver con la tarea. Así mismo, se puede observar como esta participante no lee en voz alta ni el
texto original ni la traducción; tan solo hace comentarios de los cambios que realiza.
-
17
En cuanto a la participante n.º2 se han obtenido unos datos de 15 minutos y 17
segundos de postedición sin PPVA, y 21 minutos y 17 segundos de postedición con PPVA. Es
la participante en la que más clara se puede ver la diferencia de tiempo. Tras compilar los
resultados de su postedición con protocolos de pensamiento en voz alta se ha obtenido lo
siguiente:
Participante n.º 2
TIEMPO MILISEGUNDOS SEGUNDOS PORCENTAJE
(Cualquier tipo) 197803 197,803 100,00%
Other 1789 1,789 0,90%
Nontask 5801 5,801 2,93%
Source 0 0 0,00%
Machine 38680 38,68 19,55%
Tarjet/prod 150794 150,794 76,23%
Globtask 739 0,739 0,37%
Suma 197803 197,803 100,00%
La participante nº2 dedica el 76,23% del tiempo de postedición con PPVA a la edición de la
traducción automática, frente a un 2.93% del tiempo a procesos no relacionados con la tarea, un
19,55% a la lectura en voz alta de la traducción automática, un 0,90% del tiempo a otros
procesos y un 0,37% a procesos relacionados con la tarea. Es la participante en la que más
variedad de procesos se pueden observar. Esta variedad de procesos puede deberse a esa clara
diferencia de tiempo entre la postedición PPVA, y la postedición sin PPVA; que no puede
observarse en el resto de participantes.
-
18
Al analizar a la participante n.º 3 se han obtenido unos tiempos con una diferencia
mínima. Esta participante ha dedicado 9 minutos y 55 segundos a su postedición sin PPVA y 10
minutos y 1 segundo a la postedición con PPVA. Participantes como esta echan por tierra la
hipótesis de que la postedición con protocolos de pensamiento en voz alta necesita un mayor
tiempo que la postedición sin estos.
Aquí están los datos obtenidos para esta participante:
Participante n.º 3
TIEMPO MILISEGUNDOS SEGUNDOS PORCENTAJE
(Cualquier tipo) 132507 132,507 100,00%
Other 0 0 0,00%
Nontask 3438 3,438 2,59 %
Source 0 0 0,00%
Machine 6632 6,632 5,01%
Tarjet/prod 106016 106,016 80,01%
Globtask 16421 16,421 12,39%
Suma 132507 132,507 100,00%
A lo que más tiempo dedica es a la edición de la traducción automática, como era de esperar,
con un 80,01%. A la lectura de la traducción automática le dedica un 5,01% del tiempo, frente a
las tareas generales que les dedica un 12,39% o procesos no relacionados con la tarea a los que
dedica un 2,59% del tiempo.
Finalmente se ha analizado a la participante n.º 4 de la que se ha recopilado que ha
invertido un tiempo de 11 minutos y 11 segundos a la postedición sin protocolos de
-
19
pensamiento en voz alta y un tiempo de 11 minutos y 11 segundos a la postedición con
protocolos de pensamiento en voz alta. Al igual que ocurre con la participante n.º 3, ha obtenido
unos tiempos con apenas unos segundos de diferencia y en lo que respecta al tipo de procesos
llevados a cabo por la participante n.º 4 se ha obtenido lo siguiente:
Participante n.º 4
TIEMPO MILISEGUNDOS SEGUNDOS PORCENTAJE
(Cualquier tipo) 343823 343,823 100,00%
Other 22806 22,806 6,63%
Nontask 3057 3,057 0,89%
Source 9516 9,516 2,77%
Machine 102761 102,761 29,89%
Tarjet/prod 205683 205,683 59,82%
Suma y comprobación 343823 343,823 100,00%
Esta participante ha dedicado un 59,82% del tiempo de la postedición con PPVA a la edición de
la traducción automática. Es la participante que más tiempo ha dedicado a la lectura en voz alta
de la traducción automática con un 29,89% y a la lectura del texto original con un 2,77%.
Finalmente ha dedicado un 6,63% del tiempo a otras tareas y un 0,89% a tareas no relacionadas
con la labor.
Tras la observación de los datos de todas las participantes, se puede ver como dedican
la mayor parte del tiempo a la edición de la traducción automática, como era de esperar, seguido
de la lectura de la misma. El tiempo dedicado a comentar resto de tareas presentan pequeños
porcentajes, que en el cómputo global no son muy relevantes. Puede ser que las participantes no
se sientan impedidas a leer en voz alta o a comentar lo que leen, sino solo a explicar los
-
20
procesos en los que realizan alguna operación. Vistos los resultados obtenidos se aprecia cómo
dedican más tiempo a leer el original y la TA que a comentar esa lectura.
Como se puede ver cada participante ha actuado de una manera diferente. La
participante para la que se observa más diferencia de tiempo entre la postedición con PPVA y
sin ellos ha sido la participante n.º 2, el resto han obtenido tiempos prácticamente iguales, sobre
todo las participantes n.º 3 y n.º 4, entre las que hay apenas una diferencia de 6 y 4 segundos
respectivamente, lo que supone un 0,2% y un 0,13%.
En la suma global de los tiempos de todas las participantes se ha obtenido una
dedicación de 51 minutos y 43 segundos a la postedición sin PPVA y 56 minutos y 56 segundos
a la postedición con PPVA.
A continuación se puede observar la tabla global de los tiempos empleados en la postedición
con PPVA y sin PPVA. Cabe destacar que ambas partes del texto contaban con el mismo
número de palabras.
PARTICIPANT
E
Tiempo sin PPVA Tiempo con PPVA
n.º 1 15 minutos y 20
segundos
14 minutos y 13 segundos
n.º 2 15 minutos y 17
segundos
21 minutos y 17
segundos
n.º 3 9 minutos y 55 segundos 10 minutos y 1 segundo
n.º 4 11 minutos y 11
segundos
11 minutos y 25 segundos
TOTAL 51 minutos y 43
segundos
56 minutos y 56 segundos
Discusión
La diferencia de tiempo obtenida entre la postedición con PPVA y sin ellos es un 10%
aproximadamente, una diferencia mínima para una labor tan grande. Krings (2001) obtuvo en
-
21
sus resultados que la edición con protocolos de pensamiento en voz alta les había llevado un
tercio más de tiempo a los traductores que la postedición sin estos.
En este trabajo como se puede observar la diferencia es aún más pequeña, pero hemos
obtenido unos datos muy parecidos a los de Krings.
Con todo esto podemos resolver la hipótesis planteada al inicio de este trabajo, la cual
decía: ¿Se podrá realizar un estudio similar al de Krings (2001) con un hardware de propósito
general y software gratuito de código fuente abierto?. Pues bien, la diferencia de tiempo de
Krings fue ligeramente mayor, pero me aventuraría a responder que sí; pues los datos obtenidos
están muy próximos. Recordemos que Krings obtuvo unos resultados en los que la postedición
con PPVA era un tercio más lenta, y en este estudio se ha obtenido que la postedición con
PPVA es un 10% más lenta.
La diferencia de tiempo obtenida con respecto a Krings puede deberse a las mejoras de
los traductores automáticos comentadas anteriormente. Cuanto mejor funcionan los traductores
automáticos, menos cambios hay que explicar, y menos tiempo se tarda en la postedición con
PPVA.
Bibliografía
Armengol, L. (2007). Los protocolos de pensamiento en voz alta como instrumento para analizar el proceso
de escritura. Revista española de lingüística aplicada, 20, 27–35.
Emig, J. (1971). The Composing Process of Twelfth Graders. Research Report number 13. Urbana, IL:
National Council of Teachers of English.
Esplà-Gomis, M., Sánchez-Martínez, F., & Forcada, M. L. (2015). Using machine translation to provide
target-language edit hints in computer aided translation based on translation memories. Journal of Artificial
Intelligence Research, 53, 169–222.
Flower, L. y J. R. Hayes. (1981). A cognitive process theory of writing. College Composition and
Communication, 32(1), 365–387.
Krings, H. P. (2001). Repairing texts: empirical investigations of machine translation post-editing processes
(Vol. 5). Kent State University Press.
López, R. S. (2012). Software para traductores. Jugando@traducir. https://jugandoatraducir.com/iii-
software-para-traductores-herramientas-tao-2/
O'Brien, S. (2005). Methodologies for measuring the correlations between post-editing effort and machine
translatability. Machine translation, 19(1), 37–58.
Van Someren, M. W., Barnard, Y. F., & Sandberg, J. A. C. (1994). The think aloud method: a practical
approach to modelling cognitive processes. London: Academic Press.
Vieira, L. N. (2017). Cognitive effort and different task foci in post-editing of machine translation: A think-
aloud study. Across Languages and Cultures, 18(1), 79-105.
https://jugandoatraducir.com/iii-software-para-traductores-herramientas-tao-2/https://jugandoatraducir.com/iii-software-para-traductores-herramientas-tao-2/
-
22
Sánchez-Martínez, F. (2012). Motius del creixent ús de la traducció automàtica seguida de postedició.
Tradumàtica: traducció i tecnologies de la informació i la comunicació, (10), 150-156.
Schaeffer, M., & Carl, M. (2017). A minimal cognitive model for translating and post-editing. In Machine
Translation Summit XVI (pp. 144-155).