Navigation – Plan du site

Éditions littéraires et linguistiques de l'université de Grenoble

Ergonomie cognitive de la post-édition de traduction automatique : enjeux pour la qualité des traductions

Cognitive Ergonomics of Machine Translation Post-editing: Implications for Translation Quality
Hanna Martikainen et Natalie Kübler

Résumés

La nature même du processus associant traduction automatique et post-édition humaine influence profondément les caractéristiques des textes ainsi produits, en raison de l’ergonomie cognitive propre à cette interaction homme-machine. Ainsi, l’automatisation d’une partie du processus traductionnel perturbe, via l’interposition de la sortie de traduction automatique, l’application des stratégies de traduction habituelles par le post-éditeur. Les consignes de post-édition minimalistes, privilégiant la rapidité aux dépens des considérations stylistiques, tout comme l’accoutumance à la sortie de traduction automatique, renforcent encore cette interférence de la langue source. Dans cet article, nous explorons comment, en conséquence, les textes issus de ce nouveau mode de production diffèrent de ceux produits par la traduction humaine, ainsi que les enjeux spécifiques qui en découlent pour les usagers.

Haut de page

Texte intégral

Introduction

1Notre étude porte sur la traduction des résumés de revues systématiques Cochrane qui rendent compte de l’évaluation des interventions et traitements en santé. Chaque revue systématique Cochrane est accompagnée de deux résumés : destiné aux professionnels de santé, le résumé d’article (abstract) respecte les caractéristiques du langage scientifique et la structuration en sections de la revue, tandis que le résumé grand public (plain language summary) destiné aux usagers de soins en est une synthèse courte en langage accessible. Les deux résumés sont consultables gratuitement en ligne sur les divers sites Cochrane, et traduits vers plusieurs langues par les centres régionaux. Cochrane France, qui en assure depuis 2010 la traduction française, a opté en 2013 pour une solution basée sur la traduction automatique (TA) statistique. Celle-ci a aujourd’hui fait ses preuves à titre d’outil d’aide à la traduction permettant d’accélérer le processus, afin de pouvoir publier simultanément les versions traduites et les documents en langue source, tout en participant à la réduction des coûts (Elming, Carl & Winther-Balling, 2014 ; voir aussi Fiederer & O’Brien, 2009). Les textes concernés, structurés et répétitifs, se prêtent bien à la TA, qui bénéficie grandement de l’existence de bases de données terminologiques médicales pour alimenter le moteur, et d’un corpus de textes traduits par des traducteurs humains pour son apprentissage. La TA représente donc une solution pertinente, qui allège et accélère le processus, pour peu que l’on prenne les mesures nécessaires afin d’assurer une qualité irréprochable au texte final. C’est le rôle de la post-édition ; indispensable dans le processus de traduction de ces textes hautement spécialisés, elle permet d’assurer une communication efficace du savoir médical aux différents acteurs du système de soins.

2Cependant, les particularités du contexte de production de Cochrane, associatif et en grande partie bénévole, éloignent le processus de post-édition des résumés Cochrane traduits en français des normes professionnelles en vigueur dans le monde de la traduction. Ce processus représente également un défi en termes d’ergonomie organisationnelle et logicielle, puisqu’il associe la sortie d’un moteur de TA expérimental à une révision par des bénévoles majoritairement issus du domaine médical, et qui n’ont pas d’expertise linguistique. Il s’agit là d’un contexte d’utilisation émergeant dans le monde de la TA, où l’on adopte celle-ci dans des projets impliquant une post-édition par des non-professionnels de la traduction (Laurenzi, Brownstein, Turner, Kientz & Kirchhoff, 2013). Or, pour des textes destinés à publication et dont la qualité doit par conséquent être irréprochable, la post-édition devrait être approfondie et effectuée par des traducteurs professionnels spécialistes des langues source et cible (Carl, Gutermuth & Hansen-Schirra, 2015). La TA semble toutefois avoir un effet nivelant, puisque les traducteurs expérimentés seraient aussi susceptibles de commettre des erreurs et des interférences que les novices ou les étudiants, lorsqu’ils travaillent sur la sortie de TA (Čulo, Gutermuth, Hansen-Schirra & Nitzke, 2014 ; voir aussi Guerberof Arenas, 2014).

3Par ailleurs, une post-édition approfondie, qui vise un niveau de qualité comparable à celui de la traduction humaine, est chronophage par nature, et risque donc de compromettre les gains de temps résultant de l’adoption de la TA (Brunette & O’Brien, 2011). C’est pourquoi l’organisation TAUS a défini un niveau de qualité intermédiaire pour les textes post-édités (TAUS/CNGL, 2010) ; celui-ci correspond à une traduction qui permet de « comprendre le contenu principal du message » et dont la « signification est identique à celle du texte source », malgré une forme stylistique « discutable », manifeste par exemple dans le caractère « artificiel », la syntaxe « inhabituelle » ou la grammaire « imparfaite » du texte traduit. Pour parvenir à ce niveau de qualité défini comme « acceptable », les consignes comme celles de TAUS, largement adoptées par l’industrie, préconisent notamment d’exploiter au maximum le résultat brut de la traduction automatique et d’éviter d’effectuer des corrections d’ordre stylistique ou de modifier la structure des phrases dans le seul but d’améliorer la fluidité du texte. L’objectif est de fournir le contenu principal sous une forme compréhensible et correcte, en n’effectuant, sur la sortie de TA, que des corrections essentielles (Carl, Gutermuth & Hansen-Schirra, 2015). C’est ce niveau de qualité qui est également recommandé dans le contexte de production des traductions de résumés Cochrane.

Ergonomie cognitive de la post-édition : un état de l’art

4Les conditions du processus de post-édition, telle qu’elle est pratiquée sur la majorité des plates-formes existantes, aboutissent à une tâche de nature fragmentée, dont les effets sur les processus cognitifs du traducteur post-éditeur restent largement inconnus. Cette question de la segmentation du texte et de ses effets sur la cognition a cependant déjà été soulevée pour la traduction assistée par ordinateur (TAO) par Paulsen Christensen et Schjoldager (2011). Les interrogations des étudiants en traduction confrontés à la TAO dans cette étude sont également celles du post-éditeur, notamment pour ce qui est de la tendance à accepter les propositions présentées par l’outil, ou encore de la segmentation qui gêne la cohérence textuelle. Ces paramètres sont liés à l’automatisation d’une partie du processus traductionnel et ont un impact sur la cognition dans la TAO ; ils sont encore plus prononcés dans le processus de post-édition. Paulsen Christensen et Schjoldager (2011) soulignent d’ailleurs que leur impact sur les processus cognitifs sera certainement considérablement accru dans la tâche de post-édition.

  • 1 Dans une étude pilote en cours (Martikainen & Ive, 2016), nous notons également l’introduction d’er (...)

5Même si la nature segmentée de la tâche de post-édition peut poser problème pour la cohérence textuelle, une segmentation fine du texte pourrait être nécessaire pour minimiser l’effort cognitif de la correction des erreurs de TA. Koponen (2012) fait la distinction entre, d’une part, l’effort cognitif de l’identification des erreurs dans la sortie de TA et de leur correction, et de l’autre, l’effort technique de ces corrections. Sachant que la longueur de la phrase a un impact sur l’effort cognitif exigé par l’identification des erreurs et la planification des corrections, il pourrait donc être bénéfique de présenter la sortie de TA au post-éditeur en segments plus petits pour minimiser cet effort. Parmi les autres facteurs ayant une influence sur la charge cognitive de la tâche de post-édition, Koponen (2012) identifie la nécessité du remaniement syntaxique, qui exige un effort cognitif supplémentaire, tandis que la présence de mots corrects à la mauvaise forme dans la sortie de TA est identifiée comme un type d’erreur plus facile à traiter sur le plan cognitif1. Aziz, Koponen et Specia (2014) suggèrent également quelques constructions exigeant potentiellement davantage d’efforts lors de la post-édition, notamment la présence de verbes à l’intérieur de segments sous-phrastiques, peut-être en raison d’une complexité accrue de la phrase, ou de l’effort supplémentaire requis par certains types spécifiques de verbes, comme les verbes modaux. Par ailleurs, des constructions comme des séquences de syntagmes nominaux consécutifs seraient susceptibles d’exiger un effort supplémentaire d’identification des liens entre le noyau et ses modificateurs. Les auteurs suggèrent que l’effort requis par certaines constructions pourrait être dû, en partie, aux difficultés qu’elles posent aux moteurs de TA, ainsi qu’aux efforts d’interprétation qu’elles exigent des traducteurs post-éditeurs.

6Cette interposition de la TA dans le processus traductionnel a pour conséquence d’éloigner le post-éditeur du texte source. Carl, Dragsted, Elming, Hardt et Jakobsen (2011) constatent que, dans la traduction humaine (ou « biotraduction »), les textes source et cible reçoivent à peu près le même nombre de fixations du regard, même si la durée globale de fixation dédiée au texte cible reste plus élevée. Or, dans la post-édition, le texte source reçoit en moyenne seulement un tiers de l’attention dédiée au texte cible en termes de fixations du regard et moins du huitième en termes de durée globale de fixation. Ainsi, dans la post-édition, le texte cible a tendance à mobiliser la majeure partie de l’attention visuelle, avec un nombre et une durée globale de fixations dédiées au texte cible significativement plus élevés que dans la biotraduction, dans laquelle la durée globale de fixation sur le texte source est, à l’inverse, significativement plus longue. Les auteurs suggèrent que la compréhension du texte source serait de nature différente dans la post-édition comparativement à la biotraduction, qui semble impliquer une compréhension plus approfondie du texte source. Les résultats obtenus par Mesa-Lao (2014) sont similaires, avec presque 44 % de fixations en plus pour le texte source dans la biotraduction comparativement à la post-édition. Ainsi, les post-éditeurs ne consulteraient généralement le texte source qu’après la lecture du texte cible (sortie de TA), et avant ou après l’édition de celui-ci.

7Les résultats de Čulo, Gutermuth, Hansen-Schirra et Nitzke (2014) illustrent encore l’effet cognitif de l’interposition de la TA dans le processus traductionnel et comment celle-ci perturbe les stratégies de traduction habituelles. Dans cette étude comparative de la biotraduction et de la post-édition, les auteurs notent l’apparition d’expressions non idiomatiques et de constructions non grammaticales dans les textes post-édités, ce qui peut être imputé à l’influence de la langue source par le biais de la TA, qui interfère avec les stratégies habituelles d’explicitation (Baker, 1993) par exemple. Pour Čulo, Gutermuth, Hansen-Schirra et Nitzke (2014), il y a deux raisons à cela : d’une part, la charge cognitive plus importante de la post-édition, qui nécessite d’analyser deux textes au lieu du texte source seul, et de l’autre, les consignes minimalistes de post-édition incitant à ne corriger que les fautes essentielles. Elming, Carl et Winther-Balling (2014) notent cependant que la sortie de TA peut jouer un rôle important dans les gains de temps obtenus par ce processus en produisant un effet d’amorçage. Ainsi, l’interposition de la TA activerait chez le post-éditeur des candidats traductionnels possibles, permettant de gagner du temps comparativement à la biotraduction, même lorsque le nombre d’opérations effectuées lors de la post-édition est important et que la majorité de la sortie de TA aura été remplacée par le post-éditeur.

8Enfin, malgré les réticences exprimées par les traducteurs post-éditeurs (Carl, Gutermuth & Hansen-Schirra, 2015), ceux-ci s’accoutument rapidement à la sortie de TA. Dans une étude comparant différents processus traductionnels (Teixeira, 2014), la majorité des sujets faisaient plus d’erreurs lorsqu’ils traduisaient manuellement à partir de zéro, ce qui pourrait être une indication de leur tendance à se reposer sur les suggestions de traduction, après plusieurs années de pratique avec les mémoires de traduction. Face à un texte pré-traduit (TA ou TAO), sans métadonnées sur la traduction, les sujets avaient tendance à valider une grande partie du texte tel quel. C’est sur cette tâche qu’ils effectuaient le moins d’opérations au clavier, comparativement à la traduction manuelle et à la révision de texte pré-traduit (TA ou TAO) contenant des métadonnées sur la provenance des suggestions de traduction. Cependant, l’effort cognitif perçu est plus important dans ce type de tâche, même si les opérations techniques d’édition sont mineures.

9Ainsi, sachant que les paramètres d’ergonomie cognitive de la post-édition diffèrent de ceux de la traduction humaine (éventuellement assistée par ordinateur), nous avons cherché à savoir comment les textes ainsi produits se distinguaient de ceux traduits par le procédé classique. Partant de l’hypothèse que l’éloignement du texte source et l’effort cognitif imposés par l’interposition de la traduction automatique auront nécessairement des conséquences sur les textes issus de la post-édition, nous avons également cherché à en évaluer l’impact sur les usagers de ces textes.

Méthodologie

10Pour parvenir à ces objectifs, nous avons mené une étude comparative qualitative et statistique sur corpus, complétée par une enquête en ligne auprès d’usagers.

Étude en corpus

11Nos deux corpus comprennent environ 500 000 mots français chacun. Le premier, dénommé BIOTRAD, contient des traductions réalisées par le processus classique de la traduction humaine (ou assistée par ordinateur) ainsi que leurs textes source anglais. Le corpus de traduction automatique post-éditée (TA-PE) contient les textes source, les traductions automatiques correspondantes ainsi que les textes post-édités. La taille du corpus est limitée par la disponibilité réduite de traductions issues du nouveau mode de production, mis en place peu de temps avant cette étude. Cependant, même si la taille modeste du corpus limite l’approche statistique, un premier indice des différences entre les deux corpus est visible dans les coefficients de foisonnement.

Tableau 1. – Corpus d’étude.

Corpus

BIOTRAD

TA-PE

Sous-corpus

EN

FR

EN

TA (FR)

PE (FR)

Occurrences (mots)

396 969

514 327

429 238

526 714

547 617

Foisonnement EN/FR

29,56 %

22,71 %

27,58 %

12Il n’est pas étonnant que la biotraduction soit plus prolifique que la traduction automatique post-éditée, même si les valeurs sont proches et avoisinent les 30 % de foisonnement dans les deux cas. Le foisonnement entre la traduction automatique et la post-édition (3,97 %) correspond, dans une large mesure, aux corrections apportées par les post-éditeurs à la syntaxe du texte traduit automatiquement, calquée sur l’anglais, par exemple en ajoutant des articles à la place de l’article 0.

13Pour explorer le corpus, nous avons commencé par en extraire les mots-clés à l’aide de WordSmithTools. Nous avons donc comparé entre elles les listes de mots des différents sous-corpus, pour mettre en évidence ce qui diffère entre eux. Les listes produisent beaucoup de bruit, d’où la nécessité d’un nettoyage manuel et d’une interprétation des résultats. Dans le tableau ci-après, nous présentons quelques exemples des indices que l’on peut découvrir par l’analyse des mots-clés pour caractériser comparativement les deux corpus.

Tableau 2. – Mots-clés du corpus.

Mots-clés BIOTRAD

Fréquence BIOTRAD

Fréquence TA-PE

TOUTEFOIS

230

102

COMPARE

372

174

COMPARATIVEMENT

53

6

NEANMOINS

49

25

VICTIMES

64

21

NOTAMMENT

152

90

Mots-clés TA-PE

Fréquence BIOTRAD

Fréquence TA-PE

PREUVES

764

2 055

FAIBLE

453

1 343

QUALITE

1 011

2 212

MODEREE

110

368

BIAIS

423

806

RAPPORT

945

1 558

JUGEMENT

467

809

14La première partie du tableau contient quelques-uns des cent premiers mots-clés du corpus de traduction humaine comparativement à la TA post-éditée. On y remarque surtout la présence de connecteurs logiques (toutefois, néanmoins, notamment), ce qui signifie que ceux-ci sont comparativement plus fréquents dans la biotraduction. Ensuite, les termes relatifs à la méthodologie de la revue Cochrane révèlent des différences entre les deux corpus : dans la traduction humaine, le comparateur anglais versus est typiquement rendu par les constructions « comparé à » et « comparativement à », tandis que dans le corpus de post-édition, la traduction « par rapport à » est relativement plus fréquente.

15La seconde partie du tableau contient des exemples de mots-clés du corpus de traduction automatique post-éditée comparativement au corpus de traduction humaine. Nous notons surtout dans cette liste des indices de l’effet d’uniformisation produit par ce processus traductionnel, à savoir des termes et formules typiques dont la traduction, plus diverse dans la biotraduction, s’est figée en raison de la TA, comme « preuves de qualité faible/modérée », « risque de biais » ou encore « critères de jugement ».

16Ainsi, des différences se dessinent lors de cette exploration du corpus, dont l’étude a été approfondie à travers une analyse des concordances et de la distribution de ces formes en corpus. Les recherches ont été effectuées par expressions régulières sous Notepad++ et les données ont été vérifiées et nettoyées manuellement (par exemple pour enlever les occurrences ne correspondant pas à la construction recherchée en anglais).

Enquête en ligne

17Afin d’évaluer l’acceptabilité des traductions pour les usagers, nous avons mené une enquête en ligne. Deux questionnaires ont été mis en place : le premier, destiné aux usagers de santé, portait sur la traduction des résumés grand public et le second, destiné aux représentants des professions médicales, sur la traduction des résumés d’article. Il était demandé aux répondants d’évaluer deux textes traduits dans le domaine de leur choix (cancer, diabète, épilepsie, grossesse et accouchement, maladie d’Alzheimer, mucoviscidose, sclérose en plaques, troubles mentaux). L’un des textes était issu de la traduction humaine et l’autre de la traduction automatique post-éditée, les répondants n’étant pas informés des paramètres de l’étude. Le questionnaire, librement adapté à partir de Fiederer et O’Brien (2009) comportait les questions suivantes, ainsi qu’un champ de commentaire libre permettant aux répondants d’expliciter leurs préférences ou d’approfondir leur évaluation :

Question 1. Clarté : Le texte est-il facile à comprendre ? Avez-vous compris de quelle intervention il était question et quelle était la conclusion sur son efficacité ?

1 – Pas du tout compréhensible.
2 – Peu compréhensible.
3 – Assez bien compréhensible.
4 – Parfaitement compréhensible.

Question 2. Style : Le langage utilisé est-il approprié pour ce type de texte ? Le texte est-il écrit dans un langage fluide, qui semble naturel et idiomatique ?

1 – Langage inapproprié. Le texte n’est pas du tout fluide, le langage ne semble pas naturel et idiomatique.
2 – Langage plutôt inapproprié. Le texte n’est pas très fluide, le langage ne semble pas très naturel et idiomatique.
3 – Langage plutôt approprié. Le texte est assez fluide, le langage semble plutôt naturel et idiomatique.
4 – Langage parfaitement approprié. Le texte est très fluide, le langage semble tout à fait naturel et idiomatique.

Question 3 (optionnelle). Fidélité : Dans quelle mesure la traduction française contient-elle les mêmes informations que le texte source anglais ? Avez-vous détecté des erreurs ou des incohérences par rapport au texte anglais ? La lecture du texte anglais change-t-elle votre avis sur l’efficacité de l’intervention ?

1 – Les informations ne sont pas les mêmes. Les erreurs ou incohérences sont nombreuses. La lecture du texte anglais change complètement mon avis sur l’efficacité de l’intervention.
2 – Les informations ne sont pour la plupart pas les mêmes. Les erreurs ou incohérences sont plutôt nombreuses. La lecture du texte anglais change mon avis sur l’efficacité de l’intervention.
3 – Les informations sont pour la plupart les mêmes. Les erreurs ou incohérences sont rares. La lecture du texte anglais ne change pas mon avis sur l’efficacité de l’intervention.
4 – Les informations sont les mêmes. Il n’y a aucune erreur ou incohérence. La lecture du texte anglais ne change absolument pas mon avis sur l’efficacité de l’intervention.

Question 4. Préférence : Après avoir lu ces deux traductions traitant du même sujet, avez-vous une préférence pour l’une des deux ?

1 – Oui, la traduction du texte A.
2 – Oui, la traduction du texte B.
3 – Non, les deux traductions sont de qualité comparable.

  • 2 Créés sur Google Docs.

18Les questionnaires2 ont été mis en ligne sur la version francophone du site cochrane.org, et le recrutement de répondants s’est fait via des courriels adressés à des associations d’usagers de santé ainsi que par une distribution via les réseaux de Cochrane et de l’Université Paris 7. L’enquête en ligne était limitée notamment par le petit nombre de répondants (37) et certaines caractéristiques techniques des questionnaires.

Analyse des résultats

Étude en corpus

19L’étude comparative en corpus des concordances de constructions terminologiques et phraséologiques et de leur distribution a mis en évidence des tendances émergentes dans les textes post-édités par rapport à la biotraduction. Des glissements distributionnels aux niveaux terminologique et phraséologique y traduisent l’apparition d’une tendance à la traduction par équivalence formelle et littérale, révélatrice de l’interférence de la TA dans le processus traductionnel. De plus, un effet de lissage distributionnel dans les textes post-édités est indicateur de la tendance centralisatrice de la TA statistique à privilégier une forme donnée et à éliminer les formes les moins fréquentes.

20Tout d’abord, au niveau terminologique, nous notons l’apparition d’une tendance à la traduction par équivalence formelle, consistant à privilégier la traduction la plus proche, par la forme, de l’original anglais. Dans le corpus de traduction humaine, l’adjectif anglais severe est majoritairement rendu par « grave » (62 %), tandis que le choix le plus proche au niveau de la forme, « sévère », est choisi dans un tiers des cas (29 %) seulement. Dans le corpus de traduction automatique post-éditée, la tendance s’est inversée, et la traduction formelle par « sévère » y est majoritaire (60 %), l’adjectif le plus éloigné au niveau de la forme (« grave ») n’étant plus choisi que dans 35 % des occurrences.

Tableau 3. – Traduction par équivalence formelle : severe.

EN : severe

BIOTRAD : 226

TA-PE : 260

sévère

65 (< 29 %)

155 (< 60 %)

grave

140 (< 62 %)

92 (> 35 %)

autres traductions

21 (> 9 %)

13 (5 %)

21L’interférence de la TA statistique est notamment visible dans les incohérences textuelles observées dans le corpus de traduction automatique post-éditée :
EN : Most studies recruited participants with severe to very severe COPD.
TA-PE : La plupart des études avaient recruté des participants atteints de BPCO sévère à très grave.

22Dans le cas du terme anglais ultrasound, c’est également la traduction la plus proche au niveau de la forme, « ultrasons », qui gagne du terrain dans le corpus de traduction automatique post-éditée : 66 % des occurrences, contre 32 % dans le corpus de traduction humaine. Le composé spécialisé « ultrasonothérapie » disparaît pratiquement du corpus de traduction automatique post-éditée au profit de la construction « traitement par ultrasons ». On note aussi la fréquence relative augmentée des syntagmes prépositionnels venant modifier le nom-tête d’un syntagme nominal (par exemple, « guidage par ultrasons/échographie ») et la diminution des adjectifs dans cette même position (« guidage échographique », ou encore « échoguidé », dans la catégorie « autres traductions »).

Tableau 4. – Traduction par équivalence formelle : ultrasound.

EN : ultrasound

BIOTRAD : 66

TA-PE : 53

échographique

5 (< 8 %)

2 (< 4 %)

échographie

11 (< 17 %)

12 (< 23 %)

ultrasons

21 (< 32 %)

35 (66 %)

ultrasonothérapie

25 (< 38 %)

2 (< 4 %)

autres traductions

4 (6 %)

2 (< 4 %)

23Ensuite, au niveau phraséologique, nous notons l’apparition d’une tendance à privilégier la traduction littérale ou mot-à-mot dans la traduction automatique post-éditée. Pour traduire le verbe anglais using lorsque celui-ci exprime le moyen (p. ex. Meta-analysis was conducted using the random effects model), les différentes options sont représentées de façon assez équilibrée dans le corpus de traduction humaine : la construction « à l’aide de » y est certes majoritaire, avec 39 % des occurrences, mais les autres options avoisinent toutes les 20 %. En revanche, dans le corpus de traduction automatique post-éditée, on note la forte augmentation relative de la traduction littérale « en utilisant », qui représente près de la moitié des occurrences (47 %), au détriment des autres options possibles, plus éloignées au niveau de la forme.

Tableau 5. – Traduction littérale : using.

EN : using

BIOTRAD : 375

TA-PE : 416

(en) utilisant

90 (24 %)

197 (> 47 %)

à l’aide (de)

147 (> 39 %)

153 (< 37 %)

au moyen (de)

70 (< 19 %)

22 (> 5 %)

autres traductions

68 (> 18 %)

44 (< 11 %)

24Cette tendance à la traduction littérale au niveau de la phraséologie s’observe également dans les constructions de type people/participants with [an illness]. Dans le corpus de traduction automatique post-éditée, la traduction mot-à-mot « personnes avec » fait son apparition (3 %). On note, là encore, surtout cette tendance due à la TA statistique à privilégier certaines formes (« personnes atteintes/souffrant de ») et à éliminer graduellement les formes les moins fréquentes (p. ex. « personnes présentant/ayant », ou « personnes + ADJ »).

Tableau 6. – Traduction littérale : people with (an illness).

EN : people with

BIOTRAD : 370

TA-PE : 555

(personnes) atteint(e)s de

207 (< 56 %)

361 (65 %)

(personnes) souffrant de

73 (< 20 %)

135 (> 24 %)

(personnes) avec

1 (> 0 %)

18 (> 3 %)

(personnes) présentant/ayant

47 (< 13 %)

15 (< 3 %)

(personnes +) ADJ

22 (< 6 %)

13 (> 2 %)

autres traductions (p. ex. « victimes de »)

20 (> 5 %)

13 (> 2 %)

25Ce dernier exemple permet aussi d’illustrer les différences en termes d’erreurs collocationnelles entre les corpus de traduction humaine et de traduction automatique post-éditée. La construction idiomatique « victimes de [maladie] » est nettement plus fréquente dans le corpus de traduction humaine (64 occurrences, contre 21 dans le corpus de traduction automatique post-éditée), et ressortait d’ailleurs déjà parmi les mots-clés de ce corpus en raison de sa fréquence relative. « Victimes » y apparaît pour traduire des constructions de type patients with [stroke/cardiac arrest/etc.], ou suffer/experience/have [a stroke/heart attack/etc.], avec une nette préférence sémantique pour la classe sémantique des événements de type « grave accident de santé ». Cependant, cette construction y est également associée à des maladies au long cours, ou à des affections bénignes, en désaccord avec ce profil sémantique (p. ex. « victimes d’ostéoporose/de caries dentaires/d’essoufflement, de toux et d’expectorations »). Dans le corpus de traduction automatique post-éditée, « victimes » apparaît surtout pour traduire le terme stroke patients, tandis que les constructions qui appelaient cette traduction dans le corpus de biotraduction y sont plutôt traduites par « personnes atteintes/souffrant de ». La surreprésentation de ces constructions génère aussi des erreurs collocationnelles dans le corpus de post-édition : ces constructions à la préférence sémantique pour des affections médicales d’une certaine durée y sont associées à des événements subits comme « patients atteints d’une crise cardiaque » ou « souffrant d’une occlusion artérielle périphérique soudaine ». Ainsi, « victime » dans cet emploi disparaît du corpus de traduction automatique post-éditée, au profit de la construction « atteint/souffrant de », qui à son tour génère d’autres erreurs de collocations.

26Ces tendances à la traduction par équivalence formelle et littérale s’observent également au niveau des termes complexes. Ce phénomène, difficilement quantifiable dans un corpus de taille réduite, est probablement dû à des défaillances de la TA dans la reconnaissance de termes composés, non détectées par les post-éditeurs habitués à lire la sortie de TA. Ainsi, pour le terme anglais Duplex ultrasound, nous notons, dans le corpus de post-édition, l’apparition de la traduction par équivalence formelle « doppler par ultrasons », au lieu du terme compact attendu dans ce contexte spécialisé, « écho-doppler ». De même, pour le composé liver-related morbidity, ce corpus contient plusieurs occurrences de la traduction littérale et développée « morbidité liée au foie » à la place du terme compact consacré « morbidité hépatique ».

27Enfin, comme déjà noté dans certains exemples précédents, la comparaison de ces deux corpus fait apparaître un lissage de la distribution des différents choix de traduction, révélateur de la tendance centralisatrice de la traduction automatique post-éditée qui consiste à privilégier une traduction donnée au détriment de la diversité propre à la traduction humaine. Ainsi, pour la construction anglaise there is evidence, les solutions de traduction observées en corpus sont très variées (p. ex. There is no good evidence to suggest […] : « Aucune preuve suffisamment probante ne permet de démontrer […] » ; There is no evidence of benefit from […] : « Le bénéfice des […] n’a pas été démontré »). Dans le corpus de traduction humaine, la traduction par « il existe des preuves » représente moins de 20 % des occurrences. Dans le corpus de traduction automatique post-éditée, cependant, cette traduction s’est propagée et a été choisie dans plus de 40 % des cas.

Tableau 7. – Tendance centralisatrice : there is evidence.

EN : there is * evidence

BIOTRAD : 297

TA-PE : 271

il existe * preuves

58 (< 20 %)

115 (> 42 %)

autres traductions

239 (> 80 %)

156 (< 58 %)

28Cette tendance centralisatrice est d’ailleurs marquée dans la traduction du there existentiel en général. Loock, Mariaule et Oster (2013) ont en effet démontré que le there existentiel était significativement plus fréquent dans l’anglais original que son équivalent direct, « il y a », ne l’est en français original. Cette contrainte d’usage portant sur « il y a » influence également le français traduit, lequel privilégie, pour rendre le there existentiel, les solutions de traductions n’utilisant pas cet équivalent direct. Or, on observe dans le corpus de post-édition Cochrane une augmentation nette des traductions par « il y a » (42 % des occurrences, contre 29 % dans la biotraduction). Par ailleurs, les constructions « il y a » et « il existe » couvrent ensemble environ 66 % des occurrences dans la traduction automatique post-éditée, contre 47 % dans la traduction humaine.

Tableau 8. – Tendance centralisatrice : there existentiel.

EN : there existentiel

BIOTRAD : 1 479

TA-PE : 1 417

il (n’) y a(vait)

425 (< 29 %)

601 (> 42 %)

il (n’) existe

271 (> 18 %)

340 (< 24 %)

Enquête en ligne

29L’enquête d’évaluation a permis de confirmer l’acceptabilité de ce nouveau mode de production pour les usagers de ces textes, et d’en déterminer quelques avantages potentiels pour le public cible notamment en termes de clarté du texte. Elle a cependant également attiré notre attention sur des sources d’erreurs spécifiques et sur l’impact que celles-ci pouvaient avoir sur l’interprétation des résultats de la recherche médicale par les usagers.

30Nous avons recueilli 12 réponses au questionnaire destiné aux usagers sur l’évaluation de la traduction des résumés grand public, et 25 réponses au questionnaire destiné aux professions médicales sur l’évaluation du résumé d’article. L’évaluation optionnelle de la fidélité vis-à-vis du texte source anglais a été effectuée par un nombre réduit de répondants (6 parmi les usagers et 7 parmi les professionnels). Les évaluations ont porté majoritairement sur les textes traitant du cancer et du diabète, suivis par les textes sur les troubles mentaux ainsi que sur la grossesse et l’accouchement.

Tableau 9. – Questionnaire destiné aux usagers de santé (12 répondants, score moyen sur une échelle de 1 à 4).

Critère d’évaluation

BIOTRAD

TA-PE

Clarté

3

3

Style

2,66

2,83

Fidélité

3,16

3

Préférence

42 %

8 %

Qualité comparable

50 %

Tableau 10. – Questionnaire destiné aux professions médicales (25 répondants, score moyen sur une échelle de 1 à 4).

Critère d’évaluation

BIOTRAD

TA-PE

Clarté

3,52

3,28

Style

2,96

2,96

Fidélité

3,28

3

Préférence

32 %

28 %

Qualité comparable

40 %

  • 3 Pour les trois paramètres évalués, la note 3 correspond aux évaluations suivantes : Clarté = « Asse (...)

31Dans l’ensemble, les notes obtenues par les deux types de traductions sur les trois paramètres évalués sont comparables, et avoisinent globalement la note 33. De façon assez surprenante, les deux types de traduction obtiennent la note la plus faible sur le style, tant auprès des usagers que des professionnels. Nous remarquons également que la préférence des répondants venant de professions médicales se partage équitablement entre la traduction humaine (32 %) et la post-édition (28 %), lorsque les deux ne sont pas considérées comme de qualité équivalente (40 %).

Tableau 11. – Total tous répondants confondus (37 répondants, score moyen sur une échelle de 1 à 4).

Critère d’évaluation

BIOTRAD

TA-PE

Clarté

3,35

3,18

Style

2,86

2,91

Fidélité

3,23

3

Préférence

35 %

22 %

Qualité comparable

43 %

32Dans la comparaison globale, la traduction automatique post-éditée présente une note légèrement inférieure à la traduction humaine en ce qui concerne la clarté et la fidélité, mais obtient une note marginalement supérieure pour le style. Surprenant à première vue, ce résultat s’explique surtout par la préférence apparente des répondants pour un style ressenti comme plus direct et simple (« Langage direct et précis, sans circonvolution verbale »). Même si plus d’un tiers des répondants (35 %) préfèrent la traduction humaine, les textes issus des deux procédés sont majoritairement estimés de qualité comparable (43 %).

33Les répondants au questionnaire des professions médicales ont cependant souligné des erreurs dans la traduction automatique post-éditée. Par exemple, le terme complexe dementia caused by Alzheimer’s disease a été rendu par la traduction littérale « démence en raison de la Maladie d’Alzheimer », au lieu du terme spécialisé attendu, « démence de type Alzheimer ».

34Sont également soulignées « de rares fautes graves de traduction pouvant fausser l’interprétation de la méta-analyse ». Il s’agit d’erreurs de langue en apparence anodines mais aux conséquences graves, ayant pour origine la traduction automatique. Par exemple, dans la section « Critères de sélection », l’inclusion possible des essais sur les thérapies non médicamenteuses n’est pas claire :
EN : We included RCTs that compared a drug with placebo and that had the primary aim of improving sleep in people with Alzheimer’s disease who had an identified sleep disturbance at baseline. Trials could also include non-pharmacological interventions as long as both drug and placebo groups had the same exposure to them.
TA : Nous avons inclus des ECR qui comparaient un médicament à un placebo et qui avaient l’objectif principal de l’amélioration du sommeil chez les personnes atteintes de la maladie d’Alzheimer ayant eu une identifié des troubles du sommeil au départ. Essais pourraient également inclure des interventions non pharmacologiques aussi longtemps que ces deux médicaments et les groupes sous placebo présentaient les mêmes l’exposition à eux.
PE : Nous avons inclus des ECR qui comparaient un médicament à un placebo et qui avaient pour objectif principal d’améliorer le sommeil chez les personnes atteintes de la maladie d’Alzheimer et souffrant de troubles du sommeil identifiés. Les essais pourraient également inclure des interventions non pharmacologiques tant que les groupes de médicaments et les groupes sous placebo évaluent la même exposition à ces interventions.

35Le verbe « pouvoir » devrait être ici à l’imparfait et non au conditionnel. Par ailleurs, l’article défini « les ECR » devrait être privilégié dans ce contexte. En effet, dans cette section du résumé scientifique sont expliqués les critères de sélection appliqués lors de la recherche d’essais, qui peut cependant aboutir à l’exclusion de tous les résultats et ainsi à l’inclusion de zéro essai dans la revue.

36Dans la section « Recueil des données et analyse », on note également une formulation prêtant à confusion quant au nombre d’études incluses dans la revue, et qui a pour origine une mauvaise segmentation par la TA :
EN : Two authors working independently extracted data on study design, risk of bias and results from the included study reports.
TA : Deux auteurs travaillant indépendamment ont extrait les données sur le plan d’étude, le risque de biais et les résultats de l’étude incluse rapports.
PE : Deux auteurs ont indépendamment extrait les données sur le plan d’étude, le risque de biais et les résultats des rapports de l’étude incluse.

37Le découpage correct serait « des rapports d’étude inclus ». Il semble que le post-éditeur, en corrigeant l’erreur, se soit ici laissé orienter par la solution de traduction automatique erronée, sans consulter le texte source.

Conclusion

38Nous avons vu comment les particularités du processus associant la traduction automatique et la post-édition influencent les caractéristiques des textes ainsi produits. L’interposition de la TA dans le processus traductionnel interfère avec les stratégies de traduction habituelles, notamment celle de la normalisation, ce qui éloigne le post-éditeur du texte source, mais le rend en même temps plus sensible à l’influence de la langue source. La tendance à faire confiance à l’outil pour la terminologie et l’accoutumance à la sortie de TA au niveau de la phraséologie renforcent encore les phénomènes observés en corpus : traduction par équivalence formelle et littérale ; tendance centralisatrice manifeste dans la distribution de certaines formes ; reproduction fréquente des structures de la langue source (« Des imperfections dans les plans d’études ont été trouvées »). De cette interaction homme-machine résulte ainsi une langue traduite aux caractéristiques particulières : plus uniformes sur les plans stylistique et syntaxique, les textes post-édités sont potentiellement moins cohérents aux niveaux textuel et terminologique que les textes issus de la traduction humaine.

39La reconnaissance des particularités des textes post-édités est nécessaire, car celles-ci ont des implications sur plusieurs plans. L’effet d’uniformisation observé pourrait constituer un avantage dans le contexte de production collective des résumés Cochrane, en permettant d’harmoniser les textes produits par des post-éditeurs aux profils variés et de produire une variété linguistique peut-être plus conforme à l’objectif d’un français international. Cette uniformisation et cette simplification phraséologique pourraient représenter un avantage pour les usagers, mais le processus de TA post-éditée peut cependant générer des erreurs spécifiques potentiellement graves (non détectées par des usagers dont la plupart ne lisent pas le texte anglais) : la précision terminologique souffre d’une traduction trop littérale, et les erreurs de langue introduites par la TA amènent des erreurs d’interprétation. Enfin, dans la formation des post-éditeurs, une reconnaissance de la nature particulière de la tâche de post-édition et des caractéristiques des textes ainsi produits est indispensable, pour sensibiliser les traducteurs post-éditeurs à l’influence de la TA dans le processus ; à l’éloignement du texte source qu’elle produit ; à cette tendance à la traduction directe ; aux défis que posent le manque de cohérence interne de la TA statistique et la nature fragmentée de cette tâche.

Haut de page

Bibliographie

Aziz Wiker, Koponen Maarit & Specia Lucia (2014), « Sub-sentence level analysis of machine translation post-editing effort », S. O’Brien, L. Winther-Balling, M. Carl, M. Simard & L. Specia (dir.), Post-editing of Machine Translation: Processes and Applications, Newcastle upon Tyne : Cambridge Scholars Publishing, 170-199.

Baker Mona (1993), « Corpus Linguistics and Translation Studies: Implications and Applications », M. Baker, G. Francis & E. Tognini-Bonelli (dir.), Text and Technology: In Honour of John Sinclair, Amsterdam/Philadelphie : John Benjamins Publishing Company, 233-250.

Brunette Louise & O’Brien Sharon (2011), « Quelle ergonomie pour la pratique postéditrice des textes traduits ? », ILCEA (14), <ilcea.revues.org/1081>.

Carl Michael, Dragsted Barbara, Elming Jakob, Hardt Daniel & Jakobsen Arnt Lykke (2011), « The process of post-editing: a pilot study », B. Sharp, M. Zock, M. Carl & A. L. Jakobsen (dir.), Proceedings of the 8th international NLPSC workshop. Special theme: Human-machine interaction in translation (Copenhagen Studies in Language), Frederiksberg : Samfundslitteratur, 41, 131-142.

Carl Michael, Gutermuth Silke & Hansen-Schirra Silvia (2015), « Post-Editing Machine Translation: Efficiency, Strategies, and Revision Processes in Professional Translation Settings », A. Ferreira & J. W. Schwieter (dir.), Psycholinguistic and Cognitive Inquiries into Translation and Interpreting, Amsterdam/Philadelphie : John Benjamins Publishing Company, 145-174.

Čulo Oliver, Gutermuth Silke, Hansen-Schirra Silvia & Nitzke Jean (2014), « The Influence of Post-Editing on Translation Strategies », S. O’Brien, L. Winther-Balling, M. Carl, M. Simard & L. Specia (dir.), Post-editing of Machine Translation: Processes and Applications, Newcastle upon Tyne : Cambridge Scholars Publishing, 200-218.

Depraetere Ilse, De Sutter Nathalie & Tezcan Arda (2014), « Post-Edited Quality, Post-Editing Behaviour and Human Evaluation: A Case Study », S. O’Brien, L. Winther-Balling, M. Carl, M. Simard & L. Specia (dir.), Post-editing of Machine Translation: Processes and Applications, Newcastle upon Tyne : Cambridge Scholars Publishing, 78-108.

Elming Jakob, Carl Michael & Winther-Balling Laura (2014), « Investigating user behaviour in post-editing and translation using the Casmacat workbench », S. O’Brien, L. Winther-Balling, M. Carl, M. Simard & L. Specia (dir.), Post-editing of Machine Translation: Processes and Applications, Newcastle upon Tyne : Cambridge Scholars Publishing, 147-169.

Fiederer Rebecca & O’Brien Sharon (2009), « Quality and Machine Translation – A Realistic Objective? », The Journal of Specialised Translation, 11, 52-74.

Guerberof Arenas Ana (2014), « The role of professional experience in post-editing froma quality and productivity perspective », S. O’Brien, L. Winther-Balling, M. Carl, M. Simard & L. Specia (dir.), Post-editing of Machine Translation: Processes and Applications, Newcastle upon Tyne : Cambridge Scholars Publishing, 51-76.

Koponen Maarit (2012), « Comparing human perceptions of post-editing effort with post-editing operations », Proceedings of the Seventh Workshop on Statistical Machine Translation, Stroudsburg : Association for Computational Linguistics, 181-190.

Laurenzi Adrian, Brownstein Megumu, Turner Anne M., Kientz Julie A. & Kirchhoff Katrin (2013), « A Web-Based Collaborative Translation Management System for Public Health Workers », CHI’13 Extended Abstracts on Human Factors in Computing Systems, ACM, 511-516.

Loock Rudy, Mariaule Michaël & Oster Corinne (2013), « Traductologie de corpus et qualité : étude de cas », actes du colloque Tralogy II, session 5 – Assessing Quality in MT / Mesure de la qualité en TA, <lodel.irevues.inist.fr/tralogy/index.php?id=243>.

Martikainen Hanna & Ive Julia (2016), « Les corpus pour améliorer la qualité de la traduction automatique statistique post-éditée dans un domaine de spécialité », communication présentée lors de la journée d’études Traduction & Qualité 2016, Villeneuve d’Ascq, France.

Mesa-Lao Bartolomé (2014), « Gaze behaviour on source texts: An exploratory study comparing translation and post-editing », S. O’Brien, L. Winther-Balling, M. Carl, M. Simard & L. Specia (dir.), Post-editing of Machine Translation: Processes and Applications, Newcastle upon Tyne : Cambridge Scholars Publishing, 219-245.

Paulsen Christensen Tina & Schjoldager Anne (2011), « The impact of translation-memory (TM) technology on cognitive processes: Student-translators’ retrospective comments in an online-questionnaire », B. Sharp, M. Zock, M. Carl & A. L. Jakobsen (dir.), Proceedings of the 8th international NLPSC workshop. Special theme: Human-machine interaction in translation (Copenhagen Studies in Language), Frederiksberg : Samfundslitteratur, 41, 119-130.

TAUS/CNGL (2010), Consignes relatives à la post-édition des traductions automatiques, en ligne sur <www.taus.net>.

Teixeira Carlos (2014), « Perceived vs measured performance in the post-editing of suggestions from machine translation and translation memories », S. O’Brien, M. Simard & L. Specia (dir.), Proceedings of the Third Workshop on Post-Editing Technology and Practice, AMTA, 45-59.

Haut de page

Notes

1 Dans une étude pilote en cours (Martikainen & Ive, 2016), nous notons également l’introduction d’erreurs et d’omissions majeures lors d’opérations de post-édition importantes impliquant des remaniements sur des segments mal traduits par la TA.

2 Créés sur Google Docs.

3 Pour les trois paramètres évalués, la note 3 correspond aux évaluations suivantes : Clarté = « Assez bien compréhensible. » ; Style = « Langage plutôt approprié. Le texte est assez fluide, le langage semble plutôt naturel et idiomatique. » ; Fidélité = « Les informations sont pour la plupart les mêmes. Les erreurs ou incohérences sont rares. La lecture du texte anglais ne change pas mon avis sur l’efficacité de l’intervention. ».

Haut de page

Pour citer cet article

Référence électronique

Hanna Martikainen et Natalie Kübler, « Ergonomie cognitive de la post-édition de traduction automatique : enjeux pour la qualité des traductions », ILCEA [En ligne], 27 | 2016, mis en ligne le 08 novembre 2016, consulté le 20 août 2017. URL : http://ilcea.revues.org/3863

Haut de page

Auteurs

Hanna Martikainen

CLILLAC – ARP, Université Paris Diderot, Sorbonne Paris Cité

Natalie Kübler

CLILLAC – ARP, Université Paris Diderot, Sorbonne Paris Cité

Haut de page

Droits d’auteur

© ILCEA

Haut de page
  • Les cahiers de Revues.org