Quelle est la qualité réelle des traductions automatiques?

Jusqu'à aujourd'hui, en tant que profane de l'IA, je suis confus par les améliorations promises et réalisées de la traduction automatisée.

Mon impression est: il y a encore beaucoup de chemin à parcourir. Ou y a-t-il d'autres explications pour lesquelles les traductions automatisées (proposées et fournies par exemple par Google) d'articles tout à fait simples de Wikipédia sont toujours lues et semblent principalement stupides, sont à peine lisibles, et seulement très partiellement utiles et utiles?

Cela peut dépendre de préférences personnelles (concernant la lisibilité, l'utilité et l'utilité), mais mes attentes personnelles sont profondément déçues.

Inversement: les traductions de Google sont-elles néanmoins lisibles, utiles et utiles pour la majorité des utilisateurs ?

Ou Google a-t-il des raisons de conserver ses réalisations (et de ne pas montrer aux utilisateurs le meilleur qu'ils peuvent montrer)?

Résultat préliminaire: Nous sommes encore loin de pouvoir parler avec les intelligences artificielles sur un pied d'égalité et de compréhension - uniquement au niveau des cordes. Alors pourquoi devrions-nous avoir peur? Parce qu'ils en savent plus que nous - mais nous ne savons pas?

Qui a prétendu que la traduction automatique est aussi bonne qu'un traducteur humain? Pour moi, en tant que traducteur professionnel qui vit de la traduction depuis 35 ans maintenant, MT signifie que ma production quotidienne de traduction de qualité humaine a augmenté de 3 à 5, en fonction de la complexité du texte source.

Je ne peux pas convenir que la qualité de MT diminue avec la longueur de l'entrée en langue étrangère. Cela était vrai pour les anciens systèmes avec des analyses sémantiques et grammaticales. Je ne pense pas que je connais tous les anciens systèmes (je connais Systran, un outil trash de Siemens qui a été vendu d'une entreprise à l'autre comme un cadeau de Danaer, XL8, Personal Translator and Translate), mais même un système professionnel dans lequel j'ai investi 28.000 DM (!!!!) a lamentablement échoué.

Par exemple, la phrase:

En cette chaude journée d'été, j'ai dû travailler et c'était une douleur dans le cul.

peut être traduit à l'aide de plusieurs outils MT en allemand.

Traducteur personnel 20 :

Auf diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel.

Invite :

An diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel.

DeepL :

An diesem heißen Sommertag musste ich arbeiten und es war eine Qual.

Google:

An diesem heißen Sommertag musste ich arbeiten und es war ein Schmerz im Arsch.

Aujourd'hui, Google me présente généralement des traductions lisibles et presque correctes et DeepL est encore mieux. Ce matin même, j'ai traduit 3 500 mots en 3 heures et le résultat est impeccable bien que le texte source soit plein d'erreurs (écrit en chinois).

Les traductions de Google peuvent être utiles, surtout si vous savez que les traductions ne sont pas parfaites et si vous voulez juste avoir une première idée de la signification du texte (dont les traductions de Google peuvent parfois être assez trompeuses ou incorrectes). Je ne recommanderais pas la traduction de Google (ou tout autre traducteur non humain) pour effectuer une traduction sérieuse, à moins qu'il ne s'agisse probablement d'une phrase ou d'un mot commun, cela n'implique pas de textes très longs et un langage informel (ou argot), les traductions impliquent le Langue anglaise ou vous n'avez pas accès à un traducteur humain.

Google Translate utilise actuellement un système de traduction automatique neuronal . Pour évaluer ce modèle (et des modèles similaires), la métrique BLEU (une échelle de $0$ à $100$ , où $100$ correspond à la traduction de l'étalon-or humain) et des évaluations côte à côte (un humain évalue les traductions) ont été utilisées. Si vous utilisez uniquement la métrique BLEU, les traductions de la machine sont assez médiocres (mais la métrique BLEU n'est pas non plus une métrique d'évaluation parfaite, car il y a souvent plus d'une traduction d'une phrase donnée). Cependant, GNMT réduit les erreurs de traduction par rapport à la traduction automatique basée sur des phrases (PBMT) .

Dans le document Making AI Meaningful Again , les auteurs discutent également de la difficulté de la tâche de traduction (qui est considérée comme un problème complet de l'IA ). Ils mentionnent également le transformateur (un autre modèle de traduction automatique à la pointe de la technologie), qui donne des résultats assez médiocres (évalué à l'aide de la métrique BLEU).

Pour conclure, la traduction automatique est un problème difficile et les systèmes de traduction automatique actuels ne fonctionnent certainement pas aussi bien qu'un traducteur humain professionnel.

Vous avez posé pas mal de questions, dont certaines ne peuvent être résolues définitivement. Pour donner un aperçu de la qualité (et de son histoire) des traductions automatiques, j'aime me référer à Christopher Manning comme son «repère d'une phrase» tel que présenté dans sa conférence . Il contient un exemple chinois vers anglais qui est comparé à la sortie Google Translate. La traduction correcte de l'exemple serait:

En 1519, six cents Espagnols débarquent au Mexique pour conquérir l'Empire aztèque avec une population de quelques millions d'habitants. Ils ont perdu les deux tiers de leurs soldats lors du premier affrontement.

Google Translate a renvoyé les traductions suivantes.

2009 1519 600 Espagnols débarquent au Mexique, des millions de personnes pour conquérir l'empire aztèque, les deux premiers tiers des soldats contre leur perte.

2011 1519 600 Espagnols débarquent au Mexique, des millions de personnes pour conquérir l'empire aztèque, la perte initiale de soldats, les deux tiers de leurs rencontres.

2013 1519 600 Espagnols débarquent au Mexique pour conquérir l'empire aztèque, des centaines de millions de personnes, la confrontation initiale perdant des soldats les deux tiers.

2015 1519 600 Espagnols débarquent au Mexique, des millions de personnes pour conquérir l'empire aztèque, les deux premiers tiers de la perte de soldats qu'ils affrontent.

2017 En 1519, 600 Espagnols débarquent au Mexique, pour conquérir les millions de personnes de l'empire aztèque, première confrontation dont ils tuent les deux tiers.

Si Google conserve ou «cache» ses meilleurs résultats: j'en doute. Il existe de nombreux excellents chercheurs travaillant dans le domaine du traitement du langage naturel (PNL). Si Google avait une «plus grande réussite» en matière de traduction, les chercheurs le découvriraient tôt ou tard. (Pourquoi Google cacherait-il de toute façon sa «plus grande réussite»? Ils semblent voir les avantages de l'open source, voir Transformer [1] ou BERT [2])

NB. Pour une liste mise à jour des algorithmes de pointe en PNL, voir le classement SQuAD2.0 .

[1] Vaswani, Ashish et al. "L'attention est tout ce dont vous avez besoin." Progrès dans les systèmes de traitement de l'information neuronale. 2017.

[2] Devlin, Jacob et al. "Bert: Pré-formation de transformateurs bidirectionnels profonds pour la compréhension du langage." arXiv preprint arXiv: 1810.04805 (2018).

Cela dépend vraiment de la paire de langues et du sujet du contenu. La traduction de / vers l'anglais vers toute autre langue est généralement la meilleure prise en charge. La traduction vers et depuis les langues populaires fonctionne mieux, par exemple, la traduction de l'anglais vers le roumain est une traduction moins bonne que l'anglais vers le russe. Mais la traduction de l'anglais vers le russe ou le roumain est meilleure que la traduction du russe vers le roumain. Et la traduction du roumain vers l'anglais est meilleure que la traduction de l'anglais vers le roumain.

Mais si vous avez l'habitude de travailler avec des traducteurs et que vous avez une connaissance passagère des langues, des erreurs de traduction et du sujet, il est facile de comprendre ce qui était censé être là. Et, à ce stade, il est parfois plus facile de lire quelque chose traduit dans votre langue maternelle pour une numérisation rapide que de le lire dans une deuxième langue.

Les langues moins populaires (pour la traduction pas nécessairement en nombre de locuteurs) sont beaucoup plus proches des traductions littérales que légèrement mieux que ce que vous feriez personnellement en utilisant un dictionnaire pour deux langues que vous ne connaissez pas.

Ai-je tort et les traductions de Google sont néanmoins lisibles, utiles et utiles pour la majorité des utilisateurs?

Oui, ils sont quelque peu utiles et vous permettent de traduire plus rapidement.

Ou Google a-t-il des raisons de conserver ses plus grandes réalisations (et de ne pas montrer aux utilisateurs le meilleur qu'ils peuvent montrer)?

Peut-être, je ne sais pas. Si vous recherchez des informations, Google fait vraiment beaucoup de choses stupides et horribles, comme apprendre de ce que les utilisateurs disent sur Internet, prendre des données inappropriées comme ensembles de données d'entrée fiables.

Toutes mes excuses pour ne pas avoir écrit en anglais. Veuillez trouver la traduction adaptée ici:

Pour donner aux personnes intéressées une idée de la qualité de la MT (DeepL), veuillez consulter cet exemple d'un texte sur lequel je travaillais ce matin (6 300 mots, commencé à 9 h, livraison aujourd'hui vers 13 h et encore du temps pour cet article). Je travaillais sur cette phrase (201 mots) lorsque j'ai posté mon commentaire.

ou tout processus qui s'exécute ou est activé alors que vous n'êtes pas connecté à ce site Web, ou qui interfère autrement avec le bon fonctionnement de ou place une charge déraisonnable sur l'infrastructure de ce site Web; ou (e) utiliser un logiciel, des appareils ou d'autres processus manuels ou automatisés pour «explorer», «gratter» ou «araignée» toute page de ce site Web; ou (f) décompiler, procéder à une ingénierie inverse ou tenter autrement d'obtenir le code source de ce site Web. "

DeepL renvoie ceci:

Sie versichern, garantieren und verpflichten sich gegenüber ABC, dass Sie dies nicht tun werden: a) betrügerische, missbräuchliche oder anderweitig illegale Aktivitäten durchzuführen, die Anlass für die Beendigung Ihres Rechts auf Dugerenz oder (b) Mitteilungen oder Aufforderungen, die dazu bestimmt sind oder sind, Passwörter, Konten oder private Informationen von anderen Nutzern dieser Website zu erhalten, zu posten oder zu übertragen oder posten oder zu posten oder zu übertragen; oder (c) die Sicherheit eines Computernetzwerks verletzen, Passwörter oder Sicherheitsverschlüsselungscodes knacken, illegales Material (einschließlich Material, das als bedrohlich oder obszön angesehen werden kann) übertragen oder speichern oder sich anätenenten die ausdrücklich verboten sind; oder (d) Mailliste, Listenserver oder jede andere Form von Auto-Responder oder "Spam" auf dieser Website oder Prozesse, die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Website angemeldet sind, oder die anderweitig das ordenungsfun Belastung der Infrastruktur dieser Website stören; oder (e) manuel oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Website zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Site Web zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Site Web angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oder eine unangemessene Belastung der Infrastruktur dieser Site Web stören; oder (e) manuel oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Website zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Site Web zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieser Site Web angemeldet sind, oder die anderweitig das ordnungsgemäße Funktionieren oder eine unangemessene Belastung der Infrastruktur dieser Site Web stören; oder (e) manuel oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Website zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Site Web zu erhalten. zu kratzen, zu spinnen ou zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Site Web zu erhalten. zu kratzen, zu spinnen ou zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Site Web zu erhalten.

Il m'a fallu environ 5 à 10 minutes pour ajuster ce paragraphe.

En tant que traducteur, je sais que je ne peux pas compter sur la traduction automatique, mais j'ai appris au fil du temps les spécificités et les capacités des différents systèmes et je sais à quoi faire attention.

MT m'aide beaucoup dans mon travail.

Ce ne sera pas tant une réponse qu'un commentaire.

La qualité dépend de plusieurs choses, y compris (comme Aaron l'a dit ci-dessus) 1) la paire de langues et 2) le sujet, mais aussi 3) les genres et 4) le style de l'original, et 5) la quantité de texte parallèle que vous avez pour former le système MT.

Pour préparer le terrain, pratiquement tous les MT de nos jours sont basés sur des textes parallèles, c'est-à-dire un texte dans deux langues différentes, l'une étant vraisemblablement une traduction de l'autre (ou les deux étant une traduction d'une troisième langue); et potentiellement utiliser des dictionnaires (peut-être assistés par des processus morphologiques) comme backoff lorsque les textes parallèles ne contiennent pas de mots particuliers.

De plus, comme d'autres l'ont dit, un système de MT ne comprend aucunement les textes qu'il traduit; il ne voit que des chaînes de caractères et des séquences de mots composés de caractères, et il recherche des chaînes et des séquences similaires dans les textes qu'il a traduits auparavant. (Ok, c'est un peu plus compliqué que ça, et il y a eu des tentatives pour arriver à la sémantique dans les systèmes informatiques, mais pour l'instant ce sont surtout des chaînes.)

1) Les langues varient. Certaines langues ont beaucoup de morphologie, ce qui signifie qu'elles font des choses avec un seul mot que d'autres langues font avec plusieurs mots. Un exemple simple serait l'espagnol 'cantaremos' = anglais "nous allons chanter". Et une langue peut faire des choses que l'autre langue ne dérange même pas, comme la distinction informelle / formelle (tu / usted) en espagnol, à laquelle l'anglais n'a pas d'équivalent. Ou une langue peut faire des choses avec la morphologie qu'une autre langue fait avec l'ordre des mots. Ou le script que la langue utilise peut même ne pas marquer les limites des mots (chinois et quelques autres). Plus les deux langues sont différentes, plus il sera difficile pour le système MT de traduire entre elles. Les premières expériences en MT statistique ont été faites entre le français et l'anglais,

2) Sujet: Si vous avez des textes parallèles dans la Bible (ce qui est vrai pour presque toutes les paires de langues écrites), et que vous en entraînez votre système de MT, ne vous attendez pas à ce qu'il fasse bien sur les textes d'ingénierie. (Eh bien, la Bible est une quantité relativement petite de texte par rapport aux normes de formation des systèmes de MT de toute façon, mais faites semblant :-).) Le vocabulaire de la Bible est très différent de celui des textes d'ingénierie, tout comme la fréquence de divers grammaticaux constructions. (La grammaire est essentiellement la même, mais en anglais, par exemple, vous obtenez beaucoup plus de voix passive et plus de noms composés dans les textes scientifiques et techniques.)

3) Genera: Si votre texte parallèle est tout déclaratif (comme les manuels du tracteur, par exemple), essayer d'utiliser le système MT résultant dans la boîte de dialogue ne vous donnera pas de bons résultats.

4) Style: Pensez Hilary vs Donald; érudit contre populaire. S'entraîner sur l'un n'obtiendra pas de bons résultats sur l'autre. De même, la formation du système MT sur les romans pour adultes et son utilisation dans les livres pour enfants.

5) Paire de langues: l'anglais a beaucoup de textes et les chances de trouver des textes dans une autre langue qui sont parallèles à un texte anglais donné sont beaucoup plus élevées que les chances de trouver des textes parallèles, disons en russe et en igbo. (Cela dit, il peut y avoir des exceptions, comme les langues de l'Inde.) En général, plus vous avez de textes parallèles pour former le système MT, meilleurs sont les résultats.

En somme, la langue est compliquée (c'est pourquoi je l'aime - je suis linguiste). Il n'est donc pas surprenant que les systèmes MT ne fonctionnent pas toujours bien.

BTW, les traducteurs humains ne font pas toujours aussi bien non plus. Il y a une décennie ou deux, je faisais traduire des documents de traducteurs humains en anglais, pour être utilisés comme matériel de formation pour les systèmes MT. Certaines traductions étaient difficiles à comprendre, et dans certains cas, lorsque nous avons obtenu des traductions de deux (ou plusieurs) traducteurs humains, il était difficile de croire que les traducteurs avaient lu les mêmes documents.

Et enfin, il n'y a (presque) jamais une seule traduction correcte; il existe plusieurs façons de traduire un passage, qui peuvent être plus ou moins bonnes, selon les fonctionnalités (correction grammaticale, style, cohérence d'utilisation, ...) que vous souhaitez. Il n'y a pas de mesure facile de la «précision».

Étonnamment, toutes les autres réponses sont très vagues et tentent d'approcher cela du traducteur humain POV. Passons à l'ingénieur ML.

Lors de la création d'un outil de traduction, l'une des premières questions que nous devons considérer est la suivante: "Comment mesurer le fonctionnement de notre outil?" .

C'est essentiellement ce que le PO demande.

Maintenant, ce n'est pas une tâche facile (d'autres réponses expliquent pourquoi). Il existe un article Wikipédia qui mentionne différentes façons d'évaluer les résultats de la traduction automatique - des scores humains et automatiques existent (tels que BLEU , NIST , LEPOR ).

Avec l'augmentation des techniques de réseau neuronal, ces scores se sont considérablement améliorés.

La traduction est un problème complexe. Il y a beaucoup de choses qui peuvent aller bien (ou mal), et le système de traduction informatique ignore souvent certaines subtilités, ce qui se démarque pour un locuteur humain.

Je pense que si nous devons penser à l'avenir, il y a peu de choses sur lesquelles nous pouvons compter:

• Nos techniques sont de mieux en mieux connues et testées. Cela va améliorer la précision à long terme.
• Nous développons de nouvelles techniques qui peuvent prendre en compte des variables précédemment ignorées ou tout simplement faire un meilleur travail.
• De nombreux modèles de traduction existants sont souvent "réutilisés" pour traduire d'autres langues (par exemple, essayez de traduire "JEDEN" du polonais vers le chinois (traditionnel) à l'aide de Google Translator - vous vous retrouverez avec "ONE", ce qui est une preuve indiquant le fait que Google traduit le polonais vers l'anglais, puis l'anglais vers le chinois). Ce n'est évidemment pas une bonne approche - vous allez perdre des informations dans le processus - mais c'est une approche qui fonctionnera toujours, donc des entreprises comme Google l'utilisent pour des langues où elles n'ont pas assez de main-d'œuvre ou de données. Avec le temps, des modèles plus spécialisés apparaîtront, ce qui améliorera la situation.
• De plus, comme indiqué précédemment, de plus en plus de données ne feront qu'améliorer la traduction automatique.

Pour résumer, ce problème complexe, bien que non résolu, est certainement sur une bonne voie et permet d'obtenir des résultats impressionnants pour des paires de langues bien documentées.

"Ou Google a-t-il des raisons de conserver ses réalisations (et de ne pas montrer aux utilisateurs le meilleur qu'ils peuvent montrer)"

S'ils l'étaient, alors ce qu'ils retiennent serait incroyable . Google publie de nombreux articles solides sur le traitement du langage naturel, y compris ceux qui obtiennent des résultats de pointe ou font des percées conceptuelles importantes . Ils ont également publié des ensembles de données et des outils très utiles . Google est l'une des rares entreprises qui utilise non seulement les recherches de pointe, mais contribue activement à la littérature.

La traduction automatique est juste un problème difficile. Un bon traducteur humain doit maîtriser les deux langues pour bien faire son travail. Chaque langue aura ses propres idiomes et significations non littérales ou dépendantes du contexte. Le simple fait de travailler à partir d'un dictionnaire bilingue donnerait des résultats terribles (pour un humain ou un ordinateur), nous devons donc former nos modèles sur des corpus existants qui existent dans plusieurs langues afin d'apprendre comment les mots sont réellement utilisés (nb phrase compilée à la main les tables de traduction peuvent être utilisées comme fonctionnalités ; elles ne peuvent tout simplement pas être toute l'histoire). Pour certaines paires de langues, les corpus parallèles sont nombreux (par exemple, pour les langues de l'UE, intégralité des travaux du Parlement européen). Pour les autres paires, les données d'entraînement sont beaucoup plus rares. Et même si nous avons des données d'entraînement, il existera des mots et des phrases moins utilisés qui n'apparaissent pas assez souvent pour être appris.

C'était un problème encore plus important, car les synonymes étaient difficiles à expliquer. Si nos données d'entraînement comportaient des phrases pour "Le chien a attrapé la balle", mais pas "Le chiot a attrapé la balle", nous nous retrouverions avec une faible probabilité pour la deuxième phrase. En effet, un lissage important serait nécessaire pour éviter que la probabilité soit nulle dans de nombreux cas.

L'émergence de modèles de langage neuronal au cours des 15 dernières années a massivement aidé à résoudre ce problème, en permettant aux mots d'être mis en correspondance avec un espace sémantique à valeur réelle avant d' apprendre les connexions entre les mots. Cela permet d'apprendre des modèles dans lesquels des mots qui sont proches l'un de l'autre dans le sens le sont également dans l'espace sémantique, et ainsi changer un mot pour son synonyme n'affectera pas beaucoup la probabilité de la phrase contenante. word2vecest un modèle qui illustre très bien cela; il a montré que vous pouviez, par exemple, prendre le vecteur sémantique pour "roi", soustraire le vecteur pour "homme", ajouter le vecteur pour "femme" et trouver que le mot le plus proche du vecteur résultant était "reine". Une fois que la recherche sur les modèles de langage neuronal a commencé sérieusement, nous avons commencé à voir des baisses immédiates et massives de perplexité (c'est-à-dire à quel point les modèles étaient confus par le texte naturel) et nous voyons des augmentations correspondantes du score BLEU (à savoir la qualité de la traduction) maintenant que ceux des modèles de langage sont en cours d'intégration dans les systèmes de traduction automatique.

Les traductions automatiques ne sont toujours pas aussi bon que les traductions humaines de qualité, et peut - être ne sera pas que bon jusqu'à ce que nous réglons complètement Sapient AI. Mais de bons traducteurs humains coûtent cher, tandis que tous ceux qui ont accès à Internet disposent de traducteurs automatiques. La question n'est pas de savoir si la traduction humaine est meilleure, mais plutôt à quel point la machine se rapproche de ce niveau de qualité. Cet écart s'est rétréci et continue de se réduire.