Qualitätskontrolle von Maschinellen Übersetzungen
Chaos Ex Machina
Für „gute“ Übersetzungen, die die Leser überzeugen, ist die Maschinelle Übersetzung (MÜ) allein jedoch nicht ausreichend. Für die gewünschte Qualität müssen Mensch und Maschine Hand in Hand gehen. Nicht umsonst bildet sich gerade das Berufsbild Post-Editor (PE) in der Branche aus. Diese haben die Aufgabe, den Output der Maschine „menschlicher“ zu machen. Maschinelle Übersetzung und Post-Editing, MÜPE abgekürzt, ist also so ein hybrider Workflow. Denn auch Maschinen machen Fehler – und zwar besonders im Bereich Terminologie und Konsistenz.
Das Um und Auf: Terminologie
Der Projektmanager legt besonderes Augenmerk auf die Terminologie; vor Projektstart extrahiert er die spezifische Terminologie aus dem Ausgangstext und legt eine projektspezifische Termbank an oder erweitert die bestehende Kundenterminologie. Nach der maschinellen Rohübersetzung gleicht ab: Stimmt die Terminologie mit dem Wording des Kunden überein? Wie sind die Abkürzungen umgesetzt? Erst dann erhält der Post-Editor die Übersetzung zur weiteren Bearbeitung. Ein erfahrener Post-Editor kennt die klassischen Fehler und weiß, worauf er achten muss.
Fehlerart | Ausgangstext | MÜ-Rohübersetzung | Richtige Übersetzung | Anmerkung |
Abkürzungen | ü. d. M. | ü. d. M. | ASL | über dem Meeresspiegel above sea level |
Mehrdeutige Begriffe | concrete source materials | konkrete Ausgangsmaterialien | Ausgangsmaterialien von Beton | im Ausgangstext mehrdeutig |
Eigennamen und Adressen | Poststraße | Post Road | Alte Poststraße | Aufgabe des Post-Editors |
Inkonsistente Begriffe | Betriebsanleitung | operator manual operation manual instruction manual operating instructions | richtig, wenn konsistent verwendet | mit Terminologie-arbeit lösbar |
Doppelübersetzungen von Wörtern | Frontplatten | front plates plates | front plates | Aufgabe des Post-Editors |
Typografische Fehler | AUSGÄNGE | outputs | OUTPUTS | Groß-/ Kleinschreibung, Anführungszeichen usw. |
Wortstellung | Auch bei Stahlrahmen werden Schweißwinkel verwendet | Also in the case of steel frames are welding angles used | Welding angles are also used in case of steel frames | MÜ verdeutscht (relevant für Full- oder Post-Editing)
|
QA macht’s wieder human
Bevor die maschinelle Rohübersetzung den Post-Editor erreicht, hat der Text also schon eine Qualitätsschleife hinter sich. Das Projekt ist mit dem Post-Editing aber noch nicht zu Ende. Zum Schluss führt der Projektleiter die umfangreiche QA-Kontrolle durch. Es wird u.a. auf Folgendes geprüft: Maßeinheiten, Interpunktionen, Zahlen, Stoppwörter, Schreibregeln, Kundenvorgaben, Layout.
Diese Arbeitsschritte machen deutlich, dass Maschinelle Übersetzung zwar Zeit spart, denn die Rohübersetzung erfolgt in der Tat (fast) auf Knopfdruck. Aber wer sich Qualität wünscht, wird mit Maschineller Übersetzung nicht unbedingt Kosten sparen. Der Leser soll schließlich nicht merken, dass eine Maschine am Werk war.
MÜ-Bewertung
Wie kann eine maschinelle Rohübersetzung bewertet werden? Es gibt zwei Arten von Bewertungen: durch den Menschen und durch die Maschine.
Die maschinelle Variante wird verwendet, um die Engines selbst zu bewerten, beispielsweise ob sie sich in die richtige Richtung entwickeln. Diese verwenden metrische Algorithmen, die mit „guten“ Referenzübersetzungen gefüttert werden, etwa BLEU, NIST und METEOR*. Durch mathematische Formeln, die diese „guten“ Übersetzungen mit dem MÜ-Output vergleichen, wird die Qualität beurteilt.
Die menschliche Variante konzentriert sich mehr auf die Ausgabeseite. Um den Aufwand (und letztendlich die Eignung eines Ausgangstextes) einschätzen zu können, ist es wichtig herauszufinden, wie viel Vorbereitung (Pre-Editing) und Nachbearbeitung (Post-Editing) notwendig ist. Dafür gibt es keine festgelegten Kriterien.
Einige Kriterien, die im Projektmanagement für die Übersetzungsbeurteilung verwendet werden, können auch in der Qualitätssicherung von Maschineller Übersetzung eingesetzt werden, wie Grammatik, Konsistenz, Fehlübersetzungen. Siehe auch unseren letzten Artikel zum Thema: text-it führt ein Bewertungssystem für Übersetzungen ein
Kein letzter Mohikaner
Den letzten Mohikaner der Übersetzungsindustrie wird es also so schnell nicht geben. Das Berufsbild wird sich ändern und andere Schwerpunkte beinhalten. Aber eines ist klar: Man kann die Fortschritte bei Maschineller Übersetzung in den letzten Jahren nicht leugnen. Vor 10 Jahren hätte das Übersetzungsteam von text-it nicht gedacht, dass wir in so kurzer Zeit Maschinelle Übersetzung anbieten werden. Auch wenn qualitativ zufriedenstellende MÜ-Ergebnisse nicht unbedingt günstiger für den Kunden ausfallen, so ist doch die Zeitersparnis ein großer (Wettbewerbs-)Vorteil.
Ein Tipp zum Schluss: Achtung bei vertraulichen oder sensiblen Texten – die Datensicherheit ist noch ein wunder Punkt im Workaround der Maschinellen Übersetzung.
Bei weiteren Fragen schicken Sie eine E-Mail an: david.ildefonso[at]text-it.at
Stand: 2020
Weiterführende Links:
https://www.aclweb.org/anthology/P02-1040.pdf