[GO] [Verarbeitung natürlicher Sprache / NLP] Einfache Rückübersetzung durch maschinelle Übersetzung mit Python
Wollten Sie schon immer ** Reverse Translation ** in Python für ** Data Augmentation ** durchführen, beispielsweise in einem NLP-Wettbewerb?
Zum Beispiel verwendet Kaggles "Toxic Comment Classification Challenge" diese Technik für die Lösung mit dem 1. Platz. https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge/discussion/52557
In diesem Artikel werde ich erklären, wie man die einfache Übersetzung mit ** maschineller Übersetzung ** in Python rückgängig macht.
Beispiel für die maschinelle Übersetzung Zitat: https://amitness.com/2020/05/data-augmentation-for-nlp/
Überblick
Mit ** googletrans ** können Sie die Übersetzung ohne API-Schlüssel problemlos rückgängig machen.
Installieren Sie Googletrans
Die Umgebung setzt Python3 voraus.
$pip install googletrans
Reverse-Übersetzungsprogramm
from googletrans import Translator
def BackTranslation(text, original_lang, via_lang):
translator = Translator()
return translator.translate(translator.translate(text, dest=original_lang).text, dest=via_lang).text
Geben Sie im Argumenttext den Originaltext an, geben Sie in original_lang die Originalsprache und in via_lang die Sprache an, die Sie durchlaufen möchten.
Informationen zu den Sprachen, die für lang angegeben werden können, finden Sie in der folgenden Dokumentation zu googletrans. https://py-googletrans.readthedocs.io/en/latest/
Anwendungsbeispiel
「The destiny of man is in his own soul.」 Ich werde versuchen, den englischen Satz, der über Japanisch lautet, umzukehren.
text = "The destiny of man is in his own soul."
BackTranslation(text, "en", "ja")
Der Rückgabewert (Ergebnis der umgekehrten Übersetzung) ist wie folgt.
Ergebnisse der umgekehrten Übersetzung
'The fate of man lies in his own soul.'
Wenn Sie die weitergeleitete Sprache (Japanisch) ausgeben, ist dies wie folgt.
Weitergeleitete Sprache
Das menschliche Schicksal liegt in seiner eigenen Seele.
Verweise
A Visual Survey of Data Augmentation in NLP https://amitness.com/2020/05/data-augmentation-for-nlp/
Googletrans: Free and Unlimited Google translate API for Python https://py-googletrans.readthedocs.io/en/latest/
Ist die umgekehrte Übersetzung ein Alchemist der maschinellen Übersetzung? http://deeplearning.hatenablog.com/entry/back_translation
Recommended Posts