Am 11. November 2019 wurde der morphologische Analysator Sudachi entwickelt. Ein Synonymwörterbuch wurde von Works Applications veröffentlicht!

Das Synonymwörterbuch wird hauptsächlich für die Dokumentensuche und Chatbots verwendet, um Notationsschwankungen zu absorbieren.

Dieses Mal habe ich den Inhalt dieses Wörterbuchs mit der Python-Bibliothek Pandas untersucht.

Umgebung

Ubuntu (Windows 10 WSL)
Python 3.7.3
pandas 0.25.3

Laden Sie das Sudachi Synonyms Dictionary herunter

$ wget https://raw.githubusercontent.com/WorksApplications/SudachiDict/develop/src/main/text/synonyms.txt

Lesen

Wenn Sie sich [Dokumente] ansehen (https://github.com/WorksApplications/SudachiDict/blob/develop/docs/synonyms.md), sieht es wie ein CSV-Format aus! Ich werde von hier aus ein Python-Skript schreiben.

import pandas as pd

df = pd.read_csv("synonyms.txt", skip_blank_lines=True,
                 names=('group_id', 'type', 'expand', 'vocab_id',         
                'relation', 'abbreviation', 'spelling', 'domain',  
                'surface', 'reserve1', 'reserve2'))

Da es sich um eine CSV mit Leerzeilen handelt, setzen Sie skip_blank_lines. names ist angemessen.

Suche

Lassen Sie uns vorerst eine Funktion erstellen, die alle dfs mit übereinstimmenden Überschriften anzeigt.

def search_synonyms(word):
    for row in df[df.surface==word].itertuples():
        print(df[df.group_id==row.group_id].loc[:,['group_id', 'domain', 'surface']])

Synonyme werden nach Gruppennummer (group_id) gruppiert. Es scheint also in Ordnung zu sein, wenn Sie dieselbe Zeile wie die Gruppennummer der Zeile verwenden, deren Überschrift ( Oberfläche) mit Wort übereinstimmt!

Ein Fall

Wenn Sie beispielsweise "search_synonyms (" Giant ")" ausführen, sieht dies folgendermaßen aus!

      group_id    domain   surface
5662      3895  (Sport)Yomiuri Riesenarmee
5663      3895  (Sport)Riese
5664      3895  (Sport)Yomiuri
5665      3895  (Sport)Riesenarmee
5666      3895  (Sport)Yomiuri Giants
5667      3895  (Sport)Riesen
5668      3895  (Sport)    Giants
       group_id domain surface
31690     16305  (Mann)      巨Mann
31691     16305  (Mann)Riese
31692     16305  (Mann)   giant

Ich konnte verschiedene Notationen des "Riesen" des Teams und der allgemeinen Nomenklatur "Riese" abrufen!

Zusammenfassung

Diesmal habe ich mir Sudachis Synonymwörterbuch angesehen. Sudachi selbst und dieses Synonymwörterbuch werden in Zukunft ständig aktualisiert. Behalte zukünftige Updates im Auge!