Was in diesem Artikel einzuführen

Die Geschichte der Erstellung eines Support-Pakets für KNP
Die Verarbeitungsgeschwindigkeit wird leicht (1,6- bis 2-fach) verbessert [^ 1]
Die Kombination von Juman ++ & KNP ist fast zehnmal schneller.

Was ist KNP?

Es ist ein "japanischer Syntaxanalysator". Du kannst das.

--Fall Analyse

Parsen
Extraktion einzigartiger Ausdrücke

Nun, RNN ist in Ordnung, nicht wahr?

Zum Zeitpunkt der DNN-Epidemie fragen Sie sich möglicherweise: "Analysieren Sie noch?" Tatsächlich wurde bereits gezeigt, dass das entwickelte RNN die höchste Genauigkeit bei der Schätzung der Bewertung bietet (http://www.slideshare.net/hirokiouchi5/ss-70436298). Tatsächlich ist der Quellcode auch für die Öffentlichkeit zugänglich, daher denke ich, dass es in Ordnung ist, hierher zu gehen.

KNP ist jedoch immer noch das am häufigsten analysierte Ziel. pdf) und KNP ist einfach als Werkzeug zu verwenden, da es nicht nur Fallanalysen, sondern auch Syntaxinformationen aus morphologischen Informationen anzeigt.

Ein kleines Problem mit KNP

Einige Leute sagen, dass die Analysegeschwindigkeit von Mecab und Cabocha einfach zu hoch ist Es ist mir egal, wann die Eingabedaten klein sind, aber wenn die Datenmenge zunimmt, Ich möchte noch ein wenig erfinden. Ich möchte den Inhalt jedoch nicht berühren. Dann ist das in diesem Artikel vorgestellte Paket eine einfache Idee von "Es ist in Ordnung zu dezentralisieren" . Installierte ein Paket, das die KNP-Anrufverarbeitung dezentralisiert

Nachdem Sie sich bei Pypi registriert haben, können Sie es mit pip installieren.

pip install knp-utils

Charakteristisch

Schneller als ein einzelner Thread (offensichtlich)
Der Speicherverbrauch für die Parallelverarbeitung ist gering. Maschinenfreundlich. --Erstellte eine einfache Schnittstelle, um KNP-Analyseergebnisse zu erhalten
Da es eine Befehlszeilenschnittstelle / Webanwendung hat, kann es von Personen verwendet werden, die nicht mit Python verwandt sind.
Arbeitet mit Python 2.x / 3.x.
Für diejenigen, die pyknp [auf diese Weise] verwenden möchten (https://github.com/Kensuke-Mitsuzawa/knp-utils-py/search?utf8=%E2%9C%93&q=pyknp_parsed_result+%3D+knp_obj.result% 28input_str% 3Dknp_parsed_obj.parsed_result% 29), es funktioniert.

Geschwindigkeitsvergleich (Juman & KNP)

Es ist schneller. Der Unterschied nimmt tendenziell zu, wenn die Anzahl der Eingabedokumente zunimmt. Die folgenden Zahlen sind Vergleiche für 40 Dokumente.

Übrigens sind "pexpect" und "everytime" Modusnamen, die Human- und KNP-Prozesse innerhalb von Multithreading verarbeiten. pexpect lässt den Human & KNP-Prozess laufen. everytime startet Human & KNP für jeden Eingabetext.

pexpect mode, finished with :44.13979196548462[sec]
everytime mode, finished with :38.31942701339722[sec]
pyknp, finished with :64.74086809158325[sec]

Geschwindigkeitsvergleich (Juman ++ & KNP)

Zeitvergleich beim Kombinieren von Juman ++ & KNP. Juman ++ (1.02) soll "langsam sein, was ist das?" Dies liegt daran, dass das Laden der Modelldatei beim Starten des Prozesses einige Zeit in Anspruch nimmt.

Wenn Sie den Prozess also laufen lassen, ist er schneller. Es ist eine einfache Geschichte.

pexpect mode, finished with :48.096940994262695[sec]
everytime mode, finished with :64.07872700691223[sec]
pyknp, finished with : 602.032340992232452[sec]

Betriebsinhalt

Es wird nur der folgende Vorgang wiederholt.

Speichern Sie das Eingabedokument in der SQLite3-Datenbank
Verteilte Human & KNP-Aufrufe mit mehreren Threads [^ 2]
Speichern Sie das Analyseergebnis in sqlite3 DB

Schließlich

Haben Sie ein schnelles, einfaches und unterhaltsames Leben mit Syntaxanalysen!

[^ 1]: 40 Unterschiede zwischen Dokumenten. Je mehr Dokumente Sie eingeben, desto schneller wird es. [^ 2]: Multiprozess ist schneller, aber ich habe einen Fehler erhalten und es hat nicht funktioniert (´ ・ ω ・ `)

[PYTHON] Die Geschichte, ein Paket zu erstellen, das den Betrieb von Juman (Juman ++) & KNP beschleunigt