[PYTHON] Probieren Sie das Buch "Einführung in die Verarbeitung natürlicher Sprachanwendungen in 15 Schritten" aus - Kapitel 2 Schritt 06 Memo "Identifier"

Inhalt

Dies ist ein Memo für mich, während ich Einführung in Anwendungen zur Verarbeitung natürlicher Sprache in 15 Schritten lese. Dieses Mal werde ich in Kapitel 2, Schritt 06, meine eigenen Punkte aufschreiben.

Vorbereitung

• Persönlicher MacPC: MacOS Mojave Version 10.14.6 --docker Version: Version 19.03.2 für Client und Server

Kapitelübersicht

Durch Lernen mit dem Merkmalsvektor und der Klassen-ID als Eingaben kann die Klassen-ID aus dem Merkmalsvektor vorhergesagt werden.

• SVM(Support Vector Machine)
• Entscheidungsbaumensemble --k Nachbarschaftsmethode

06.1 Den Klassifikator beherrschen

Sie können den Klassifikator einfach wechseln, indem Sie der Variablen "Klassifikator" einen Klassifikator zuweisen.

# SVC
from sklearn.svm import SVC
classifier = SVC()

# RandomForest
from sklearn.ensemble import RandomForestClassifier
classifier = RandomForestClassifier()

06.2 SVM(Support Vector Machine)

• Eine relativ hohe Leistung kann stabil erzielt werden
• Einfache Anwendung auf Aufgaben mit relativ wenig Trainingsdaten
• Die Kernel-Methode kann komplizierte Probleme behandeln.

Die grundlegende SVM-Übersicht entfällt. Ein Problem, das nicht durch Teilen des Merkmalsraums auf einer geraden oder flachen Identifikationsfläche (lineare Identifikationsfläche) identifiziert werden kann, wird als ** linear untrennbares ** Problem bezeichnet. Es gibt die folgenden Methoden, um damit umzugehen.

• Weiche Marge
• Kernel

SVM mit hartem Rand, SVM mit weichem Rand

Es gibt zwei Typen, ** SVM mit weichem Rand ** und einfache SVM mit hartem Rand **, die versuchen, die Grenzfläche so einzustellen, dass "die Grenze hervorsteht und der Vorsprung so weit wie möglich verringert wird". Der Grad der Toleranz für den Vorsprung kann zum Zeitpunkt der Instanziierung festgelegt werden (Standard 1.0).

Kernel

In Fällen, in denen die Grenze nicht in dem Maße getrennt werden kann, in dem die Grenze hervorstehen darf, wird die Kernelmethode verwendet, bei der der Merkmalsvektor in einen Merkmalsraum kopiert wird, dessen Dimension größer ist als der ursprüngliche Merkmalsraum, und die Unterscheidungsfläche dort festgelegt wird. Der Kerneltyp kann zum Zeitpunkt der Instanziierung angegeben werden.

--RBF-Kernel (Gauß-Kernel): Standardspezifikation, am orthodoxesten --Polygon-Kernel: beliebt in der Verarbeitung natürlicher Sprache --Andere

• Kernel nicht verwendet (lineare SVM)

Klasse von Scikit-learn

• sklearn.svm.SVC
• Sowohl linear als auch kernel verfügbar
• sklearn.svm.LinearSVC
• Eine spezielle Implementierung für lineare SVM
• sklearn.linear_model.SGDClassifier
• Da sklearn.svm alle Trainingsdaten im Speicher ablegt und sofort berechnet, ist abhängig von der Menge der Trainingsdaten eine große Speicherkapazität erforderlich.
• Da es sich um eine StochasticGradientDescent (probabilistische Gradientenabstiegsmethode) handelt, werden die Trainingsdaten nach und nach gelesen und das Training wird fortgesetzt, es gibt jedoch einige Fehler.

06.3 Ensemble

Die Methode, mehrere Klassifikatoren zu einem Klassifikator zu kombinieren, wird als Ensemble bezeichnet. Obwohl die Erklärung des Entscheidungsbaums weggelassen wird, sind die Eigenschaften des Entscheidungsbaumensembles wie folgt.

• Es müssen keine Feature-Mengen vorverarbeitet werden
• Die Anzahl der vom Designer festgelegten Parameter ist gering

Typische Ensemble-Methoden sind Bagging und Boosting (Referenz).

• Beuteln
• Mehrere Male separat lernen, indem ein Teil der Daten verwendet wird und schließlich die Ergebnisse abgeglichen werden
  • Random Forest --Boostering
• Lernen mit einem Teil der Daten und mehrmaliges Wiederholen des Lernens mit dem vorherigen Ergebnis --Gradient Boosted Decision Trees (GBDT)

06,4 k Nachbarschaftsmethode

Es ist ein Klassifizierer, der aus den Trainingsdaten k Merkmalsvektoren nahe dem Eingangsmerkmalsvektor auswählt und anhand seiner Klassen-ID eine Mehrheitsentscheidung trifft. Abhängig vom numerischen Wert von k kann sich die identifizierte Klassen-ID ändern, oder wenn die Anzahl der Klassen-IDs in den Trainingsdaten verzerrt ist, kann das gewünschte Ergebnis möglicherweise nicht erhalten werden.

Abstand zur Messung der Nähe

Parametrisch und nicht parametrisch

06.5 Auf Dialogue Agent anwenden

Ergänzungen / Änderungen gegenüber dem vorherigen Kapitel

1. Identifikator: SVM → Random Forest
2. TF-IDF ngram_range: 1 ~ 3 → 1 ~ 2

~~
pipeline = Pipeline([
#    ('vectorizer', TfidfVectorizer(tokenizer=self._tokenize, ngram_range=(1, 3))),
    ('vectorizer', TfidfVectorizer(tokenizer=self._tokenize, ngram_range=(1, 2))),
#    ('classifier', SVC()),
    ('classifier', RandomForestClassifier(n_estimators=30)),
])
~~

Ausführungsergebnis

# evaluate_dialogue_agent.Ändern Sie den Namen des py-Lademoduls nach Bedarf
from dialogue_agent import DialogueAgent

$ docker run -it -v $(pwd):/usr/src/app/ 15step:latest python evaluate_dialogue_agent.py
0.61702127

• Normale Implementierung (Schritt 01): 37,2%
• Ergänzung der Vorverarbeitung (Schritt 02): 43,6%
• Änderung der Vorbehandlung + Merkmalsextraktion (Schritt 04): 58,5%
• Vorbehandlung + Änderung der Merkmalsextraktion + Änderung des Klassifikators (Schritt 06): 61,7%