Darüber hinaus gibt es in df.head viele Dinge zu überprüfen, z. B. wie viele Datenzeilen von Anfang an zu nehmen sind und Details zur Verarbeitung fehlender Werte (dropna und fillna).

Matplotlib Wenn Sie Lust dazu haben, werde ich etwas zusammenfassen, aber zum Beispiel sind der Stil des Diagramms, die Einstellung des Titels usw. auch im Text geschrieben, sodass Sie es überprüfen müssen. Insbesondere die Diagrammtypen (ax.bar, ax.scatter, ax.hist, ax.boxplot, ax.pie usw.) sind als Testtitel für die Datenanalyse erforderlich.

Maschinelles Lernen

Es gibt verschiedene Methoden für maschinelles Lernen. Entscheidungsbaum, Hauptkomponentenanalyse, NN usw. Natürlich sollte ein Datenanalyst in der Lage sein, alles zu beherrschen. Ich denke jedoch, dass es notwendig ist, den Algorithmus, die Erklärung der Methode, das Scikit-Lernen usw. für die Methode zu überprüfen, die nicht oft verwendet wird. Im Nachschlagewerk hatte ich das Gefühl, dass das Lernen mit Lehrern und das Lernen ohne Lehrer verwirrt waren (Ist das nicht der Fall?). Vielleicht möchten Sie also mit oder ohne Lehrer zusammen lernen. Hmm.

Zusammenfassung des maschinellen Lernens

・ ** Datenvorverarbeitung (Verarbeitung fehlender Werte, Normalisierung von Merkmalen usw.) ** Für die Verarbeitung fehlender Werte wird die oben erwähnte Verarbeitung fehlender Werte durch Pandas eingeführt. Bitte überprüfen Sie das Nachschlagewerk für Details. Die Merkmalsnormalisierung erfordert Kenntnisse wie Wahrscheinlichkeitsstatistiken (verteilte Normalisierung, maximale Normalisierung usw.). Bei der Vorverarbeitung ist es außerdem wichtig, die Funktionsmenge der Daten auszuwählen und die Ausreißer auszuschließen (außerhalb des Testbereichs?). Sie sollten jedoch vorerst den Inhalt des Nachschlagewerks überprüfen.

・ ** Lernen mit dem Lehrer ** Das Nachschlagewerk erklärt die Support-Vektor-Maschine (SVC von sklearn.svm) und das lineare Regressionsmodell (LinearRegression von sklearn.linear_model). Weitere Informationen finden Sie dort.

・ ** Lernen ohne Lehrer ** Das Nachschlagewerk erläutert den Entscheidungsbaum (DecisionTreeClassifier von sklearn.tree), die zufällige Gesamtstruktur (RandomForestClassifier von sklearn.ensemble), die Dimensionsreduktion (PCA von sklearn.decomposition) und das Clustering (KMeans von sklearn.cluster, AgglomerativeClustering von sklearn.cluster). Bitte überprüfen Sie dort für Details.

・ ** Stärkung des Lernens ** Im Nachschlagewerk erscheint nur eine kurze Erklärung.

・ ** Variable Codierung ** ** [Kodierung der Kategorievariablen] ** Menschen geben Objekten Namen, damit sie die Welt, in der sie leben, leicht erkennen können. Beispielsweise werden die beiden an der Vorderseite des menschlichen Kopfes angebrachten Sinnesorgane, die Licht empfangen, als "Augen" bezeichnet, und die an der Vorderseite des menschlichen Kopfes angebrachten Riech- und Atmungsorgane werden als "Nase" bezeichnet. Auch wenn das Objekt auf diese Weise vom Zeichentyp interpretiert wird, müssen Eingabe und Ausgabe eine Folge sein (numerischer Wert), wenn Sie es durch Berechnung klassifizieren möchten. Die Zuordnung des numerischen Werts zum tatsächlichen Ziel erfolgt durch kategoriale Variablencodierung.

Konzeptdiagramm der kategorialen Variablencodierung

Insbesondere werde ich erklären, wo sich die Codierung der kategorialen Variablen in dem zuvor erstellten Programm befindet.

Codierung von Kategorievariablen, Eins-Konzeptionelles Diagramm der Hot-Codierung

Die folgende Seite ist ein Artikel zum Klassifizieren von Haken- und Schraubenschlüsseln mit PyTorch und Keras. https://qiita.com/moriitkys/items/316fcca8d83dfa706597 In diesem Fall ist die Codierung der kategorialen Variablen die Zuweisung des Wörterbuchs, das in Zelle 1, Zeile 56 des Programms MyOwnNN_pytorch.ipynb von GitHub (GitHub-moriitkys / MyOwnNN) ausgeführt wird.

#How many classes are in "dataset" folder
categories = [i for i in os.listdir(os.getcwd().replace("/mylib", "") + "/dataset")]
categories_idx = {}#ex) HookWrench:0, SpannerWrench:1
for i, name in enumerate(categories):
    categories_idx[name] = i
nb_classes = len(categories)#ex) nb_classes=2

In diesem Fall wird der Hakenschlüssel auf 0 und der Schraubenschlüssel auf 1 umgewandelt. Für die Codierung kategorialer Variablen wird die Methode sklean.preprocessing im Nachschlagewerk vorgestellt.

** [One-Hot-Codierung] ** Dies ist auch die Arbeit, die erforderlich ist, um das gewünschte Ergebnis durch Berechnung zu erhalten. Da es beim maschinellen Lernen häufig bequemer ist, Ein- und Ausgaben als Arrays zu behandeln, ist es auch erforderlich, den Skalarwertdatensatz als Array zu konvertieren. Wenn beispielsweise zwei Kategorien vorhanden sind: Schraubenschlüssel: 0 und Hakenschlüssel: 1, konvertieren Sie den Schraubenschlüssel als [1, 0] und den Hakenschlüssel als [0, 1].

Insbesondere werde ich erklären, wo sich die Codierung der kategorialen Variablen in dem zuvor erstellten Programm befindet. Die One-Hot-Codierung erfolgt in der 13. bis 16. Zeile von Zelle 3.

y_train1=np_utils.to_categorical(y_train,nb_classes)
y_val1=np_utils.to_categorical(y_val,nb_classes)

Im Nachschlagewerk werden zwei Methoden der One-Hot-Codierung vorgestellt, sklean und pandas.

・ ** Modellbewertung ** ** [Kategoriebewertungsindex] ** Ich kann es verstehen, aber ich weiß nicht, ob ich es auswendig lerne, also habe ich es zusammengefasst. Diese Erklärung ist auch im Nachschlagewerk enthalten, daher ist es eine gute Idee, sie zu überprüfen.

TP (True Positive): Vorausgesagt als positives Beispiel und tatsächlich als positives Beispiel FP (False Positive): Vorausgesagt als positives Beispiel, aber tatsächlich als negatives Beispiel FN (False Negative): Wird als negatives Beispiel vorhergesagt, aber tatsächlich als positives Beispiel TN (True Negative): Wird als negativer Fall und tatsächlich als negativer Fall vorhergesagt

** Compliance-Rate **: Prozentsatz der tatsächlich positiven Fälle aus den vorhergesagten positiven Fällen. ・ Konformitätsratenformel P = TP / (TP + FP) ・ Die Genauigkeitsrate wird als Indikator dafür angesehen, wie klein die Fehler in der Vorhersageklasse sein können. ** Rückrufquote **: Prozentsatz der tatsächlich positiven Fälle, deren Richtigkeit vorhergesagt wird. ・ Rückrufratenformel R = TP / (TP + FN) ・ Es gibt einen Kompromiss zwischen Rückruf und Präzision ** F-Wert **: Harmonisierter Durchschnitt von Präzision und Rückruf. ・ F = 2PR / (P + R) ・ Anzeige, die das Gleichgewicht zwischen P und R verbessert ** Richtige Antwortrate **: Prozentsatz der Daten, deren Prognose und tatsächliche Ergebnisse übereinstimmen ・ Richtige Antwortratenformel A = (TP + TN) / (TP + FP)

** [Genauigkeit der Vorhersagewahrscheinlichkeit] ** Es ist nichts falsch daran, wenn Sie es wissen, aber das Nachschlagewerk erwähnt die ROC-Kurve (roc_curve in sklearn.metrics).

Zusammenfassung

Du solltest richtig lernen. Ich glaube nicht, dass es möglich ist, sich eine Scheinprüfung zu merken. Das Auswendiglernen von Nachschlagewerken mag nützlich sein, sollte aber verstanden werden.

Nachschlagewerk

Neues Lehrbuch zur Datenanalyse mit Python (Herr Terada, Shingo Tsuji, Takanori Suzuki, Shintaro Fukushima)

Autor dieses Artikels

moriitkys Takayoshi Morii Mach einen Roboter. Ich interessiere mich für KI / Robotik / 3D-Grafik. Vor kurzem habe ich darüber nachgedacht, wie ich Geld verdienen kann, und ich plane, mit diesem Geld Hardware zu verdienen. Qualifikation / Zertifizierung: G-Test, Python-Ingenieur-Zertifizierungsdatenanalyse-Test, AI-Implementierungstest A-Note, TOEIC: 810 (13.01.2019)