[PYTHON] Zufälliger Wald (2)

Leistungsbewertung von scikit-learn + Random Forest part2

Einführung

Beim letzten Mal haben wir die Leistung homogener Daten bewertet und dieses Mal auf variable Daten trainiert.

Die verwendeten Daten sind die gleichen wie beim letzten Mal, mnist

Letztes Mal wurden 2000 Proben für jedes Zeichen extrahiert.

Diesmal wurden 1100, 1300, 1500, 1700, 1900, 2100, 2300, 2500, 2700, 2900 Proben in der Reihenfolge von 0 extrahiert.

Die Testdaten sind ebenfalls 10000 homogene Daten.

Zu ändernde Variablen

• Anzahl der Bäume
• Erkundungstiefe
• Anzahl der Funktionen

3 Arten.

Experiment

Anzahl der Bäume

Zunächst wird die Anzahl der Bäume in vier Typen geändert: 10, 100, 1000 und 10000.

Das Ergebnis ist unten dargestellt

Selbst wenn Sie den Wert mit der besten Genauigkeit betrachten, war das letzte Mal ungefähr 0965?, Die Genauigkeit nahm leicht ab, aber die Tendenz ist dieselbe.

Ich denke, es ist genug, um ungefähr 1000 zu haben

Erkundungstiefe

Als nächstes über die Suche nach Tiefe

Dies wird durch Ändern von 2 auf 20 wie zuvor gelernt.

Die Anzahl der Bäume beträgt 1000, die Anzahl der Features ist sqrt (Features)

Das Ergebnis ist unten dargestellt

Dies ist das gleiche wie beim letzten Mal, die Genauigkeit ist fast gleich, und selbst wenn Sie intensiv suchen, tritt kein Überlernen auf.

Anzahl der Funktionen

Endlich Features

Wechseln Sie von 10 auf 55

Die Anzahl der Bäume beträgt 1000, die Tiefe ist auf max

Da die Zeit von sqrt 28 ist, ist es diesmal genauer, wenn es weniger als das ist?

Da der Auftragsunterschied jedoch 0,001 beträgt, kann gesagt werden, dass es keinen großen Unterschied gibt, wenn er 20 oder mehr beträgt.

Vergleichsexperiment

Zum Schluss das Ergebnis von SVM zum Vergleich

C = 1,0, gamma = 1/784 im RBF-Kernel

• one-versus-one: 0.932
• one-versus-all: 0.920

Immerhin ist Ramdom Forest genauer,

SVM ist genauer als beim letzten Mal ...?

Es ist möglich, wenn man bedenkt, dass es sich um eine zufällige Stichprobe handelt.

In Anbetracht der Tatsache, dass die Genauigkeit von RandomForest um etwa 0,05 verringert wurde,

Vielleicht ist SVM widerstandsfähiger gegen Datenschwankungen ...?

MNIST ist zu genau, um sehr genau bewertet zu werden ...