[PYTHON] Tiefes Lernen, um ohne GPU zu beginnen

Deep Learning dauert mehrere Wochen oder länger, ohne einen PC mit GPU zu lernen, und es ist schwierig, es einfach auszuprobieren. Darüber hinaus ist die Tatsache, dass die Anzahl der Trainingsdaten häufig Zehntausende oder mehr beträgt, ein weiterer Faktor, der die Messlatte höher legt. Daher werden wir dieses Mal eine Methode zum Lernen mit einem PC ohne GPU und einer kleinen Anzahl von Daten vorstellen.

Zielgruppe

• Ich habe keinen PC mit GPU und möchte keine Instanz mit GPU unter AWS mieten, aber ich möchte mit CNN spielen.
• Diejenigen, die ein Netzwerk erstellen möchten, das auf einen anderen Zweck spezialisiert ist, anstatt ein vorgefertigtes Netzwerk. (Beispiel: Gesichtserkennung, Beurteilung eines Bildes, das beliebt zu sein scheint usw.)

Probleme mit tiefem Lernen

• Mit einem PC ohne GPU gibt es nur ein Problem, das in Bezug auf die Lernzeit gelöst werden kann, wie z. B. MNIST und CIFAR10.
• Selbst ein einfaches Bildklassifizierungsproblem erfordert das Lernen von Daten aus 50.000 Blättern.
• Das vorhandene gelernte Netzwerk im Netz kann nicht anders als die Elemente verwendet werden, die Sie tatsächlich klassifizieren möchten. (Beispiel: Optimiert für Klassifizierungselemente, die keine Rolle spielen, obwohl Sie Gesicht, Fahrzeugtyp und Krankheit unterscheiden möchten.)

Es gibt eine Methode namens Transfer Learning [^ 1], um diese Probleme zu lösen. Transferlernen ist eine Methode, um nur einen Teil des Netzwerks zu lernen, der durch ein anderes Problem wie ImageNet gelernt wurde. Es wurden verschiedene Methoden entwickelt, aber was in der Praxis wichtig ist, ist, dass sie oft gut funktionieren, selbst wenn sie auf ein anderes Bildklassifizierungsproblem umgeleitet werden. [^ 2] (Beispiel: Klassifizierung von Gras und Vögeln, Gesichtserkennung, emotionales Urteilsvermögen usw.)

Vorteile des Transferlernens

Es hat auch die folgenden Vorteile, so dass es ein wirksames Mittel ist, wenn Sie sich frei fühlen möchten, es zu versuchen.

• Die Datenmenge ist gering (ein Lerngerät kann mit einer kleinen Datenmenge erstellt werden).
• Kann bis zu einem gewissen Grad auch große Bilder verarbeiten. (Das Erlernen eines CNN, der 224 x 224 x 3 Bilddaten verarbeitet, dauert mehr als ein paar Wochen.)
• Es kann in einer realistisch kalkulierbaren Zeit ohne GPU verarbeitet werden.

Es gibt verschiedene Methoden, aber kürzlich habe ich die folgende Methode verwendet.

1. Sammeln Sie die Bilder, die Sie klassifizieren möchten. (Bitte geben Sie Ihr Bestes, um zu sammeln)
2. Schließen Sie das falsche Bild aus.
3. Legen Sie das Bild mithilfe eines trainierten Netzwerks ohne die vollständig verbundene Ebene in einem niedrigdimensionalen Raum ab.
4. Finden Sie die Beziehung zwischen dem niedrigdimensionalen Raum und der richtigen Antwort mit SVM [^ 3] und Gradientenverstärkung [^ 4].

Hinweis) Bitte beachten Sie, dass etwa 30% beim Sammeln per Google-Bildersuche falsch sind.

Indem Sie Deep Learning nur dort einsetzen, wo es in einen niedrigdimensionalen Raum wie diesen fällt, Es kann durch eine andere Hochgeschwindigkeits-Lernmethode ohne zeitaufwändiges Lernen im Netzwerk gelöst werden, sodass es auch auf einem PC ohne GPU gelöst werden kann.

Numerisches Experiment

Ich habe versucht, das Problem der Klassifizierung eines bestimmten Anime-Charakters mit den folgenden 3 Mustern zu lösen. A) Ein einfaches CNN (32x32x3), das hauptsächlich im Tutorial erscheint B). ResNet-50-Schicht (32x32x3, ich denke, dies wird hauptsächlich für aktuelle Klassifizierungsprobleme verwendet) C) ResNet-50-Schicht (erlerntes Netzwerk) + SVM Die richtige Antwortrate war A) 94,33%, B) 94,57%, C) 93,83%. Das Ergebnis ist fast das gleiche wie beim Lösen mit reinem CNN. Hinweis) Es scheint, dass ich beim Erstellen der Trainingsdaten einige Fehler gemacht habe, daher habe ich mich gefragt, ob eine ernsthafte Person die Leistung ein wenig weiter verbessern kann.

Repository

• https://github.com/namakemono/keras-anime-face-recognition

Es gibt einen Code, der die Methoden 3 und 4 beschreibt. Ich bin froh, wenn Sie es als Referenz verwenden können.

Zusammenfassung

Wir haben eine Methode namens Transfer Learning eingeführt, die ohne Transfer-Lernen mit einem PC mit GPU eine einigermaßen gute Leistung erzielen kann. Ich denke, es hängt von der Anwendung ab, aber diese Methode kann auch auf einem PC ohne GPU klassifiziert werden. Warum also nicht mal ausprobieren?

References