[PYTHON] Sammeln von Daten zum maschinellen Lernen

In letzter Zeit werden im Internet immer mehr Artikel über das Problem der Datenerfassung geschrieben. Ich möchte suchen, recherchieren und lernen.

Dies ist eine Sammlung von Links zu Artikeln, die hilfreich sein können.

• Erstellen eines Gesichtsbilddatensatzes für maschinelles Lernen (1: Erfassen von Kandidatenbildern mithilfe des Web-API-Dienstes)

• Veröffentlichen Sie das Know-how zum Erstellen eines ähnlichen Bildsuchdienstes für AV-Schauspielerinnen durch tiefes Lernen durch Chainer

• So erhöhen Sie die Anzahl der Bilder von Datensätzen für maschinelles Lernen

• Tiefes Lernen, um festzustellen, ob es sich um große Brüste handelt, anhand des Gesichtsfotos (es funktioniert oder ist subtil)

• Lerndatensatz 2, der zum Extrahieren von Merkmalspunkten von Gesichtsbildern verwendet werden kann

• Lerndatensatz, der zum Extrahieren von Merkmalspunkten von Gesichtsbildern verwendet werden kann (von Zeit zu Zeit aktualisiert) ――Für das erste Erlernen der Merkmalspunktextraktion von Gesichtsbildern ist es wichtig, die Merkmalspunkte manuell mit Anmerkungen zu versehen. ―― Sobald jedoch eine Methode festgelegt wurde, mit der die Merkmalspunkte des Gesichtsbilds genau abgeleitet werden können, müssen diese Methoden verwendet werden.

• Gegenwärtig ist die Leistung der Feature-Point-Ableitungsbibliothek (kandmark) wie dlib hoch, sodass diese Bibliothek in den meisten Fällen die manuelle Arbeit ersetzen kann.

• Nekoto Image Processing Teil 1 - Materialsammlung

• Wie man OpenCV in Raspberry Pi einfügt und mit Python einfach Bilder von Gesichtserkennungsergebnissen sammelt

• Ryan Mitchell, Übersetzt von Toshiaki Kurokawa, Technische Aufsicht von Takeshi Shimada "Web Scraping with Python"

--Toby Segaran, übersetzt von Hitoshi Toyama und Masao Kamozawa "Group Knowledge Programming"

--Interface Juli 2016 Ausgabe ["Von der Erstellung der schwierigsten Lerndatenbank bis zum Erkennungstest für Raspeye 1, 2, 3 Lernen und Erkennen des Zielfisches "Nabeka"]](http://www.kumikomi.net/interface/contents/201607.php)

** Manuelle Eingabe **

Berichten zufolge werden Daten für maschinelles Lernen häufig manuell erstellt. Wenn der Zweck klar ist und Sie erwarten, die Ergebnisse Ihrer Investition in die Arbeit wiederzugewinnen, stellen Sie eine große Anzahl von Mitarbeitern ein. Ich habe gehört, dass Sie ständig manuell Eingabedaten hinzufügen und Verbesserungen vornehmen.

** Bedeutung negativer Proben **

Im Bereich der Fußgängererkennung sind Bilder von Straßen und Straßen ohne Fußgänger sehr wichtig. Bei einer Fahrzeugkamera ist es wichtig, dass sich die Daten im vom Fahrzeug gesehenen Blickwinkel befinden. Wenn Sie die Fußgängererkennung mit Boosting trainieren möchten, benötigen Sie eine große Anzahl von Bildern, die keine Personen enthalten. Bei Klassifikatoren vom Typ Kaskade ist der Anteil verwirrender Bilder umso höher, je später die Phase ist. In einem solchen Fall wird die Leistung des Detektors erheblich verringert, wenn Sie ein menschliches Bild finden und es als Negativ verwenden. Bei Klassifikatoren vom Typ Kaskade hängen die trainierten Ergebnisse umso mehr vom trainierten Datensatz ab (sowohl positive als auch negative Bilder), je später das Stadium ist. (Ergänzung: Verwenden heutzutage nur wenige Menschen Boosting? Die Bedeutung negativer Proben bleibt gleich.)

Wenn Sie beispielsweise versuchen, einen Hundegesichtsdetektor herzustellen, ist es nicht sicher, ob das Sammeln von so vielen Hundegesichtern, wie von vorhandenen Detektoren erfasst werden können, für die Leistung des Detektors nützlich ist. Die Gesichtsform ist zwischen Shiba-Hund und Bull-Hund zu unterschiedlich. Ich denke, es ist zweifelhaft, dass das Gesicht der Bulldogge erkannt werden kann, indem nur das Gesicht des Shiba-Hundes gesammelt wird. Nur weil es auf einer Seite erkannt werden kann, bedeutet dies nicht, dass es auf einer anderen Seite erkannt werden kann. Daher ist es gefährlich zu versuchen, die Leistung des Detektors zu verbessern, indem das Bild verwendet wird, das vom vorhandenen Detektor erkannt werden kann. Es sollte möglich sein, Bilder zu verwenden, die von vorhandenen Detektoren nicht erkannt werden können, z. B. die Tracking-Ergebnisse des nächsten Mal in der Szene, in der das Gesicht des Hundes erkannt werden kann. (Ich würde gerne wissen, wie diese Situation beim tiefen Lernen ist.) Beim Deep Learning wird behauptet, dass eine Person anhand des Profils im Vergleich zur Datenbank der Vorderseite authentifiziert werden kann.

Hohe Kollationsrate für seitlich gerichtete Gesichter, Sonnenbrillen und Masken Panasonic erreicht mit Deep Learning das weltweit höchste Maß an Gesichtsübereinstimmung

Sie können auch YOLO verwenden, um viele Arten von Objekten in Ihren Videos zu erkennen. Selbst wenn eine falsche Erkennung vorliegt, ist es zweckmäßig, eine hohe Erkennungsgeschwindigkeit zu haben, wenn davon ausgegangen wird, dass die Auswahl manuell erfolgt.

** Detektor, der mit wenigen Bildern lernen kann **

Der HOG + SVM-Detektor in dlib kann ein Objektdetektor mit sehr wenig positiven Daten im Bild sein. Es ist überraschend, dass es sich sehr vom Haar Casecade Detektor unterscheidet.

Maschinelles Lernen mit dlib zum Erkennen von Objekten

** Verwendung vorhandener Detektoren, die verwendet werden können **

Beim Sammeln von Trainingsdaten für die Hardwareentwicklung ist es auch möglich, eine Softwareversion des Detektors zum Sammeln der Daten zu verwenden.

Referenz: Bedeutung des Datensatzes für maschinelles Lernen

CIFAR-10 und CIFAR-100 sind ein Datensatz von 80 Millionen beschrifteten Farbbildern mit einer Größe von 32 x 32. [Python] Lesen von CIFAR-10-, CIFAR-100-Daten

Nachtrag:

In [Model Zoo] gibt es verschiedene trainierte Modelle (https://github.com/opencv/open_model_zoo). Wenn Sie einen Detektor verwenden, können Sie das Bild im Bereich der erlernten Eigenschaften abtasten und die Anmerkung automatisch generieren.

• Ermöglicht die automatische Generierung von Anmerkungsdateien für Bilder mit dem vorhandenen Detektor im Modellzoo.
• Stellen Sie die Detektorschwelle locker ein und sammeln Sie Bilder, die etwas außerhalb des ursprünglichen Lernbereichs liegen. ――Wählen Sie aus den gesammelten Daten das Erkennungsziel des Detektors aus, den Sie erstellen möchten, und kommentieren Sie es mit Ihren eigenen Regeln. --Betreiben Sie das Lernprogramm sowohl mit den automatisch generierten Anmerkungsdaten als auch mit den Daten des Lernbereichs, die durch Ihre eigenen Regeln erweitert wurden.
• Wiederholen Sie die Bildabtastung und die automatische Annotation anhand der erlernten Ergebnisse.
• Lerne neu. Indem Sie die Daten auf diese Weise erfassen, können Sie die Trainingsdaten der Vorlage für die Herstellung des gewünschten Detektors erfassen.

** Beziehungen zwischen Menschen (Fußgängern) **

• Caltech Pedestrian Detection Benchmark https://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

• Robust Multi-Person Tracking from Mobile Platforms https://data.vision.ee.ethz.ch/cvl/aess/dataset/

• Daimler Pedestrian Segmentation Benchmark Dataset http://www.gavrila.net/Datasets/Daimler_Pedestrian_Benchmark_D/daimler_pedestrian_benchmark_d.html

Es ist eine Datenbank von Fußgängern mit Segmentierung. Nur für nichtkommerzielle Zwecke verfügbar. Es ist nützlich zum Lernen und Bewerten von Fußgängern.

** Gesichtsbeziehung **

Face Database

FDDB: Face Detection Data Set and Benchmark

https://github.com/StephenMilborrow/muct#the-muct-face-database

Als negativer Datensatz http://cocodataset.org/#home

Link-Sammlung Computer Vision Datasets

CVonline: Image Databases

Yet Another Computer Vision Index To Datasets (YACVID)

60 Facial Recognition Databases

Lassen Sie uns die in der Arbeit verwendeten Lerndaten untersuchen.

In den meisten Veröffentlichungen wird der Ursprung der in der Implementierung erlernten Daten angegeben. Wenn Sie diese Dinge durchlesen, gelangen Sie zu den Daten.

Nachtrag:

In den Bereichen Gesichtserkennung und Erkennung von Menschen gibt es Open-Source-Implementierungen mit angemessener Genauigkeit. Es gibt also keine Möglichkeit, damit keinen Trainingsdatensatz oder Detektor für Ihre eigenen Zwecke zu erstellen. Wenn Sie die Trainingsdaten auf das Verhältnis von Daten erweitern, das Ihrem Zweck nahe kommt, besteht eine hohe Wahrscheinlichkeit, dass Sie sich einem Detektor nähern, der Ihren Zweck abdeckt.

SlideShare SSII2018TS: Deep Learning in großem Maßstab

Konzept jeder Phase der Datenerfassung für maschinelles Lernen Es ist keine gute Idee, das Verhältnis der Trainingsdaten so zu verwenden, wie es erscheint. Wie Datensätze zum maschinellen Lernen verloren gehen Wie eine schlampige Person experimentelle Daten verwaltet