[PYTHON] Comment collecter des données d'apprentissage automatique

Récemment, de plus en plus d'articles sont écrits sur le Web concernant le problème de la collecte de données. Je veux chercher, rechercher et apprendre.

Ceci est une collection de liens vers des articles qui peuvent être utiles.

• Comment créer un ensemble de données d'image de visage utilisé dans l'apprentissage automatique (1: Obtenir des images de candidats à l'aide du service API Web)

• Publier le savoir-faire de la création d'un service de recherche d'images similaire pour les actrices audiovisuelles par apprentissage profond par chainer

• Comment augmenter le nombre d'images de jeux de données d'apprentissage automatique

• Apprendre en profondeur pour déterminer s'il s'agit de gros seins à partir de la photo du visage (cela fonctionne ou est subtile)

• Ensemble de données d'apprentissage 2 pouvant être utilisé pour extraire les points caractéristiques des images faciales

• Ensemble de données d'apprentissage pouvant être utilisé pour extraire les points caractéristiques des images faciales (mis à jour de temps en temps) ――Pour le premier apprentissage de l'extraction des points caractéristiques de l'image du visage, il est important d'annoter manuellement les points caractéristiques. Cependant, une fois qu'une méthode a été établie qui donne la précision de la dérivation des points caractéristiques de l'image du visage, il est nécessaire d'utiliser ces méthodes.

• Actuellement, les performances de la bibliothèque de dérivation de point de fonction (kandmark) telle que dlib sont élevées, donc dans la plupart des cas, cette bibliothèque peut remplacer le travail manuel.

• Cat and image processing part 1-Material collection

• Comment mettre OpenCV dans Raspberry Pi et collecter facilement des images des résultats de détection de visage avec Python

• Ryan Mitchell, traduit par Toshiaki Kurokawa, supervision technique par Takeshi Shimada "Web Scraping with Python"

--Toby Segaran, traduit par Hitoshi Toyama et Masao Kamozawa "Group Knowledge Programming"

--Interface Numéro de juillet 2016 [«De la création de la base de données d'apprentissage la plus difficile au test de reconnaissance Raspeye 1, 2, 3 Apprentissage et reconnaissance du poisson cible "Nabeka"]](http://www.kumikomi.net/interface/contents/201607.php)

** Entrée manuelle **

Selon les rapports, les données pour l'apprentissage automatique sont souvent créées manuellement. Aussi, si le but est clair et que vous prévoyez de récupérer les résultats de votre investissement dans les travaux, embauchez un grand nombre de personnes. J'ai entendu dire que vous ajoutez constamment des données d'entrée manuellement et que vous apportez des améliorations.

** Importance des échantillons négatifs **

Dans le domaine de la détection des piétons, les images de routes et de rues n'incluant pas de piétons sont très importantes. Dans le cas d'une caméra embarquée, il est important que les données soient à l'angle de vue vu par le véhicule. Si vous souhaitez entraîner la détection des piétons avec Boosting, vous avez besoin d'un grand nombre d'images qui n'incluent pas de personnes. Avec les classificateurs de type Cascade, plus l'étape est tardive, plus la proportion d'images déroutantes est élevée. Dans un tel cas, si vous trouvez une image humaine et que vous l'utilisez comme négatif, les performances du détecteur seront considérablement réduites. Avec les classificateurs de type Cascade, plus l'étape est tardive, plus les résultats appris dépendent de l'ensemble de données formé (images positives et négatives). (Ajout: est-ce que peu de gens utilisent Boosting ces jours-ci? L'importance des échantillons négatifs reste la même.)

Par exemple, lorsque vous essayez de fabriquer un détecteur de visage de chien, il n'est pas certain que la collecte d'autant de visages de chien que peuvent être détectés par les détecteurs existants sera utile pour les performances du détecteur. La forme du visage est trop différente entre le chien Shiba et le chien Bull. Je pense qu'il est douteux que le visage du bulldog puisse être détecté en ne collectant que le visage du chien shiba. Ce n'est pas parce qu'il peut être détecté sur un visage que cela peut être détecté sur un autre. Par conséquent, il est dangereux d'essayer d'améliorer les performances du détecteur en utilisant l'image qui peut être détectée par le détecteur existant. Il devrait être possible d'utiliser des images qui ne peuvent pas être détectées par les détecteurs existants, par exemple en utilisant les résultats de suivi de la prochaine fois dans la scène où le visage du chien peut être détecté. (J'aimerais savoir à quoi ressemble cette situation dans l'apprentissage profond.) Dans l'apprentissage en profondeur, on prétend qu'une personne peut être authentifiée en fonction du profil par rapport à la base de données de la face avant.

Taux de classement élevé pour les visages orientés sur le côté, les lunettes de soleil et les masques Panasonic atteint le plus haut niveau de correspondance des visages au monde grâce à l'apprentissage profond

Vous pouvez également utiliser YOLO pour détecter de nombreux types d'objets dans vos vidéos. Même s'il y a une fausse détection, il est pratique d'avoir une vitesse de détection élevée si l'on suppose que la sélection se fera manuellement.

** Détecteur qui peut apprendre avec peu d'images **

Le détecteur HOG + SVM dans dlib peut être un détecteur d'objet avec très peu de données positives dans l'image. Il est surprenant qu'il soit très différent du détecteur Haar Casecade.

Apprentissage automatique avec dlib pour détecter les objets

** Utilisation de détecteurs existants pouvant être utilisés **

Lors de la collecte de données d'entraînement pour le développement de matériel, il est également possible d'utiliser une version logicielle du détecteur pour collecter les données.

référence: Importance de l'ensemble de données d'apprentissage automatique

CIFAR-10 et CIFAR-100 sont un ensemble de données de 80 millions d'images couleur étiquetées d'une taille de 32x32. [Python] Comment lire les données CIFAR-10, CIFAR-100

Post-scriptum:

Il existe différents modèles entraînés dans Model Zoo. Si vous créez un détecteur en l'utilisant, vous pouvez échantillonner l'image dans la plage des caractéristiques apprises et générer automatiquement l'annotation.

• Permet la génération automatique de fichiers d'annotation pour les images en utilisant le détecteur existant dans le zoo modèle.
• Réglez le seuil du détecteur de manière lâche et collectez des images qui sont légèrement en dehors de la plage d'apprentissage d'origine. ―― À partir des données collectées, choisissez quelle devrait être la cible de détection du détecteur que vous souhaitez créer et annotez-la avec vos propres règles.
• Faites fonctionner le programme d'apprentissage en utilisant à la fois les données d'annotation générées automatiquement et les données de la plage d'apprentissage étendue par vos propres règles.
• Répétez l'échantillonnage d'image et l'annotation automatique en utilisant les résultats appris.
• Réapprendre. En collectant les données de cette manière, vous pouvez collecter les données d'apprentissage du modèle pour fabriquer le détecteur que vous souhaitez créer.

** Relations avec les personnes (piétons) **

• Caltech Pedestrian Detection Benchmark https://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

• Robust Multi-Person Tracking from Mobile Platforms https://data.vision.ee.ethz.ch/cvl/aess/dataset/

• Daimler Pedestrian Segmentation Benchmark Dataset http://www.gavrila.net/Datasets/Daimler_Pedestrian_Benchmark_D/daimler_pedestrian_benchmark_d.html

Il s'agit d'une base de données de piétons avec segmentation. Uniquement disponible à des fins non commerciales. Il est utile pour l'apprentissage et l'évaluation des piétons.

** Relation de visage **

Face Database

FDDB: Face Detection Data Set and Benchmark

https://github.com/StephenMilborrow/muct#the-muct-face-database

En tant qu'ensemble de données négatif http://cocodataset.org/#home

collection de liens Computer Vision Datasets

CVonline: Image Databases

Yet Another Computer Vision Index To Datasets (YACVID)

60 Facial Recognition Databases

Examinons les données d'apprentissage utilisées dans l'article.

Dans la plupart des articles, l'origine des données apprises lors de l'implémentation est écrite. Ainsi, en lisant ces éléments, vous arriverez aux données.

Post-scriptum:

Dans le domaine de la détection de visage et de détection humaine, il existe des implémentations open source avec une précision raisonnable. Il n'y a donc aucun moyen de ne pas l'utiliser pour créer un jeu de données d'entraînement, un détecteur à vos propres fins. Si vous étendez les données d'entraînement au ratio de données qui est proche de votre objectif, il y a de fortes chances que vous vous rapprochiez d'un détecteur qui couvre votre objectif.

SlideShare SSII2018TS: apprentissage en profondeur à grande échelle

Concept de chaque étape de la collecte de données pour l'apprentissage automatique Ce n'est pas une bonne idée d'utiliser le ratio des données d'entraînement tel qu'il apparaît. Comment les ensembles de données d'apprentissage automatique sont perdus Comment une personne bâclée gère les données expérimentales