[PYTHON] Détection des points clés faciaux Kaggle

Aperçu de la compétition

Dans cette compétition, pour chacune des 7049 données d'image de visage, les coordonnées x et y des 15 parties qui caractérisent le visage sont données comme données d'apprentissage. (Exemple: coordonnée x du centre de l'œil gauche, coordonnée y du centre de l'œil droit, etc.) Il apprend ces données et donne les coordonnées des parties qui caractérisent le visage aux images de l'ensemble de test.

Je vais commencer immédiatement.

Code d'exécution

import pandas as pd
import numpy as np
import zipfile
import tensorflow as tf

Données fournies

Données d'entraînement

Décompressez le fichier zip et ouvrez-le.

Code d'exécution

with zipfile.ZipFile('training.zip') as existing_zip:
    with existing_zip.open('training.csv') as traincsv:
        train=pd.read_csv(traincsv)
train

Il s'agit de données de 7049 × 31. La dernière colonne des données est les données d'image, et les autres colonnes sont les coordonnées x et y qui indiquent la partie avec la face. En outre, il semble y avoir des valeurs manquantes. Combien y en a-t-il?

Code d'exécution

train.isnull().sum()

output

left_eye_center_x              10
left_eye_center_y              10
right_eye_center_x             13
right_eye_center_y             13
left_eye_inner_corner_x      4778
left_eye_inner_corner_y      4778
left_eye_outer_corner_x      4782
left_eye_outer_corner_y      4782
right_eye_inner_corner_x     4781
right_eye_inner_corner_y     4781
right_eye_outer_corner_x     4781
right_eye_outer_corner_y     4781
left_eyebrow_inner_end_x     4779
left_eyebrow_inner_end_y     4779
left_eyebrow_outer_end_x     4824
left_eyebrow_outer_end_y     4824
right_eyebrow_inner_end_x    4779
right_eyebrow_inner_end_y    4779
right_eyebrow_outer_end_x    4813
right_eyebrow_outer_end_y    4813
nose_tip_x                      0
nose_tip_y                      0
mouth_left_corner_x          4780
mouth_left_corner_y          4780
mouth_right_corner_x         4779
mouth_right_corner_y         4779
mouth_center_top_lip_x       4774
mouth_center_top_lip_y       4774
mouth_center_bottom_lip_x      33
mouth_center_bottom_lip_y      33
Image                           0

Il y a un désordre ...

données de test

Cela décompresse également le fichier zip et l'ouvre.

Code d'exécution

with zipfile.ZipFile('test.zip') as existing_zip:
    with existing_zip.open('test.csv') as testcsv:
        test=pd.read_csv(testcsv)
test

Il s'agit de 1783 données d'image.

Format du fichier à soumettre

Deux autres fichiers CSV sont donnés, mais ici le format du fichier à soumettre est indiqué.

Code d'exécution

df=pd.read_csv("IdLookupTable.csv")
sample=pd.read_csv("SampleSubmission.csv")

Code d'exécution

df

IdLookupTable.csv montre les coordonnées que vous souhaitez présenter pour chacune des 1783 images. La partie délicate de cette compétition est que les données d'entraînement donnent les coordonnées de 30 parties du visage, mais vous n'avez pas nécessairement à prédire toutes les coordonnées de l'image dans les données de test.

Plus précisément, vérifiez le numéro de chaque coordonnée incluse dans le fichier soumis.

Code d'exécution

df["FeatureName"].value_counts()

output

nose_tip_y                   1783
nose_tip_x                   1783
left_eye_center_x            1782
right_eye_center_y           1782
left_eye_center_y            1782
right_eye_center_x           1782
mouth_center_bottom_lip_x    1778
mouth_center_bottom_lip_y    1778
mouth_left_corner_x           590
mouth_center_top_lip_y        590
mouth_left_corner_y           590
mouth_center_top_lip_x        590
left_eye_outer_corner_x       589
left_eye_outer_corner_y       589
right_eye_inner_corner_y      589
right_eye_inner_corner_x      589
left_eye_inner_corner_y       588
right_eye_outer_corner_x      588
right_eye_outer_corner_y      588
left_eye_inner_corner_x       588
mouth_right_corner_x          587
mouth_right_corner_y          587
left_eyebrow_inner_end_x      585
right_eyebrow_inner_end_x     585
left_eyebrow_inner_end_y      585
right_eyebrow_inner_end_y     585
left_eyebrow_outer_end_x      574
left_eyebrow_outer_end_y      574
right_eyebrow_outer_end_x     572
right_eyebrow_outer_end_y     572

De cette manière, les coordonnées requises varient de manière irrégulière.

Vient ensuite un exemple de fichier de soumission.

Code d'exécution

sample

Les données à soumettre sont simplement le numéro de ligne et les valeurs de coordonnées 27124.

Moulage des données d'entraînement

Inutile de dire que c'est la partie principale de la compétition. Tout d'abord, extrayez uniquement les données d'image de train.csv et test.csv et transformez-les en un tableau numpy. Lors de la conversion des données d'image extraites en un tableau numpy, il est recommandé de préparer un tableau vide et de le remplacer un par un.

Code d'exécution

x_train=np.empty((7049,96,96,1))
x_test=np.empty((1783,96,96,1))

Code d'exécution

for i in range(7049):
    train0=train["Image"][i].split(" ")     #Extraire le i-ème tableau d'image séparé par des espaces
    train1=[int(x) for x in train0]         #Convertir chacun en type int et stocker dans la liste
    train2=np.array(train1,dtype="float")   #Convertir la liste en tableau numpy
    train3=train2.reshape(96,96,1)          #Mouler la matrice en 96x96x1
    x_train[i]=train3                       #Assigné comme le i-ème élément d'un tableau numpy vide

for i in range(1783):
    test0=test["Image"][i].split(" ")
    test1=[int(x) for x in test0]
    test2=np.array(test1,dtype="float")
    test3=test2.reshape(96,96,1)    
    x_test[i]=test3

Code d'exécution

x_train =x_train / 255
x_test = x_test /255

Soit y_train celui dont la colonne Image a été supprimée de train.csv.

Code d'exécution

y_train=train.drop(['Image'],axis=1)

Gérez les valeurs manquantes que vous avez vues précédemment. Pour le moment, appliquez un remplissage qui complète la valeur de la ligne précédente.

Code d'exécution

y_train.fillna(method = 'ffill',inplace = True)

Vérifiez à nouveau la valeur manquante.

Code d'exécution

y_train.isnull().sum()

output

left_eye_center_x            0
left_eye_center_y            0
right_eye_center_x           0
right_eye_center_y           0
left_eye_inner_corner_x      0
left_eye_inner_corner_y      0
left_eye_outer_corner_x      0
left_eye_outer_corner_y      0
right_eye_inner_corner_x     0
right_eye_inner_corner_y     0
right_eye_outer_corner_x     0
right_eye_outer_corner_y     0
left_eyebrow_inner_end_x     0
left_eyebrow_inner_end_y     0
left_eyebrow_outer_end_x     0
left_eyebrow_outer_end_y     0
right_eyebrow_inner_end_x    0
right_eyebrow_inner_end_y    0
right_eyebrow_outer_end_x    0
right_eyebrow_outer_end_y    0
nose_tip_x                   0
nose_tip_y                   0
mouth_left_corner_x          0
mouth_left_corner_y          0
mouth_right_corner_x         0
mouth_right_corner_y         0
mouth_center_top_lip_x       0
mouth_center_top_lip_y       0
mouth_center_bottom_lip_x    0
mouth_center_bottom_lip_y    0
Image                        0

Il a été confirmé qu'il n'y avait aucune valeur manquante.

Enfin, standardisez les données.

Code d'exécution

for columns in train_y.columns:
    mean.append(train_y[columns].mean())
    std.append(train_y[columns].std())
    train_y[columns] = (train_y[columns] - train_y[columns].mean()) / train_y[columns].std()

Apprentissage

Construisez le modèle.

Code d'exécution

model=tf.keras.models.Sequential([
    tf.keras.layers.Conv2D(6,(3,3), activation = 'relu', input_shape=(96,96,1)),
    tf.keras.layers.MaxPooling2D(2,2),
    tf.keras.layers.Conv2D(12,(3,3), activation = 'relu'),
    tf.keras.layers.MaxPooling2D(2,2),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(512, activation = 'relu'),
    tf.keras.layers.Dense(30,activation='relu')
    ])
model.summary()

output

Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_2 (Conv2D)            (None, 94, 94, 6)         60        
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 47, 47, 6)         0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 45, 45, 12)        660       
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 22, 22, 12)        0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 5808)              0         
_________________________________________________________________
dense_2 (Dense)              (None, 512)               2974208   
_________________________________________________________________
dense_3 (Dense)              (None, 30)                15390     
=================================================================
Total params: 2,990,318
Trainable params: 2,990,318
Non-trainable params: 0
_________________________________________________________________

Code d'exécution

model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])

Laisse-moi apprendre.

Code d'exécution

model.fit(x_train, y_train, epochs = 10)

output

Train on 7049 samples
Epoch 1/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 470.8903 - accuracy: 0.5540
Epoch 2/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 283.7981 - accuracy: 0.6073
Epoch 3/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 152.0215 - accuracy: 0.6493
Epoch 4/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 151.0923 - accuracy: 0.6866
Epoch 5/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 150.6215 - accuracy: 0.7188
Epoch 6/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 149.9657 - accuracy: 0.7289
Epoch 7/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 149.8715 - accuracy: 0.7371
Epoch 8/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 149.7018 - accuracy: 0.7424
Epoch 9/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 149.4364 - accuracy: 0.7451
Epoch 10/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 149.3164 - accuracy: 0.7510

Faites des prédictions pour le modèle de test.

Code d'exécution

pred = model.predict(x_test)

Créer un fichier de soumission

C'est un peu ennuyeux à partir d'ici, mais il faut se référer au IdLookupTable.csv mentionné ci-dessus et extraire les coordonnées requises pour chaque image. Sans surprise, le pred se compose de 15 prédictions de coordonnées x et y des caractéristiques pour chacune des 1783 images. (1783 × 30)

En guise d'approche,

1. Obtenez les fonctionnalités à extraire pour chaque image de IdLookupTable.csv
2. Ensuite, encodez les entités avec des index de 0 à 29, respectivement.
3. Extrayez la valeur correspondant à la combinaison de l'ID d'image et de l'index de fonction de pred C'est un flux.

Code d'exécution

#1. IdLookupTable.Extrayez ImageId et le nom de la fonction de csv.
lookid_list = list(df['FeatureName'])
imageID = list(df['ImageId']-1)
pre_list = list(pred)

Code d'exécution

#2.Nom de la fonction 0~Encodez jusqu'à 29 index et stockez-les dans la liste.
feature = []
for f in looked_list:
    feature.append(lookid_list.index(f))

Code d'exécution

#3.Celui correspondant à la combinaison de l'ID d'image et de l'index de nom de caractéristique est extrait du résultat de la prédiction.
#A ce moment, la valeur est obtenue en effectuant la conversion opposée à la normalisation.
preded = []
for x,y in zip(imageID,feature):
    preded.append(pre_list[x][y] * std[y] + mean[y])

Enfin, créez un fichier de soumission.

Code d'exécution

rowid = pd.Series(df['RowId'],name = 'RowId')
loc = pd.Series(preded,name = 'Location')

Code d'exécution

submission = pd.concat([rowid,loc],axis = 1)

Résumé

c'est tout. Cela vous donnera un score d'environ 3,8. Si vous appliquez Augmentation à l'image ou améliorez le modèle, le score augmentera du tout. Je souhaite publier à nouveau dès que j'y travaille. Je vous serais reconnaissant si vous pouviez signaler des erreurs. Merci beaucoup.