Après avoir lu chacun des trois fichiers avec succès, combinez les trois fichiers de données mesurées et d'échantillons afin qu'ils puissent être utilisés dans un traitement ultérieur. À ce stade, il est pratique d'utiliser la fonction Pandas concat. Si le paramètre ignore_index est défini sur True, les numéros de colonne du Pandas DataFrame ^{5 </ sup> à combiner seront renumérotés. </ p>}

data_file1 = "measureddata_20191004033314.tsv"    #Remplacez la chaîne de caractères saisie dans la variable par le nom de fichier tsv de vos données mesurées
data_file2 = "measureddata_20191004033325.tsv"    #Remplacez la chaîne de caractères saisie dans la variable par le nom de fichier tsv de vos données mesurées
data_file3 = "measureddata_20191004033338.tsv"    #Remplacez la chaîne de caractères saisie dans la variable par le nom de fichier tsv de vos données mesurées

data1 = pd.read_csv(data_file1, delimiter="\t")
data2 = pd.read_csv(data_file2, delimiter="\t")
data3 = pd.read_csv(data_file3, delimiter="\t")

data = pd.concat([data1, data2, data3], ignore_index=True)    #Combinez avec la fonction concat de Pandas
data

9779 rows × 13 columns

sample_file1 = "samples_20191004033311.tsv"    #Remplacez la chaîne de caractères entrée dans la variable par le nom de fichier tsv de vos échantillons
sample_file2 = "samples_20191004033323.tsv"    #Remplacez la chaîne de caractères entrée dans la variable par le nom de fichier tsv de vos échantillons
sample_file3 = "samples_20191004033334.tsv"    #Remplacez la chaîne de caractères entrée dans la variable par le nom de fichier tsv de vos échantillons

sample1 = pd.read_csv(sample_file1, delimiter="\t")    
sample2 = pd.read_csv(sample_file2, delimiter="\t")
sample3 = pd.read_csv(sample_file3, delimiter="\t")

sample = pd.concat([sample1, sample2, sample3], ignore_index=True)    #Combinez avec la fonction concat de Pandas
sample

317 rows × 66 columns

Chap.3 Préparation des données

Après avoir lu les données, l'étape suivante consiste à préparer les données pour qu'elles puissent être analysées. Commencez par extraire les données à utiliser cette fois à partir des données mesurées.
Cette fois, nous utiliserons 5 types de substances chimiques (ΣPCBs, ΣDDTs, ΣPBDEs, ΣCHLs, ΣHCHs) pour 3 types de Sunameri, Suji Dolphin et Kazuhagondou.

Tout d'abord, extrayez les données dont l'unité est [ng / g lipide]. En effet, comme mentionné dans la partie 1, les données avec des unités différentes ne peuvent pas être simplement comparées.
Ensuite, extrayez les données dont le nom de la substance chimique est l'un des cinq types ci-dessus et utilisez la méthode reset_index pour renuméroter les lignes.

data_lipid = data[(data["Unit"] == "ng/g lipid")]
data_lipid = data_lipid[(data_lipid["ChemicalName"] == "ΣPCBs") | (data_lipid["ChemicalName"] == "ΣDDTs") |
                        (data_lipid["ChemicalName"] == "ΣPBDEs") |  (data_lipid["ChemicalName"] == "ΣCHLs") |
                        (data_lipid["ChemicalName"] == "ΣHCHs")]
data_lipid = data_lipid.reset_index(drop=True)
data_lipid[data_lipid["SampleID"] == "SAA001941"]    #Liste de données avec ID d'échantillon SAA001941

Une fois l'extraction des données mesurées terminée, l'étape suivante consiste à intégrer la base de données des échantillons et des données mesurées.
Dans les parties 1 et 2, des informations sur l'échantillon (nom scientifique, site de collecte, etc.) ont été ajoutées aux données mesurées de chaque substance chimique, mais cette fois, la valeur mesurée de la substance chimique est donnée à chaque échantillon, alors faites attention à ce que le traitement soit différent d'avant. ..

#Créer un DataFrame avec uniquement SampleID et un nom scientifique
df = sample[["SampleID", "ScientificName"]]
for chem in ["ΣCHLs", "ΣDDTs", "ΣHCHs", "ΣPBDEs", "ΣPCBs"]: #Traitement en boucle par nom de substance chimique
    #Créez un DataFrame pour uniquement les produits chimiques de la liste chimique
    data_lipid_chem = data_lipid[data_lipid["ChemicalName"] == chem]
    #Nom de la colonne, ne laissant que le SampleID et la valeur mesurée"MeasuredValue"Changement du nom de la substance chimique
    data_lipid_chem = data_lipid_chem[["SampleID", "MeasuredValue"]].rename(columns={"MeasuredValue": chem})
    data_lipid_chem = data_lipid_chem.drop_duplicates(subset='SampleID')
    #Df avec SampleID(ID+Nom scientifique)Et données_lipid_chem(ID+la valeur de mesure)Fusionner
    df = pd.merge(df, data_lipid_chem, on="SampleID")
df = df.dropna(how="any") #Supprimer les lignes contenant NaN
df = df.drop("SampleID", axis=1)
df

94 rows × 6 columns

Comme indiqué ci-dessus

, le nom scientifique est stocké dans le DataFrame tel qu'il est dans l'état actuel. Puisque le nom de l'espèce sera utilisé pour la visualisation à l'avenir, une variable représentant le nom scientifique sera préparée pour des raisons de commodité. Tout d'abord, créez un dictionnaire qui associe chaque nom scientifique à une valeur (Sunameri: 0, Suji Dolphin: 1, Kazuhagondou: 2). </ p>

species = df["ScientificName"].unique().tolist()    #Sortie d'une liste de noms scientifiques dans df
class_dic = {}
for i in range(len(species)):
    class_dic[species[i]] = i
class_dic

{'Neophocaena phocaenoides': 0,
 'Stenella coeruleoalba': 1,
 'Peponocephala electra': 2}

Ensuite, ajoutez la colonne Classe à df et saisissez la valeur correspondant au nom scientifique de chaque ligne dans la colonne Classe. ```python df["Class"] = 0 for irow in range(len(df)): df.at[irow, "Class"] = class_dic[df.at[irow, "ScientificName"]] df = df.loc[:, ["Class", "ScientificName", "ΣPCBs", "ΣDDTs", "ΣPBDEs", "ΣCHLs", "ΣHCHs"]] df ```

94 rows × 7 columns

Comme il était plus facile d'utiliser le tableau croisé dynamique, modifiez le data_lipid et le dessous comme suit.

df = pd.pivot_table(data_lipid, index=['ScientificName', 'SampleID'], columns='ChemicalName', values=['MeasuredValue'])
df = df.dropna(how="any") #Supprimer les lignes contenant NaN
df

94 rows × 5 columns

À partir de ce moment, l'analyse est effectuée à l'aide du bloc de données du tableau croisé dynamique.

Chap.4 Visualisation de l'aperçu des données

Maintenant que la préparation des données est terminée, visualisons et vérifions toutes les données pour le moment. Les données manipulées cette fois sont de 5 dimensions (il y a 5 variables explicatives). Puisque les humains ne peuvent pas saisir l'espace à cinq dimensions, il est impossible de visualiser la distribution de toutes les données à cinq dimensions telles qu'elles sont. Ici, la carte de distribution $ {} _ 5 C_2 = 10 $ est générée.

Il est pratique d'utiliser la fonction pandas.plotting.scatter_matrix () de pandas pour visualiser le diagramme de dispersion de plusieurs variables. Dans la fonction scatter_matrix (), spécifiez la plage à visualiser avec le paramètre frame. Cette fois, toutes les lignes et colonnes de df sont toutes après ^{6 .}

pd.plotting.scatter_matrix(
    frame=df["MeasuredValue"],
    c=list(df["MeasuredValue"].iloc[:, 0]),
    alpha=0.5)
plt.show()

Chap.5 Analyse en composantes principales

Dans

Chap.4, une carte de distribution de $ {} _ 5 C_2 = 10 $ a été générée comme un aperçu de l'ensemble des données. Cependant, avec cela, seule la distribution des données pour chaque combinaison de deux types de substances chimiques peut être confirmée. En d'autres termes, il n'est pas possible d'obtenir une vue d'ensemble de l'ensemble des données à 5 dimensions. Par conséquent, les données 5D sont résumées et visualisées par l'analyse des composants principaux. </ p>

Premièrement, étant donné que la longueur de chaque axe est différente telle qu'elle est, standardisez ^{7 pour chaque variable et définissez la longueur de tous les axes en 5 dimensions. Unifier.}

dfs = df.apply(lambda x: (x-x.mean())/x.std(), axis=0)
dfs

94 rows × 5 columns

Vous pouvez également utiliser le Scaler standard pour la normalisation.

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaler.fit(df)
scaler.transform(df)
dfs = pd.DataFrame(scaler.transform(df), columns=df.columns)
dfs

94 rows × 5 columns

Après la normalisation, effectuez une analyse des composants principaux. Ici, le résultat de Standard Scaler est utilisé.
Sklearn.decomposition.PCA () de Scikit-learn est utilisé pour l'analyse des composants principaux.
Dans l'analyse en composantes principales, tout d'abord, une variable synthétique (première composante principale) est créée afin de dessiner un axe dans la direction dans laquelle la variation de la distribution des données est maximisée, puis la deuxième composante principale est utilisée pour compléter les données perdues dans la variable composite. Créez le troisième composant principal et les variables synthétiques. Après cela, si les données sont transférées dans l'espace centré sur chaque composant principal, le reste n'est qu'interprété.

pca = PCA()
feature = pca.fit(dfs)    #Analyse des composants principaux
feature = pca.transform(dfs)   #Transférer les données vers l'espace des composants principaux

pd.DataFrame(feature, columns=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

94 rows × 5 columns

Trouvons également le vecteur propre. Le vecteur propre est comme la "force d'inclinaison de l'axe" appliquée lors du transfert des données d'origine vers l'espace de l'axe du composant principal.

Le calcul des vecteurs propres en Python est implémenté dans les composants_ inclus dans l'ACP de scikit-learn.

pd.DataFrame(pca.components_, columns=df.columns[2:], index=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

Maintenant que nous connaissons le vecteur propre, nous allons trouver les valeurs propres de chaque composant principal. La valeur propre est un coefficient associé au vecteur propre et est un indice indiquant la taille de chaque axe de composante principale.

En Python, le taux de cotisation peut être calculé à l'aide de la variable_expliquée_ incluse dans l'ACP de scicit-learn.

pd.DataFrame(pca.explained_variance_, index=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

Ensuite, trouvez le taux de cotisation. Le taux de cotisation est un indice indiquant la quantité d'informations que chaque axe de composante principale explique dans les données. En d'autres termes, la composante principale avec un taux de cotisation de 60% peut expliquer 60% du total des données et en perdre 40%.

En Python, le taux de cotisation peut être calculé à l'aide de la valeur expliquée_variance_ratio_ incluse dans l'ACP de scicit-learn.

pd.DataFrame(pca.explained_variance_ratio_, index=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

Ici, le taux de cotisation cumulé est également calculé. La raison pour laquelle le taux de cotisation cumulatif est nécessaire est de voir «quel pourcentage des données est perdu». En d'autres termes, si vous examinez les principaux composants qui ont un taux de cotisation cumulé supérieur à un certain niveau, vous pouvez réduire le nombre de dimensions et obtenir une vue d'ensemble de l'ensemble des données.

Ici, la valeur totale cumulée est calculée à l'aide de la fonction cumsum de numpy.

plt.plot([0] + list( np.cumsum(pca.explained_variance_ratio_)), "-o")
plt.xlabel("Number of principal components")
plt.ylabel("Cumulative contribution rate")
plt.grid()
plt.show()

En ce qui concerne chaque axe de composant principal généré, je ne suis pas sûr de ce que cela signifie tel quel. Cependant, en visualisant la contribution de chaque variable dans la composante principale, la signification de chaque composante principale peut être vue. Ici, la contribution de chaque variable dans la première composante principale et la deuxième composante principale est tracée sur un diagramme de dispersion. ```python plt.figure() for x, y, name in zip(pca.components_[0], pca.components_[1], df["MeasuredValue"].columns[:]): plt.text(x, y, name) plt.scatter(pca.components_[0], pca.components_[1], alpha=0.8) plt.grid() plt.xlabel("PC1") plt.ylabel("PC2") plt.show() ```

Enfin, visualisez le résultat de l'analyse des composants principaux. En général, les principaux éléments ayant une valeur unique de 1 ou plus ou un taux de cotisation cumulé de 80% ou plus sont adoptés et la répartition est examinée par la combinaison des composants principaux adoptés. Dans ce cas, on suppose que jusqu'au deuxième composant principal est adopté et visualisé dans le graphique. Comme avec un diagramme de dispersion général, vous pouvez utiliser la fonction scatter de matplotlib et spécifier le premier composant principal (0ème colonne d'entité) et le deuxième composant principal (1ère colonne d'entité) pour chacun des paramètres X et Y.

plt.figure()
plt.scatter(x=feature[:, 0], y=feature[:, 1], alpha=0.8, c=list(df.iloc[:, 0])) #Décrire le codage couleur du tracé en c
plt.grid()
plt.xlabel("PC1")
plt.ylabel("PC2")
plt.show()

note de bas de page

^{1 Une variable explicative est une variable qui explique la variable objective qui est le résultat souhaité. En d'autres termes, pour la variable objective qui indique le résultat, la variable qui le cause est la variable explicative. Également une variable indépendante.}

^{2 Une variable créée en combinant plusieurs variables. Dans l'analyse en composantes principales, chaque composante principale est une variable synthétique.}

^{3 Logiciels ou bibliothèques dont le code source, qui est le dessin de conception d'un programme, est largement divulgué au grand public. Tout le monde peut l'utiliser gratuitement tant qu'il se situe dans la plage autorisée par la licence. De plus, comme tout le monde peut le développer, il est facile de le mettre à jour du point de vue de l'utilisateur et de corriger les bogues qui ne sont pas remarqués par un petit nombre de personnes.
Python, Jupyter Notebook et Anaconda sont tous des logiciels open source.}

^{4 Les deux sont des méthodes utilisées dans l'apprentissage automatique. La classification est la classification d'images et la régression est utilisée pour les prévisions futures telles que les cours des actions. Le clustering est utilisé pour regrouper des données similaires en fonction des tendances des données.}

^{5 Un type de données qui stocke des données tabulaires dans Pandas. Manipulez les données en spécifiant des cellules, des lignes et des colonnes comme si vous lisiez un fichier au format CSV ou TSV avec Excel.}

^{6 En python, les nombres commencent par "0".}

^{7 L'opération consistant à soustraire la valeur moyenne de la valeur mesurée et à la diviser par l'écart type.}