Kombinieren Sie nach dem erfolgreichen Lesen jeder der drei Dateien die drei gemessenen Dateien und Proben, damit sie für die spätere Verarbeitung verwendet werden können. Zu diesem Zeitpunkt ist es bequem, die Pandas-Concat-Funktion zu verwenden. Wenn der Parameter ignore_index auf True gesetzt ist, werden die Spaltennummern des zu kombinierenden Pandas DataFrame ^{5 </ sup> neu nummeriert. </ p>}

data_file1 = "measureddata_20191004033314.tsv"    #Ändern Sie die in die Variable eingegebene Zeichenfolge in den tsv-Dateinamen Ihrer Messdaten
data_file2 = "measureddata_20191004033325.tsv"    #Ändern Sie die in die Variable eingegebene Zeichenfolge in den tsv-Dateinamen Ihrer Messdaten
data_file3 = "measureddata_20191004033338.tsv"    #Ändern Sie die in die Variable eingegebene Zeichenfolge in den tsv-Dateinamen Ihrer Messdaten

data1 = pd.read_csv(data_file1, delimiter="\t")
data2 = pd.read_csv(data_file2, delimiter="\t")
data3 = pd.read_csv(data_file3, delimiter="\t")

data = pd.concat([data1, data2, data3], ignore_index=True)    #Kombiniere es mit der Pandas Concat Funktion
data

9779 rows × 13 columns

sample_file1 = "samples_20191004033311.tsv"    #Ändern Sie die in die Variable eingegebene Zeichenfolge in den tsv-Dateinamen Ihrer Beispiele
sample_file2 = "samples_20191004033323.tsv"    #Ändern Sie die in die Variable eingegebene Zeichenfolge in den tsv-Dateinamen Ihrer Beispiele
sample_file3 = "samples_20191004033334.tsv"    #Ändern Sie die in die Variable eingegebene Zeichenfolge in den tsv-Dateinamen Ihrer Beispiele

sample1 = pd.read_csv(sample_file1, delimiter="\t")    
sample2 = pd.read_csv(sample_file2, delimiter="\t")
sample3 = pd.read_csv(sample_file3, delimiter="\t")

sample = pd.concat([sample1, sample2, sample3], ignore_index=True)    #Kombiniere es mit der Pandas Concat Funktion
sample

317 rows × 66 columns

Kapitel 3 Datenaufbereitung

Nach dem Lesen der Daten besteht der nächste Schritt darin, die Daten so vorzubereiten, dass sie analysiert werden können. Extrahieren Sie zunächst die diesmal zu verwendenden Daten aus den gemessenen Daten.
Dieses Mal werden wir 5 Arten chemischer Substanzen (ΣPCBs, ΣDDTs, ΣPBDEs, ΣCHLs, ΣHCHs) für 3 Arten von Sunameri, Suji Dolphin und Kazuhagondou verwenden.

Extrahieren Sie zuerst die Daten, deren Einheit [ng / g Lipid] ist. Dies liegt daran, dass, wie in Teil 1 erwähnt, Daten mit unterschiedlichen Einheiten nicht einfach verglichen werden können.
Extrahieren Sie als Nächstes die Daten, deren chemischer Stoffname einer der oben genannten fünf Typen ist, und nummerieren Sie die Zeilen mit der Methode reset_index neu.

data_lipid = data[(data["Unit"] == "ng/g lipid")]
data_lipid = data_lipid[(data_lipid["ChemicalName"] == "ΣPCBs") | (data_lipid["ChemicalName"] == "ΣDDTs") |
                        (data_lipid["ChemicalName"] == "ΣPBDEs") |  (data_lipid["ChemicalName"] == "ΣCHLs") |
                        (data_lipid["ChemicalName"] == "ΣHCHs")]
data_lipid = data_lipid.reset_index(drop=True)
data_lipid[data_lipid["SampleID"] == "SAA001941"]    #Datenliste mit Proben-ID SAA001941

Nachdem die Datenextraktion der gemessenen Daten abgeschlossen ist, besteht der nächste Schritt darin, den Datenrahmen von Proben und gemessenen Daten zu integrieren.
In Teil 1 und Teil 2 wurden den gemessenen Daten jeder chemischen Substanz Probeninformationen (wissenschaftlicher Name, Sammelstelle usw.) hinzugefügt. Diesmal wird jedoch jeder Probe der gemessene Wert der chemischen Substanz gegeben. Achten Sie daher darauf, dass sich die Verarbeitung von der vorherigen unterscheidet. ..

#Erstellen Sie einen DataFrame mit nur SampleID und wissenschaftlichem Namen
df = sample[["SampleID", "ScientificName"]]
for chem in ["ΣCHLs", "ΣDDTs", "ΣHCHs", "ΣPBDEs", "ΣPCBs"]: #Schleifenverarbeitung nach chemischem Stoffnamen
    #Erstellen Sie einen DataFrame nur für die Chemikalien in der Chemikalienliste
    data_lipid_chem = data_lipid[data_lipid["ChemicalName"] == chem]
    #Spaltenname, wobei nur die SampleID und der gemessene Wert übrig bleiben"MeasuredValue"In chemischen Stoffnamen geändert
    data_lipid_chem = data_lipid_chem[["SampleID", "MeasuredValue"]].rename(columns={"MeasuredValue": chem})
    data_lipid_chem = data_lipid_chem.drop_duplicates(subset='SampleID')
    #Df mit SampleID(ID+Wissenschaftlicher Name)Und Daten_lipid_chem(ID+gemessener Wert)Verschmelzen
    df = pd.merge(df, data_lipid_chem, on="SampleID")
df = df.dropna(how="any") #Entfernen Sie Reihen, die NaN enthalten
df = df.drop("SampleID", axis=1)
df

94 rows × 6 columns

Wie oben gezeigt

, wird der wissenschaftliche Name im aktuellen Status im DataFrame gespeichert. Da der Artname in Zukunft zur Visualisierung verwendet wird, wird der Einfachheit halber eine Variable erstellt, die den wissenschaftlichen Namen darstellt. Erstellen Sie zunächst ein Wörterbuch, das jeden wissenschaftlichen Namen mit einem Wert verknüpft (Sunameri: 0, Suji Dolphin: 1, Kazuhagondou: 2). </ p>

species = df["ScientificName"].unique().tolist()    #Geben Sie eine Liste der wissenschaftlichen Namen in df aus
class_dic = {}
for i in range(len(species)):
    class_dic[species[i]] = i
class_dic

{'Neophocaena phocaenoides': 0,
 'Stenella coeruleoalba': 1,
 'Peponocephala electra': 2}

Fügen Sie als Nächstes die Klassenspalte zu df hinzu und geben Sie den Wert ein, der dem wissenschaftlichen Namen jeder Zeile in der Klassenspalte entspricht. ```python df["Class"] = 0 for irow in range(len(df)): df.at[irow, "Class"] = class_dic[df.at[irow, "ScientificName"]] df = df.loc[:, ["Class", "ScientificName", "ΣPCBs", "ΣDDTs", "ΣPBDEs", "ΣCHLs", "ΣHCHs"]] df ```

94 rows × 7 columns

Da es einfacher war, die Pivot-Tabelle zu verwenden, ändern Sie die data_lipid und unten wie folgt.

df = pd.pivot_table(data_lipid, index=['ScientificName', 'SampleID'], columns='ChemicalName', values=['MeasuredValue'])
df = df.dropna(how="any") #Entfernen Sie Reihen, die NaN enthalten
df

94 rows × 5 columns

Ab diesem Zeitpunkt erfolgt die Analyse anhand des Datenrahmens der Pivot-Tabelle.

Kapitel 4 Visualisierung der Datenübersicht

Nachdem die Datenvorbereitung abgeschlossen ist, visualisieren und überprüfen wir vorerst die gesamten Daten. Die diesmal verarbeiteten Daten sind 5 Dimensionen (es gibt 5 erklärende Variablen). Da Menschen den 5-dimensionalen Raum nicht erfassen können, ist es unmöglich, die Verteilung aller 5-dimensionalen Daten so zu visualisieren, wie sie sind. Hier wird $ {} _ 5 C_2 = 10 $ Verteilungskarte erzeugt.

Es ist praktisch, die Funktion pandas.plotting.scatter_matrix () von pandas zu verwenden, um das Streudiagramm mehrerer Variablen zu visualisieren. Geben Sie in der Funktion dispers_matrix () den Bereich an, der mit dem Parameter frame visualisiert werden soll. Dieses Mal stehen alle Zeilen und Spalten von df nach ^{6 .}

pd.plotting.scatter_matrix(
    frame=df["MeasuredValue"],
    c=list(df["MeasuredValue"].iloc[:, 0]),
    alpha=0.5)
plt.show()

Kapitel 5 Hauptkomponentenanalyse

In

Kapitel 4 wurde eine Verteilungskarte von $ {} _ 5 C_2 = 10 $ als Übersicht über die gesamten Daten generiert. Damit kann jedoch nur die Verteilung der Daten für jede Kombination zweier Arten chemischer Substanzen bestätigt werden. Mit anderen Worten, es ist nicht möglich, einen Überblick über die gesamten 5-dimensionalen Daten zu erhalten. Daher werden 5D-Daten durch Hauptkomponentenanalyse zusammengefasst und visualisiert. </ p>

Da die Länge jeder Achse unterschiedlich ist, standardisieren Sie zunächst ^{7 für jede Variable und legen Sie die Länge aller Achsen in 5 Dimensionen fest. Vereinheitlichen.}

dfs = df.apply(lambda x: (x-x.mean())/x.std(), axis=0)
dfs

94 rows × 5 columns

Alternativ können Sie den Standard Scaler zur Standardisierung verwenden.

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaler.fit(df)
scaler.transform(df)
dfs = pd.DataFrame(scaler.transform(df), columns=df.columns)
dfs

94 rows × 5 columns

Führen Sie nach der Standardisierung eine Hauptkomponentenanalyse durch. Hier wird das Ergebnis von Standard Scaler verwendet.
Sklearn.decomposition.PCA () von Scikit-learn wird für die Hauptkomponentenanalyse verwendet.
Bei der Hauptkomponentenanalyse wird zunächst eine synthetische Variable (erste Hauptkomponente) erstellt, um eine Achse in der Richtung zu zeichnen, in der die Variation in der Verteilung der Daten maximiert wird, und dann wird die zweite Hauptkomponente verwendet, um die in der zusammengesetzten Variablen verlorenen Daten zu ergänzen. Erstellen Sie die dritte Hauptkomponente und synthetische Variablen. Wenn danach die Daten in den Bereich übertragen werden, der auf jeder Hauptkomponente zentriert ist, wird der Rest nur interpretiert.

pca = PCA()
feature = pca.fit(dfs)    #Hauptkomponentenanalyse
feature = pca.transform(dfs)   #Übertragen Sie Daten in den Hauptkomponentenbereich

pd.DataFrame(feature, columns=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

94 rows × 5 columns

Lassen Sie uns auch den Eigenvektor finden. Der Eigenvektor entspricht der "Kraft zum Neigen der Achse", die beim Übertragen der Originaldaten auf den Achsenraum der Hauptkomponente angewendet wird.

Die Berechnung von Eigenvektoren in Python ist in components_ implementiert, die in der PCA von scikit-learn enthalten sind.

pd.DataFrame(pca.components_, columns=df.columns[2:], index=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

Nachdem wir den Eigenvektor kennen, finden wir die Eigenwerte jeder Hauptkomponente. Der Eigenwert ist ein dem Eigenvektor zugeordneter Koeffizient und ein Index, der die Größe jeder Hauptkomponentenachse angibt.

In Python kann der Beitragssatz mithilfe der erklärten_Varianz_ berechnet werden, die in der PCA von scicit-learn enthalten ist.

pd.DataFrame(pca.explained_variance_, index=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

Ermitteln Sie als Nächstes den Beitragssatz. Der Beitragssatz ist ein Index, der angibt, wie viele Informationen jede Hauptkomponentenachse in den Daten erklärt. Mit anderen Worten, die Hauptkomponente mit einem Beitragssatz von 60% kann 60% der Gesamtdaten erklären, und 40% gehen verloren.

In Python kann der Beitragssatz mithilfe von EXPLAIN_Varianance_Ratio_ berechnet werden, das in der PCA von Scicit-Learn enthalten ist.

pd.DataFrame(pca.explained_variance_ratio_, index=["PC{}".format(x + 1) for x in range(len(dfs.columns))])

Hier wird auch der kumulierte Beitragssatz berechnet. Der Grund, warum der kumulierte Beitragssatz erforderlich ist, besteht darin, zu sehen, "wie viel Prozent der Daten verloren gehen". Mit anderen Worten, wenn Sie sich die Hauptkomponenten ansehen, deren kumulierter Beitragssatz über einem bestimmten Niveau liegt, können Sie die Anzahl der Dimensionen reduzieren und sich einen Überblick über die gesamten Daten verschaffen.

Hier wird der kumulative Gesamtwert mit der Cumsum-Funktion von numpy berechnet.

plt.plot([0] + list( np.cumsum(pca.explained_variance_ratio_)), "-o")
plt.xlabel("Number of principal components")
plt.ylabel("Cumulative contribution rate")
plt.grid()
plt.show()

In Bezug auf jede generierte Hauptkomponentenachse bin ich mir nicht sicher, was dies bedeutet. Durch Visualisierung des Beitrags jeder Variablen in der Hauptkomponente kann jedoch die Bedeutung jeder Hauptkomponente gesehen werden. Hier ist der Beitrag jeder Variablen in der ersten Hauptkomponente und der zweiten Hauptkomponente in einem Streudiagramm aufgetragen. ```python plt.figure() for x, y, name in zip(pca.components_[0], pca.components_[1], df["MeasuredValue"].columns[:]): plt.text(x, y, name) plt.scatter(pca.components_[0], pca.components_[1], alpha=0.8) plt.grid() plt.xlabel("PC1") plt.ylabel("PC2") plt.show() ```

Visualisieren Sie abschließend das Ergebnis der Hauptkomponentenanalyse. Im Allgemeinen werden die Hauptkomponenten mit einem eindeutigen Wert von 1 oder mehr oder einem kumulierten Beitragssatz von 80% oder mehr übernommen, und die Verteilung wird durch die Kombination der angenommenen Hauptkomponenten geprüft. In diesem Fall wird davon ausgegangen, dass bis zur zweiten Hauptkomponente das Diagramm übernommen und visualisiert wird. Verwenden Sie wie bei einem allgemeinen Streudiagramm die Streufunktion von matplotlib und geben Sie für jeden der Parameter X und Y die erste Hauptkomponente (0. Spalte des Merkmals) und die 2. Hauptkomponente (1. Spalte des Merkmals) an.

plt.figure()
plt.scatter(x=feature[:, 0], y=feature[:, 1], alpha=0.8, c=list(df.iloc[:, 0])) #Beschreiben Sie die Farbcodierung des Diagramms in c
plt.grid()
plt.xlabel("PC1")
plt.ylabel("PC2")
plt.show()

Fußnote

^{1 Eine erklärende Variable ist eine Variable, die die Zielvariable erklärt, die das gewünschte Ergebnis ist. Mit anderen Worten, für die Zielvariable, die das Ergebnis angibt, ist die Variable, die es verursacht, die erklärende Variable. Auch eine unabhängige Variable.}

^{2 Eine Variable, die durch Kombinieren mehrerer Variablen erstellt wurde. Bei der Hauptkomponentenanalyse ist jede Hauptkomponente eine synthetische Variable.}

^{3 Software oder Bibliotheken, deren Quellcode, bei dem es sich um die Entwurfszeichnung eines Programms handelt, der breiten Öffentlichkeit zugänglich gemacht wird. Jeder kann es kostenlos nutzen, solange es innerhalb des von der Lizenz zugelassenen Bereichs liegt. Da es von jedem entwickelt werden kann, ist es aus Sicht des Benutzers einfach, Aktualisierungen vorzunehmen und Fehler zu beheben, die von einer kleinen Anzahl von Personen nicht bemerkt werden.
Python, Jupyter Notebook und Anaconda sind Open Source-Software.}

^{4 Beide Methoden werden beim maschinellen Lernen verwendet. Die Klassifizierung ist eine Bildklassifizierung, und die Regression wird für zukünftige Prognosen wie Aktienkurse verwendet. Clustering wird verwendet, um ähnliche Daten basierend auf Datentrends zu gruppieren.}

^{5 Ein Datentyp, der Tabellendaten in Pandas speichert. Bearbeiten Sie Daten, indem Sie Zellen, Zeilen und Spalten so angeben, als würden Sie eine Datei im CSV- oder TSV-Format mit Excel lesen.}

^{6 In Python beginnen Zahlen mit "0".}

^{7 Der Vorgang des Subtrahierens des Durchschnittswerts vom gemessenen Wert und des Dividierens durch die Standardabweichung.}