[PYTHON] Zum ersten Mal versuchte ein Programmieranfänger eine einfache Datenanalyse mit Programmierung

Entschuldigung, ich habe nicht aktualisiert

Das Update wurde verzögert. Es gibt viele Gründe (oder Ausreden), aber ich denke, die meiste Zeit habe ich nicht viel Code geschrieben. Zu Beginn des neuen Jahres hat sich die Anzahl der Klassen und Aufgaben ein wenig beruhigt, und gleichzeitig bin ich in Gedanken herumgewandert und habe über meine Abschlussarbeit und meinen Karriereweg nach dem Abschluss nachgedacht, sodass ich mich nicht viel bewegt habe. Also habe ich meinen Blog jeden Tag aktualisiert, aber mein ehrlicher Eindruck war, dass es nicht genug Inhalte gab, um in Qiita zu schreiben. Ich bin immer noch ein wenig verloren, aber vorerst ist meine Abschlussarbeit entschieden und ich arbeite hart daran, es zu schaffen.

Ich habe im Unterricht ein wenig Python gelernt

Während des Unterrichts habe ich mit einigen Daten in der Cloud gespielt. Ich habe auch von einer erstaunlichen Seite namens Kaggle erfahren. Dies ist das erste Mal, dass ich es ausprobiert habe, während ich nach dem Unterricht selbst Daten von Kaggle genommen und überprüft habe.

Holen Sie sich Daten von kaggle

https://www.kaggle.com/unsdsn/world-happiness#2019.csv Ich dachte, ich könnte verschiedene Zusammenhänge erkennen, also entschied ich mich dafür.

Mount von Google Drive

from google.colab import drive
drive.mount('/content/drive')

Laden Sie die erforderliche CSV im Voraus auf Google Drive hoch

Import und Datenerfassung von Bibliotheken, die möglicherweise erforderlich sind

import numpy as np 
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv("/content/drive/My Drive/2019.csv")

Ich war beeindruckt, dass es so viele andere Bibliotheken gibt!

Überprüfen Sie die Anzahl der Daten und das Vorhandensein fehlender Werte

df.count()

Anzahl der Daten 156, keine fehlenden Werte Wenn ich das nicht mache, weiß ich nicht, ob ich alle oder nur die ersten Daten anzeigen soll, also habe ich es versucht. Ich wollte auch Daten mit vielen fehlenden Werten vermeiden, da dies verwirrend schien. (Ich denke, wir müssen uns in Zukunft der Herausforderung stellen, aber vorerst ist dies das erste Mal.)

Versuchen Sie, nur die ersten 20 anzuzeigen

df.head(20)

Japan ist nicht enthalten

Lassen Sie uns grob zeigen, was notwendig erscheint

df.describe()

Ist das nur die Art der Daten? Ich kann verstehen wie.

Versuchen Sie, den Korrelationskoeffizienten zwischen Punktzahl (Glück) und sozialer Unterstützung (soziale Wohlfahrt) zu finden.

#Bibliotheksvorbereitung
import numpy as np
import pandas as pd

#Datensatzvorbereitung

##Glück zu ordnen
happy = df["Score"]

##Soziale Wohlfahrt arrangieren
social = df["Social support"]

#Holen Sie sich den Korrelationskoeffizienten!
correlation = np.corrcoef(social, happy)
print(correlation)

[[1. 0.77705779] [0.77705779 1. ]]

Es kam heraus ~~ Da der Korrelationskoeffizient 0,7 beträgt, korreliert die soziale Wohlfahrt stark mit dem Glück! !!

Ich werde eine Heatmap herausbringen

#Bibliotheksvorbereitung
import pandas as pd
import numpy as np

#Sie sollten in der Lage sein, den Korrelationskoeffizienten zwischen Spalten zu erhalten!
corr_df =df.corr()
print(corr_df)

Overall rank ... Perceptions of corruption Overall rank 1.000000 ... -0.351959 Score -0.989096 ... 0.385613 GDP per capita -0.801947 ... 0.298920 Social support -0.767465 ... 0.181899 Healthy life expectancy -0.787411 ... 0.295283 Freedom to make life choices -0.546606 ... 0.438843 Generosity -0.047993 ... 0.326538 Perceptions of corruption -0.351959 ... 1.000000

[8 rows x 8 columns]

Es tut mir leid, dass es schwer zu sehen ist, ich bin vorerst draußen!

#Bibliotheksvorbereitung
import seaborn as sns
sns.heatmap(corr_df, cmap= sns.color_palette('cool', 5), annot=True,fmt='.2f', vmin = -1, vmax = 1)

Ich habe vergessen, den Gesamtrang komplett zu überholen, aber ich habe es geschafft!

Ich werde in Zukunft für mich selbst lernen

Eindrücke der Klasse

Ich habe mich schon immer für Python interessiert. Obwohl die Anzahl der Lektionen insgesamt auf das Vierfache begrenzt war, war es interessant, verschiedene Dinge über "Daten" zu lernen, nicht nur über Python. Der Rest hat Spaß gemacht. Ich erinnere mich, dass ich als Doktorand ein wenig Statistik bei SPSS gemacht habe. Ich habe in meiner Masterarbeit keine Statistiken verwendet, deshalb habe ich sie nur ein wenig angesprochen, aber es war auch zu dieser Zeit rein interessant. Ich erinnerte mich an diese Zeit, als ich jung war lol

Es gibt viele Dinge, die ich ausprobieren möchte

Vorerst war dies mein erstes Mal, also habe ich es grob versucht, ohne über tiefe Dinge nachzudenken. Anstatt über strenge Statistiken nachzudenken, versuchen Sie einfach, dies herauszufinden oder zu visualisieren. Wenn Sie sich die Spezialisten ansehen, denke ich, dass es eine Menge zu tun gibt. Es gibt viele Dinge, die ich mit Python machen möchte, wie z. B. Faktoranalyse, Hauptkomponentenanalyse und logistische Analyse, die ich früher mit SPSS gemacht habe. Ich konnte es wegen Zeit- und Wissensmangels während des Unterrichts überhaupt nicht tun ...

Versuchen Sie es stetig

Der Unterricht selbst ist vorbei, aber gleichzeitig spürte ich das Potenzial des maschinellen Lernens und gleichzeitig wurde mir klar, dass ich das schwache Gefühl hatte, in dieser Branche zu sein: "Ich werde in Zukunft eine wesentliche Sprache haben!" Ich bin mir sicher, dass es nicht nur Spaß macht oder interessante Dinge während des Studiums sind, sondern dass ich in Zukunft so viel wie möglich lernen möchte. Ich habe nicht vor, maschinelles Lernen in das Produkt aufzunehmen, das ich gerade herstelle. Wie viel kann ich also in einem anderen Rahmen als der gesamten Abschlussarbeit tun? Es scheint, dass es eine endliche Nichtausführung sein wird, und ich mache mir bereits Sorgen, aber ich habe Qiita geschrieben, um mich zu warnen, also würde ich es gerne nach und nach versuchen. Ich hoffe, solche Inhalte in Zukunft nach und nach beschreiben zu können.