[PYTHON] Datenanalyse Titanic 1

Aidemy　2020/10/30

Einführung

Hallo, es ist ja! Ich bin eine knusprige Literaturschule, aber ich war an den Möglichkeiten der KI interessiert, also ging ich zur KI-Fachschule "Aidemy", um zu studieren. Ich möchte das hier gewonnene Wissen mit Ihnen teilen und habe es in Qiita zusammengefasst. Ich freue mich sehr, dass viele Menschen den vorherigen zusammenfassenden Artikel gelesen haben. Vielen Dank! Dies ist der erste Beitrag von "Data Analysis Titanic". Freut mich, dich kennenzulernen.

• Dieser Artikel ist eine Zusammenfassung dessen, was Sie in "Aidemy" "in Ihren eigenen Worten" gelernt haben. Es kann Fehler und Missverständnisse enthalten. Bitte beachten Sie.

Was diesmal zu lernen ・ Bestätigung des Flusses des Überlebensvorhersagemodells der Titanic ・ ② Erfassung von Trainingsdaten / Testdaten ・ ③ Daten gestalten, erstellen, bereinigen ・ ④ Musteranalyse, Datenanalyse (einige werden beim nächsten Mal durchgeführt)

Vorhersage der Überlebenden der Titanic

Prognosefluss

① Frage, die Sie klären möchten, __Definition des Problems __ ② __ Erfassung von Trainingsdaten / Testdaten __ ③ __ Daten gestalten, erstellen, bereinigen __ ④ __ Musteranalyse __, spezifische und explorative __ Datenanalyse __ ⑤ Problem Modell, Vorhersage, Lösung ⑥ Berichten Sie über die Schritte zur Problemlösung und die endgültige Lösung visualisierung

① Zu klärende Fragen, Definition von Problemen

・ Dieses Mal werden wir ein Vorhersagemodell für __ "Titanic Survivor Prediction" __ erstellen. Eine Seite namens "Kaggle" veranstaltet so etwas wie __ "Wettbewerb" __ "Modellauktion" __, was eine der Herausforderungen ist. -In Kaggle werden __ Aufgabentrainingsdaten übergeben __. Ich werde es auch dieses Mal verwenden.

・ Über die Definition des Problems -Die Trainingsdaten sind diesmal mit den Bezeichnungen __ "Passagierdaten" __ und __ "Überleben / Tod" __ versehen, und die Testdaten sind nicht gekennzeichnet. ・ Durch Anwendung des auf diese Testdaten erstellten Modells kann der Zustand der Passagiere vorhergesagt werden.

② Erfassung von Trainingsdaten / Testdaten

-Datenerfassung wird mit __ "pd.read_csv ()" __ durchgeführt.

• Um zu entscheiden, welche Feature-Menge (Variable) als Datensatz verwendet werden soll, überprüfen Sie __data Feature-Menge (Variable) mit Pandas __. Schauen Sie sich dazu einfach den __column-Namen von train_df an und geben Sie ihn mit __ "train_df.columns.values" __ aus.
• Um zu überprüfen, welche Art von Daten enthalten sind, geben Sie __ die ersten und letzten Zeilen der Daten __ aus. Dies kann mit __ "head () / tail ()" __ bestätigt werden.

·Code

・ Ausgabeergebnis (nur Teil)

・ Über jede Funktionsmenge ・ Survived: Hast du überlebt? "0" ist Ja / "1" ist Nein ・ Plasse: Sitzklasse "1"> "2"> "3" ・ Sex: Geschlecht ・ Alter: Alter ・ Sibsp: Anzahl der Brüder / Ehepartner an Bord ・ Parch: Anzahl der Eltern / Kinder / Enkelkinder an Bord ・ Ticket: Boarding-Nummer ・ Farif: Boarding-Gebühr ・ Cabin: Zimmernummer ・ Embarked: Name des Abfahrtshafens

③ Daten gestalten, erstellen, bereinigen

Arten von Funktionen

• Die Merkmalsmenge enthält __ "Kategoriewert" __ und __ "Zahlenwert" __.

Kategoriewert

-__ Kategoriewert __ ist eine Feature-Menge, die nur __ 'Zeichenfolge' __ oder __ 'fester numerischer Wert' __ akzeptiert. Sie werden als __ "Nenndaten" __ bzw. __ "Bestelldaten" __ bezeichnet.

• Von den im vorherigen Abschnitt bestätigten Merkmalsmengen lauten die Nenndaten __ "Überlebt", "Geschlecht" und "Eingeschifft" __. (Überlebt zeigt "Ja / Nein" an) -Die Bestelldaten sind __ "P-Klasse" __ und geben die Reihenfolge der festen Zahlenwerte "1,2,3" an.

Numerischer Wert

-Numerische Daten werden in __ "diskrete Daten" __ und __ "kontinuierliche Daten" __ unterteilt. -In diesen Daten sind die diskreten Daten __ "Sibsp" "Parch" __ und die kontinuierlichen Daten sind __ "Alter" "Tarif" __.

Anzahl fehlender Werte

-Nächste, um den fehlenden Wert zu verarbeiten, wird bestätigt, ob in den __- Daten ein Wert fehlt und in welcher Feature-Menge er sich in __ befindet. -Überprüfen Sie mit __ "info ()" __, ob in den Daten Werte fehlen.

• Wenn Sie sich den Ausgabecode ansehen, sind __ und "RangeIndex" __ 891, sodass Sie sehen können, dass insgesamt 891 Daten vorhanden sind. Wenn bei Betrachtung jeder Merkmalsmenge die Zahl kleiner als 891 ist, bedeutet dies, dass der fehlende Wert in diesem Betrag enthalten ist __. (Da es beispielsweise nur 714 Jahre gibt, fehlen 177 Werte)
• Da sowohl train_df als auch test_df fehlende Werte in __ "Alter", "Tarif" und "Kabine" __ enthalten, werden wir diese fehlenden Werte in ③ ergänzen.

・ Ergebnis (nur Teil)

Suchen Sie nach doppelten Daten

-__ Wenn die Daten dupliziert werden, müssen sie gelöscht werden __. Überprüfen Sie, ob Duplikate mit __ "description ()" __ vorhanden sind.

• Durch Angabe von __ "include = ['O']" __ im Argument können Informationen zu Objektdaten angezeigt werden. Insbesondere wird __ "Anzahl (Anzahl der Daten)" "eindeutig (Anzahl der Daten nach Deduplizierung)" "oben (die meisten Daten)" "Frequenz (Anzahl der Spitzen)" __ angezeigt. -Hier möchten wir die Anzahl der doppelten Daten wissen, damit wir uns die Anzahl der __ "eindeutigen" __ ansehen können.

・ Ergebnis

③ Nachträgliche Richtlinien

・ Von hier aus werden wir ein Modell mit diesen Daten erstellen, aber wir werden die damalige Richtlinie anhand der Daten betrachten, die wir bisher gesehen haben __. ・ Es gibt __7 __ Dinge, die zu diesem Zeitpunkt die Richtlinie (das Ziel) sein werden. __ "Kategorie" "Korrelation" "Konvertierung" "Ergänzung" "Ändern" "Erstellen" "Diagramm" __. In Bezug auf diese werden wir überlegen, "wie für welche Feature-Menge zu tun ist".

-__ Korrelation __: Das Modell sagt voraus, ob der Passagier überlebt hat oder nicht, dh __ "überlebt" __. _ Untersuchen Sie die Korrelation __, um zu analysieren, wie sich andere Funktionen auf Survived auswirken.

-__ Vervollständigung __: Die Datenvervollständigung wird von der mit der stärksten Korrelation __ priorisiert (für die mit der schwächsten Interphase ist es besser, die folgende Korrektur durchzuführen). Dieses Mal wird es ergänzt von __ "Alter" "Eingeschifft" __.

-__ Änderung __: Überlebt und __ Schließen Sie diejenigen aus, bei denen es offensichtlich nicht wahrscheinlich ist, dass sie korrelieren __. __ "Passenerld" und "Name" __ sind Daten zur Identifizierung von Passagieren. Daher ist es unerheblich, ob sie überlebt haben oder nicht, daher werden sie ausgeschlossen. Außerdem kann __ "Ticket" __ ausgeschlossen werden, da es eine hohe __ Duplikatrate aufweist und möglicherweise nicht mit Survived korreliert. __ "Kabine" __ hat eine große Anzahl fehlender Werte __, daher kann es gelöscht werden.

-__ Erstellen __: Erstellen Sie einen neuen Feature-Betrag, indem Sie __ den Feature-Betrag teilen oder extrahieren. Dieses Mal erstellen wir einen neuen Funktionsbetrag mit dem Namen __ "Familiengröße" __ für die Funktionsbeträge "Parch" und "Sibsp" desselben Systems. Da es einfacher ist, die fortlaufenden Daten "Alter" und "Tarif" vorherzusagen, wenn sie zu __diskreten Daten verarbeitet werden, erstellen Sie eine neue Merkmalsmenge __ geteilt durch Angabe des __-Bereichs.

-__ Klassifizierung __: Die Lebensfähigkeit der Titanic wird für "Kinder", "Frauen" und "Obergeschosse (Oberschicht)" als hoch angesehen. Betrachtet man die auf dieser Hypothese basierenden Daten, so ist __ "Geschlecht = weiblich" "Alter <?" "P-Klasse = 1" __ wahrscheinlich __ "überlebt = 1" __.

④ Musteranalyse, Datenanalyse

Aggregation von Merkmalsgrößen (Korrelation)

-Verwenden Sie __ "Pivot-Tabelle" __, wenn Sie eine große Datenmenge wie diese zusammenfassen und analysieren. -Pivot-Tabelle kann nur mit Daten erstellt werden, die keine fehlenden Werte enthalten __Sonstiges, __ "Kategoriewert, Bestelldaten, diskrete Daten" __ Es ist wünschenswert, dies zu tun.

• Als Analyse wird die Korrelation zwischen Merkmalsgrößen analysiert.

Pclass (Auftragsdaten) und Survived Pivot Table-Erstellung

・ Zunächst die Codebeschreibung

-In dem Teil von "__train_df [[" Pclass "," Survived "]] __" wird das __ -Element der Tabelle, die dieses Mal erstellt werden soll, in der Spalte train_df __ angegeben.

• "__ Groupby ([" Pclass "], as_index = False) __" wird nach __Pclass-Spalte gruppiert (aggregiert) __. Pclass selbst hat den Wert "1,2,3", aber ich möchte dies so wie es ist als Spalte verwenden, also indiziere ich es nicht.
• "__ Mean () __" berechnet den __Mittelwert des Wertes Survived __.
• "__ Sort_values (by =" Survived ", ascending = False) __" gibt an, dass die __ Durchschnittswerte von Survived in absteigender Reihenfolge sortiert sind __.

-Eusgabeergebnis

・ Machen Sie dasselbe für __ "Sex", "Parch" und "SibSp" __.

Zusammenfassung

-Das erste, was Sie tun müssen, um ein Modell zur Vorhersage der Überlebensrate der Titanic zu erstellen, ist die Datenerfassung.

• Überprüfen Sie beim Erfassen der Daten, ob beim nächsten Formatieren der Daten Werte oder Duplikate für n fehlen. ・ Berücksichtigen Sie bei den bisherigen Daten die Richtlinie ab dem nächsten Mal. Beginnen Sie zunächst mit dem Teil "Korrelation". Berücksichtigen Sie für die Korrelation die Korrelation mit "Survived", der Lehrerbezeichnung des Modells.

Diese Zeit ist vorbei. Vielen Dank für das Lesen bis zum Ende.