[PYTHON] Herausforderungen des Titanic-Wettbewerbs für Kaggle-Anfänger

Neulich haben wir ein internes Training zum Titanic-Wettbewerb von Kaggle abgehalten. Wir werden die Erklärungsmaterialien und die Übungen, die die Teilnehmer gemacht haben, teilen. Die Materialien und Ausgaben befinden sich in Kaggles Notizbuch. Wenn Sie interessiert sind, überprüfen Sie dies bitte ebenfalls.

Dies ist übrigens Qiitas erster Beitrag.

Einführung

Warum ich mich für Kaggle entschieden habe

Da es nicht möglich ist, alles allein durch Training zu lehren (zu lernen), hielt ich es für notwendig, dass jeder Einzelne weiter daran arbeitet. Wenn ich versuchte, etwas zu lernen, stolperte ich manchmal über die Konstruktion der Umgebung, deshalb entschied ich mich für Kaggle, was es unnötig macht.

Angenommene Teilnehmer

• Ich interessiere mich für maschinelles Lernen
• Ich habe Kaggle noch nie benutzt
• In Python unerfahren

Über das Training

Trainingsziele

• Erleben Sie den Fluss des maschinellen Lernens ――Ich möchte, dass Sie das Gefühl haben, selbst ein Programm schreiben zu können

Erklärende Materialien, Übungen

Da ich Kaggle benutze, habe ich das Erklärungsmaterial auch als Kaggles Notizbuch erstellt.

• Erklärendes Material: Probieren wir das Kaggle-Tutorial "Titanic Survivor Prediction" aus! https://www.kaggle.com/plasticgrammer/kaggle-titanic

• Übungsaufgabe: Titanic: Überlebende vorhersagen (ΦωΦ) https://www.kaggle.com/plasticgrammer/titanic-predict-survivors

Wie geht es weiter?

Ich wollte Erklärungen und Übungen ausgewogen kombinieren, also fuhr ich mit dem folgenden Ablauf fort.

1. Erklären Sie die Datenanalyse anhand von Materialien

• Python-Grundlagen
• Wie man Kaggle benutzt, Erklärung der Begriffe
• Bestätigen Sie den Fluss des maschinellen Lernens (Datenlesen, Datenanalyse)

1. Datenanalyseübungen

2. Erklären Sie die Prognose anhand von Materialien

• Vorverarbeitung
• Modellierung, Training, Vorhersage

1. Herausforderungen zur Verbesserung der Vorhersagegenauigkeit

Vorbereitete Übungen

Der folgende Inhalt wird auch im Übungsheft beschrieben, aber ich werde ihn vorerst auch in diesem Artikel beschreiben.

Datenanalyse

Schritt 1) Überprüfen Sie den Umriss der Daten

--Überprüfen Sie die Anzahl der Zeilen und Spalten der Trainingsdaten und Testdaten

• Lassen Sie uns die ersten 5 Trainingsdaten anzeigen
• Lassen Sie uns die ersten 5 Testdaten anzeigen ――Was ist der Unterschied zwischen Trainingsdaten und Testdaten? Was genau bedeutet es, Überlebende mit maschinellem Lernen vorherzusagen?

Schritt 2) Überprüfen Sie die Details der Daten

• Lassen Sie uns die Trainingsdateninformationen mit der Info-Methode anzeigen --Überprüfen wir den fehlenden Wertstatus der Trainingsdaten --Überprüfen wir den Status der fehlenden Werte der Testdaten --Überprüfen wir die Anzahl der Fälle für jeden Wert der Zielvariablen Survived
• Lassen Sie uns überprüfen, welcher Wert für die Variable Pclass festgelegt ist --Überprüfen wir die Verteilung der Variablen Alter mit einem Histogramm --Überprüfen wir die Maximal-, Durchschnitts- und Medianwerte der Variablen Alter. --Überprüfen wir die Verteilung der Variablen Sex mit value_counts + Balkendiagramm
• Lassen Sie uns mit pd.crosstab die Anzahl der Variablen Geschlecht in [Für jeden Überlebenden] überprüfen.

Schritt 3) Visualisieren Sie, ob eine Korrelation besteht

-Lass uns die Anzahl der Variablen Geschlecht in [Für jeden Überlebenden] mit einem Balkendiagramm überprüfen Gibt es eine Korrelation? Wenn ja, welche Trends gibt es? -Lass uns die Anzahl der Variablen Pclass von [For each Survived] mit einem Balkendiagramm überprüfen Gibt es eine Korrelation? Wenn ja, welche Trends gibt es?

Feature-Erstellung und Vorhersage

Annahme) Alter (gefüllt mit 0 fehlenden Werten), Fluss zur Vorhersage mit Random Forest unter Verwendung von Geschlecht wurde erstellt

• Füllen wir den fehlenden Wert von Alter mit dem Medianwert
• Verwenden wir den Tarif zur Vorhersage
• Lassen Sie uns zur Vorhersage eingeschifft
• Fügen wir SibSp + Parch + 1 als FamilySize hinzu
• Fügen wir FamilySize <= 1 als IsAlone hinzu
• Fügen wir das erste Zeichen von Cabin als Feature-Menge hinzu

Reflexion über den Rückblick

Dieses Training dauerte 5 Stunden. Es dauerte länger als erwartet, mit der letzten Aufgabe fortzufahren, um die Vorhersagegenauigkeit zu verbessern. Als Ergebnis hatte ich den Eindruck, dass es schwierig war. Später führte ich es erneut in Form eines zusätzlichen Trainings durch, aber ich hatte das Gefühl, dass es besser wäre, eins nach dem anderen mit vielen Übungen fortzufahren.

abschließend

Es gibt viele Artikel über den Titanic-Wettbewerb, auf die ich auf verschiedene Weise Bezug genommen habe. Wenn ich versucht habe, es zu einer Trainingsaufgabe für Python-Anfänger zu machen, habe ich es oft als Material zusammengestellt, also habe ich es mit Ihnen geteilt, wenn es hilft.