[PYTHON] Maschinelles Lernen in Delemas (Datenerfassung)

Neulich habe ich den Kurs Cousera Machine Learning abgeschlossen, also möchte ich ihn in der Praxis ausprobieren [Idol Master Cinderella Girls](https: // ja) .wikipedia.org / wiki /% E3% 82% A2% E3% 82% A4% E3% 83% 89% E3% 83% AB% E3% 83% 9E% E3% 82% B9% E3% 82% BF% E3% 83% BC_% E3% 82% B7% E3% 83% B3% E3% 83% 87% E3% 83% AC% E3% 83% A9% E3% 82% AC% E3% 83% BC% E3% Versuchen wir, drei Typen (Cu, Co, Pa) anhand von Profildaten von 83% AB% E3% 82% BA vorherzusagen.

Daten bekommen

Erstens ist die Erfassung von Daten, die zum Lernen verwendet werden. Ich habe nach der Delemas-Version von Pokemon api gesucht, aber sie sah nicht gut aus, daher verwende ich normalerweise das [Delemas-Wiki](https: // imascg-slstage-). Ich habe die Daten von wiki.gamerch.com/) erhalten.

Für die Schabemethode habe ich auf die folgenden Seiten verwiesen. http://qiita.com/Azunyan/items/9b3d16428d2bcc7c9406

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib2
import csv
from bs4 import BeautifulSoup

#URL für den Zugriff
url = "https://imascg-slstage-wiki.gamerch.com/%E3%82%A2%E3%82%A4%E3%83%89%E3%83%AB%E4%B8%80%E8%A6%A7"
#URL lesen
html = urllib2.urlopen(url)
#Behandeln Sie HTML mit schöner Suppe
soup = BeautifulSoup(html, "html.parser")
#Holen Sie sich den gesamten Inhalt der ersten Tabelle
table = soup.findAll("table")[0]
#Zerlegen Sie die Tabelle zeilenweise
rows = table.findAll("tr")

csvFile = open("aimasudata.csv", 'wt')
writer = csv.writer(csvFile)
for row in rows:
    csvRow = []
    for cell in row.findAll(['td', 'th']):
        csvRow.append(cell.get_text().encode('utf-8'))
    writer.writerow(csvRow)

Ergebnis

So was スクリーンショット 2017-04-01 23.10.30.png

Memo

――Ich wusste nicht, wie ich das HTML-Tag lesen sollte, daher dauerte es lange, bis ich das Erfassungsziel vonoup.findAll gefunden hatte. Wenn Sie die Tabellendaten vorerst abrufen möchten, geben Sie die Tabelle an und wissen Sie, um welche Zahlentabelle es sich auf derselben Seite handelt.

Recommended Posts

Maschinelles Lernen in Delemas (Datenerfassung)
Vorverarbeitung beim maschinellen Lernen 2 Datenerfassung
Python: Vorverarbeitung beim maschinellen Lernen: Datenerfassung
Maschinelles Lernen in Delemas (Praxis)
Vorverarbeitung beim maschinellen Lernen 4 Datenkonvertierung
Python: Vorverarbeitung beim maschinellen Lernen: Datenkonvertierung
Vorverarbeitung beim maschinellen Lernen 1 Datenanalyseprozess
Datenversorgungstricks mit deque beim maschinellen Lernen
Datensatz für maschinelles Lernen
Wird in EDA für maschinelles Lernen verwendet
Einführung in das maschinelle Lernen mit scikit-learn-Von der Datenerfassung bis zur Parameteroptimierung
Automatisieren Sie Routineaufgaben beim maschinellen Lernen
Klassifikation und Regression beim maschinellen Lernen
Maschinelles Lernen
Vorverarbeitung beim maschinellen Lernen 3 Fehlende Wert- / Ausreißer- / Ungleichgewichtsdaten
Python: Vorverarbeitung beim maschinellen Lernen: Übersicht
Random Seed Research im maschinellen Lernen
Grundlegendes maschinelles Lernverfahren: ② Daten vorbereiten
Sammeln von Daten zum maschinellen Lernen
Unausgeglichenes Datenlernen mit maschinellem Lernen k-NN
[Python] Techniken, die häufig beim maschinellen Lernen verwendet werden
[Python] Erste Datenanalyse / maschinelles Lernen (Kaggle)
[Python] Speichern von Lernergebnissen (Modellen) beim maschinellen Lernen
[Memo] Maschinelles Lernen
Klassifikation des maschinellen Lernens
Python: Vorverarbeitung beim maschinellen Lernen: Umgang mit fehlenden / Ausreißern / unausgeglichenen Daten
Beispiel für maschinelles Lernen
Vollständige Offenlegung der beim maschinellen Lernen verwendeten Methoden
[Python] Datenanalyse, maschinelles Lernen (Kaggle) -Datenvorverarbeitung-
Maschinelles Lernen Aufteilung der Trainingsdaten und Lernen / Vorhersage / Verifizierung
Zusammenfassung der beim maschinellen Lernen verwendeten Bewertungsfunktionen
Lassen Sie uns einen Teil des maschinellen Lernens mit Python berühren
Ich habe mit der maschinellen Vorverarbeitung von Python Data begonnen
Aktienkursprognose mit Deep Learning [Datenerfassung]
Geschichte rund um die Datenanalyse durch maschinelles Lernen
[Für Anfänger] Einführung in die Vektorisierung beim maschinellen Lernen
Zusammenfassung des Lernprogramms für maschinelles Lernen
Maschinelles Lernen Über Overlearning
Maschinelles Lernen ⑤ AdaBoost-Zusammenfassung
Abtastung in unausgeglichenen Daten
Tool MALSS (Anwendung), das maschinelles Lernen in Python unterstützt
Logistische Regression beim maschinellen Lernen
Informationen zur Datenvorverarbeitung von Systemen, die maschinelles Lernen verwenden
Aufteilen von Trainingsdaten für maschinelles Lernen in objektive Variablen und andere in Pandas
Tool MALSS (Basic), das maschinelles Lernen in Python unterstützt
Maschinelles Lernen unterstützt Vektormaschine
Über das Testen bei der Implementierung von Modellen für maschinelles Lernen
Maschinelles Lernen studieren ~ matplotlib ~
Lineare Regression des maschinellen Lernens
Memo zum Kurs für maschinelles Lernen
Bibliothek für maschinelles Lernen dlib
Maschinelles Lernen (TensorFlow) + Lotto 6
Coursera Machine Learning Challenge in Python: ex1 (lineare Regression)
Lerne irgendwie maschinelles Lernen
Vorhersage von Zeitreihendaten durch AutoML (automatisches maschinelles Lernen)
Versuchen Sie, das Modell des maschinellen Lernens in das Python-Paket aufzunehmen
Cross-Entropie zur Überprüfung in Coursera Machine Learning Woche 2 Aufgaben
xgboost: Effektives Modell für maschinelles Lernen für Tabellendaten
Bibliothek für maschinelles Lernen Shogun
Maschinelles Lernen Kaninchen Herausforderung