[PYTHON] Apprentissage automatique dans Delemas (acquisition de données)

L'autre jour, j'ai terminé le cours sur le sujet apprentissage machine cousera, je veux donc l'essayer en pratique [Idol Master Cinderella Girls](https: // ja) .wikipedia.org / wiki /% E3% 82% A2% E3% 82% A4% E3% 83% 89% E3% 83% AB% E3% 83% 9E% E3% 82% B9% E3% 82% BF% E3% 83% BC_% E3% 82% B7% E3% 83% B3% E3% 83% 87% E3% 83% AC% E3% 83% A9% E3% 82% AC% E3% 83% BC% E3% Essayons de prédire trois types (Cu, Co, Pa) en utilisant des données de profil de 83% AB% E3% 82% BA).

Obtenez des données

Le premier est l'acquisition de données utilisées pour l'apprentissage. J'ai recherché la version Delemas de Pokemon api, mais elle n'avait pas l'air bien, donc j'utilise généralement le [Delemas wiki](https: // imascg-slstage-). J'ai obtenu les données de wiki.gamerch.com/).

Pour la méthode de grattage, je me suis référé aux pages suivantes. http://qiita.com/Azunyan/items/9b3d16428d2bcc7c9406

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib2
import csv
from bs4 import BeautifulSoup

#URL d'accès
url = "https://imascg-slstage-wiki.gamerch.com/%E3%82%A2%E3%82%A4%E3%83%89%E3%83%AB%E4%B8%80%E8%A6%A7"
#Lire l'URL
html = urllib2.urlopen(url)
#Manipulez le HTML avec une belle soupe
soup = BeautifulSoup(html, "html.parser")
#Obtenez tout le contenu du premier tableau
table = soup.findAll("table")[0]
#Décomposer le tableau ligne par ligne
rows = table.findAll("tr")

csvFile = open("aimasudata.csv", 'wt')
writer = csv.writer(csvFile)
for row in rows:
    csvRow = []
    for cell in row.findAll(['td', 'th']):
        csvRow.append(cell.get_text().encode('utf-8'))
    writer.writerow(csvRow)

résultat

Comme ça スクリーンショット 2017-04-01 23.10.30.png

Note

――Je ne savais pas comment lire la balise html, il a donc fallu beaucoup de temps pour trouver la destination d'acquisition de soup.findAll. Si vous souhaitez obtenir les données de la table pour le moment, spécifiez la table et sachez de quelle table numérique elle se trouve sur la même page. --Si vous utilisez cell.get_text () pour les données japonaises, on vous dira que vous ne pouvez pas utiliser de code ASCII, vous devez donc l'encoder en utf-8.

Recommended Posts

Apprentissage automatique dans Delemas (acquisition de données)
Prétraitement dans l'apprentissage automatique 2 Acquisition de données
Python: prétraitement en machine learning: acquisition de données
Apprentissage automatique dans Delemas (s'entraîner)
Prétraitement dans l'apprentissage automatique 4 Conversion de données
Python: prétraitement dans l'apprentissage automatique: conversion de données
Prétraitement dans l'apprentissage automatique 1 Processus d'analyse des données
Astuces de fourniture de données utilisant deque dans l'apprentissage automatique
Ensemble de données pour l'apprentissage automatique
Utilisé en EDA pour l'apprentissage automatique
Introduction à l'apprentissage automatique avec scikit-learn - De l'acquisition de données à l'optimisation des paramètres
Automatisez les tâches de routine dans l'apprentissage automatique
Classification et régression dans l'apprentissage automatique
Apprentissage automatique
Prétraitement dans l'apprentissage automatique 3 Données de valeur manquante / aberrante / de déséquilibre
Python: prétraitement dans l'apprentissage automatique: présentation
Recherche de semences aléatoires dans l'apprentissage automatique
Procédure d'apprentissage automatique de base: ② Préparer les données
Comment collecter des données d'apprentissage automatique
Sklearn de données déséquilibrées avec apprentissage automatique k-NN
[python] Techniques souvent utilisées dans l'apprentissage automatique
[Python] Première analyse de données / apprentissage automatique (Kaggle)
[Python] Enregistrement des résultats d'apprentissage (modèles) dans l'apprentissage automatique
[Memo] Apprentissage automatique
Classification de l'apprentissage automatique
Python: prétraitement en machine learning: gestion des données manquantes / aberrantes / déséquilibrées
Exemple d'apprentissage automatique
Divulgation complète des méthodes utilisées dans l'apprentissage automatique
[Python] Analyse de données, pratique du machine learning (Kaggle) -Prétraitement des données-
Division des données de formation en apprentissage automatique et apprentissage / prédiction / vérification
Résumé des fonctions d'évaluation utilisées dans l'apprentissage automatique
Touchons une partie de l'apprentissage automatique avec Python
J'ai commencé l'apprentissage automatique avec le prétraitement des données Python
Prévision du cours de l'action à l'aide du Deep Learning [acquisition de données]
Histoire de l'analyse de données par apprentissage automatique
[Pour les débutants] Introduction à la vectorisation dans l'apprentissage automatique
Résumé du didacticiel d'apprentissage automatique
Apprentissage automatique sur le surapprentissage
Apprentissage automatique ⑤ Résumé AdaBoost
Échantillonnage dans des données déséquilibrées
Outil MALSS (application) qui prend en charge l'apprentissage automatique en Python
Régression logistique d'apprentissage automatique
À propos du prétraitement des données des systèmes utilisant l'apprentissage automatique
Comment diviser les données de formation en machine learning en variables objectives et autres dans Pandas
Outil MALSS (basique) qui prend en charge l'apprentissage automatique en Python
Machine de vecteur de support d'apprentissage automatique
À propos des tests dans la mise en œuvre de modèles d'apprentissage automatique
Étudier l'apprentissage automatique ~ matplotlib ~
Régression linéaire d'apprentissage automatique
Mémo du cours d'apprentissage automatique
Bibliothèque d'apprentissage automatique dlib
Apprentissage automatique (TensorFlow) + Lotto 6
Coursera Machine Learning Challenge en Python: ex1 (régression linéaire)
Apprenez en quelque sorte le machine learning
Prédiction de données chronologiques par AutoML (apprentissage automatique automatique)
Tentative d'inclusion du modèle d'apprentissage automatique dans le package python
Entropie croisée à revoir dans les devoirs de la semaine 2 de Coursera Machine Learning
xgboost: modèle d'apprentissage automatique efficace pour les données de table
Bibliothèque d'apprentissage automatique Shogun
Défi de lapin d'apprentissage automatique