☆ M. Anzai… !! Je veux analyser les données …… Partie 1 Préparation des données ☆ Analysons les statistiques des joueurs NBA (résultats) avec Python. basketball

Tout le monde à travers le pays aime le basket-ball, bonjour. Je m'appelle Hikoichi Aida. Je travaille généralement en tant que manager et data scientist dans une équipe de basket-ball d'un lycée, analysant diverses données.

Cette fois, j'aimerais analyser les statistiques des joueurs (résultats) de la NBA, qui est une ligue de basket-ball professionnelle aux États-Unis. C'est facile à analyser, mais veuillez rester en contact.

Le premier concerne le scraping et le prétraitement car il s'agit de la préparation des données. Je ne sais pas quand auront lieu la deuxième session et les suivantes, pardonnez-moi. Ce ne sera peut-être pas pour toujours.

environnement

J'ai utilisé Google Colaboratory. Le processus introduit cette fois ne peut être utilisé qu'avec la bibliothèque préinstallée. C'est très pratique.

Collecte de données

Grattage

Lorsque je cherchais quoi faire avec la partie collecte de données, j'ai trouvé l'article de blog suivant.

• Web Scraping NBA Stats - Towards Data Science

Cet article et le contenu sont presque les mêmes, mais j'ai pensé que la taille et le poids du joueur pourraient être grattés, j'ai donc inclus l'URL de la page personnelle du joueur comme cible de grattage. Étant donné que l'enregistrement représentant le nom de la colonne est inséré à intervalles réguliers, cet enregistrement est ignoré.

data = pd.DataFrame()
years = [i for i in range(2000, 2002)]
for year in years:
    url = "https://www.basketball-reference.com/leagues/NBA_{}_per_game.html".format(year)
    # this is the HTML from the given URL
    html = urlopen(url)
    soup = BeautifulSoup(html)

    soup.findAll('tr', limit=2)
    # use getText()to extract the text we need into a list
    headers = [th.getText() for th in soup.findAll('tr', limit=2)[0].findAll('th')]
    # exclude the first column as we will not need the ranking order from Basketball Reference for the analysis
    headers = ['URL'] + headers[1:] + ['Year']

    rows = soup.findAll('tr')[1:]
    player_stats = [[rows[i].a.get('href')] + [td.getText() for td in rows[i].findAll('td')] for i in range(len(rows)) if (rows[i].findAll('td')) and (rows[i].a)]
    stats = pd.DataFrame(player_stats)
    stats['Year'] = str(year)
    stats.columns = headers
    data = pd.concat([data, stats])
data = data.dropna()

Voici un exemple de page à gratter.

• 2018-19 NBA Player Stats: Per Game | Basketball-Reference.com

Toutes les statistiques des joueurs qui ont participé à cette saison sont sur le site d'une page, donc je pense que vous pouvez collecter suffisamment de données même si vous les faites glisser et les copiez dans un logiciel de calcul de table tel qu'Excel.

Cette fois, nous avons ciblé des données sur 20 ans (2000-2019). Le résultat du grattage ressemble à ceci.

Prétraitement

Valeur manquante

Les statistiques qui représentent la probabilité telle que FG% (pensez taux de réussite des buts sur le terrain = taux de réussite des tirs) semblent être vides si le nombre de tirs d'essai est de 0. Remplacez par NaN.

data = data.replace(r'^\s*$', np.NaN, regex=True)

Changement de type de données

Le type de données est une chaîne de caractères. Convertissez les données que vous souhaitez traiter comme un nombre en flottant. Il y a des données avec seulement des entiers, mais comme c'est gênant, je vais tout faire flotter. Avant le changement, la note exprimée en pourcentage est écrite sous la forme «.XXX», et elle ne peut pas être convertie en un nombre tel quel, alors ajoutez «0» au début.

add_zero_cols = [col for col in data.columns if '%' in col]
num_cols = ['Age'] + list(data.columns[5:-1])

for col in add_zero_cols:
    data[col] = '0' + data[col]
for col in num_cols:
    data[col] = data[col].astype(float)

Allons vérifier. Affiche les 10 meilleurs scores moyens.

data.sort_values('PTS', ascending=False)[['Player', 'PTS', 'Year']].head(10)

Il ne semble y avoir aucun problème. Il existe de nombreuses superstars bien connues au Japon telles que James Harden, Allen Iverson et Corby Bryant.

J'ai jeté un coup d'œil sur la page de la source de données pour voir ce que la marque * après le nom représente, mais je n'étais pas sûr: sweat_smile: Il peut représenter un joueur qui est dans le Hall of Fame.

Données supplémentaires Taille / poids

Nous avons également collecté des données sur la taille et le poids à partir de l'URL de la page personnelle qui était également incluse dans l'élément de grattage. (Comme il peut être collecté en modifiant légèrement le code au début, le code des données supplémentaires est omis)

Enfin, ces données sont prêtes. (Les colonnes Poids et Hauteur ont été ajoutées à l'extrême droite)

Au fait, les 10 plus hauts sommets des 20 dernières années

df.groupby(['Player']).max().reset_index().sort_values('Height', ascending=False)[['Player', 'Year', 'Height', 'Weight']].head(10)

L'unité est le m (mètre). La troisième place est celle de Yao Min, qui s'appelait aussi la Grande Muraille de Mari. La hauteur est trop grande.

fin

Maintenant que les données sont prêtes, j'aimerais les visualiser la prochaine fois.

prime

Top 10 de l'assistance moyenne

data.sort_values('AST', ascending=False)[['Player', 'AST', 'Year']].head(10)

Top 10 des rebonds moyens

data.sort_values('TRB', ascending=False)[['Player', 'TRB', 'Year']].head(10)

Il semble que les joueurs n'ayant pas atteint le nombre de parties spécifié doivent être exclus.