☆ Mr. Anzai… !! Ich möchte die Daten analysieren …… Teil 1 Datenvorbereitung ☆ Analysieren wir die NBA-Spielerstatistiken (Ergebnisse) mit Python. Basketball

Jeder im ganzen Land des Liebesbasketballs, hallo. Ich heiße Hikoichi Aida. Normalerweise arbeite ich als Manager und Datenwissenschaftler in einem Basketballteam der High School und analysiere verschiedene Daten.

Dieses Mal möchte ich die Spielerstatistiken (Ergebnisse) von NBA analysieren, einer professionellen Basketballliga in den USA. Es ist leicht zu analysieren, aber bitte bleiben Sie in Kontakt.

Das erste betrifft das Scraping und die Vorverarbeitung, da es sich um die Datenvorbereitung handelt. Ich weiß nicht, wann die zweite und die folgenden Sitzungen stattfinden werden, bitte verzeihen Sie mir. Es kann nicht für immer sein.

Umgebung

Ich habe Google Colaboratory verwendet. Der diesmal eingeführte Prozess kann nur mit der vorinstallierten Bibliothek ausgeführt werden. Es ist sehr praktisch.

Datensammlung

Schaben

Als ich suchte, was ich mit dem Datenerfassungsteil tun sollte, fand ich den folgenden Blog-Artikel.

• Web Scraping NBA Stats - Towards Data Science

Fast das gleiche wie in diesem Artikel, aber ich dachte, dass die Größe und das Gewicht der Spieler möglicherweise abgekratzt werden, also habe ich die URL der persönlichen Seite des Spielers als Scraping-Ziel angegeben. Da der Datensatz, der den Spaltennamen darstellt, in regelmäßigen Abständen eingefügt wird, wird dieser Datensatz übersprungen.

data = pd.DataFrame()
years = [i for i in range(2000, 2002)]
for year in years:
    url = "https://www.basketball-reference.com/leagues/NBA_{}_per_game.html".format(year)
    # this is the HTML from the given URL
    html = urlopen(url)
    soup = BeautifulSoup(html)

    soup.findAll('tr', limit=2)
    # use getText()to extract the text we need into a list
    headers = [th.getText() for th in soup.findAll('tr', limit=2)[0].findAll('th')]
    # exclude the first column as we will not need the ranking order from Basketball Reference for the analysis
    headers = ['URL'] + headers[1:] + ['Year']

    rows = soup.findAll('tr')[1:]
    player_stats = [[rows[i].a.get('href')] + [td.getText() for td in rows[i].findAll('td')] for i in range(len(rows)) if (rows[i].findAll('td')) and (rows[i].a)]
    stats = pd.DataFrame(player_stats)
    stats['Year'] = str(year)
    stats.columns = headers
    data = pd.concat([data, stats])
data = data.dropna()

Hier ist ein Beispiel für die Seite, die abgekratzt werden soll.

• 2018-19 NBA Player Stats: Per Game | Basketball-Reference.com

Alle Statistiken der Spieler, die an dieser Saison teilgenommen haben, befinden sich auf einer einseitigen Website. Ich denke, Sie können genügend Daten sammeln, auch wenn Sie sie ziehen und in eine Tabellenberechnungssoftware wie Excel kopieren.

Dieses Mal haben wir Daten für 20 Jahre (2000-2019) ins Visier genommen. Das Scraping-Ergebnis sieht so aus.

Vorverarbeitung

Fehlender Wert

Die Statistiken, die die Wahrscheinlichkeit wie FG% darstellen (Think Field Goal Success Rate = Shoot Success Rate), scheinen leer zu sein, wenn die Anzahl der Probeschüsse 0 beträgt. Durch NaN ersetzen.

data = data.replace(r'^\s*$', np.NaN, regex=True)

Datentypänderung

Der Datentyp ist eine Zeichenfolge. Konvertieren Sie die Daten, die Sie behandeln möchten, in eine schwebende Zahl. Einige Daten sind nur Ganzzahlen, aber es ist problematisch, also werde ich sie alle schweben lassen. Vor der Änderung wird die als Prozentsatz ausgedrückte Note als ".XXX" geschrieben und kann nicht wie sie ist in eine Zahl umgewandelt werden. Fügen Sie daher am Anfang "0" hinzu.

add_zero_cols = [col for col in data.columns if '%' in col]
num_cols = ['Age'] + list(data.columns[5:-1])

for col in add_zero_cols:
    data[col] = '0' + data[col]
for col in num_cols:
    data[col] = data[col].astype(float)

Lass uns nachsehen. Zeigt die Top 10 Durchschnittswerte an.

data.sort_values('PTS', ascending=False)[['Player', 'PTS', 'Year']].head(10)

Es scheint kein Problem zu geben. In Japan gibt es viele bekannte Superstars wie James Harden, Allen Iverson und Corby Bryant.

Ich habe einen kurzen Blick auf die Datenquellenseite geworfen, um zu sehen, was die Markierung * nach dem Namen darstellt, war mir aber nicht sicher: heat_smile: Es kann einen Spieler darstellen, der sich in der Hall of Fame befindet.

Zusätzliche Daten Größe / Gewicht

Wir haben auch Daten zu Größe und Gewicht über die URL der persönlichen Seite gesammelt, die zusätzlich im Scraping-Artikel enthalten war. (Da es durch geringfügiges Ändern des Codes am Anfang erfasst werden kann, wird der Code für zusätzliche Daten weggelassen.)

Schließlich sind solche Daten bereit. (Die Spalten Gewicht und Höhe wurden ganz rechts hinzugefügt.)

Übrigens die Top 10 Höhen der letzten 20 Jahre

df.groupby(['Player']).max().reset_index().sort_values('Height', ascending=False)[['Player', 'Year', 'Height', 'Weight']].head(10)

Die Einheit ist m (Meter). Der dritte Platz ist Yao Min, der auch die Große Mauer von Mari genannt wurde. Die Höhe ist zu groß.

Ende

Nachdem die Daten fertig sind, möchte ich sie beim nächsten Mal visualisieren.

Bonus

Durchschnittlicher Assist Top 10

data.sort_values('AST', ascending=False)[['Player', 'AST', 'Year']].head(10)

Top 10 durchschnittliche Rebounds

data.sort_values('TRB', ascending=False)[['Player', 'TRB', 'Year']].head(10)

Es scheint, dass Spieler, die die angegebene Anzahl von Spielen nicht erreicht haben, ausgeschlossen werden müssen.