Zweck dieses Artikels

Eine vollständige persönliche Notiz bei der Datenanalyse. Ich habe keine kurzen Dinge wie `df.head ()` eingefügt, weil ich es so gemacht habe, dass ich es kopieren kann.

Bibliothekslast

import numpy as np
import pandas as pd
pd.set_option('display.max_columns', 100)

import seaborn as sns
import matplotlib.pyplot as plt
import japanize_matplotlib

import os
from tqdm import tqdm
import warnings
warnings.filterwarnings('ignore')

Daten gelesen

Muster 1

filename = "hoge.csv"
df = pd.read_csv(filename, encoding='utf-8')

Muster 2

dirname = "/foo/bar/.../"
filename = "hoge.csv"
filepath = os.path.join(dirname, filename)
df = pd.read_csv(filepath, encoding='utf-8')

Datenexport

filename = "huga.csv"
df.to_csv(filename, header=True, index=False)

Datenrahmen bearbeiten

Spalte umbenennen

df = df.rename(columns={"before01":"after01", "before02":"after02"})

Änderung des Spaltendatentyps

df = df.astype({"col": "category"})

Einfaches Zusammenfügen von Datenrahmen

df = pd.concat([upper,lower])

df = pd.concat([left,right], axis=1)

LEFT JOIN

df = pd.merge(left, right, on="key", how='left')

df = pd.merge(left, right, left_on="lkey", right_on="rkey", how='left')

df = pd.merge(left, right, left_on=["lkey01", "lkey02"], right_on=["rkey01", "rkey02"], how='left')

GROUP BY

df = df.groupby(by="col01", as_index=False).sum()

df = df.groupby(by=["col01", "col02"], as_index=False).agg({"col01": ['mean', 'count'], "col02":['std', 'var']})

#Neuzuordnung des Index(Wird als Set mit ungefähr verwendet)
df.reset_index(drop=True, inplace=True)

Export nach CSV

filename = "hoge.csv"
df.to_csv(filename, header=True, index=False)

Andere

Zusammenfassung wie grundlegende Statistiken

!pip install pandas-profiling

import pandas_profiling as pdp

profile = pdp.ProfileReport(df)
profile.to_file(outputfile="myoutputfile.html")

Tun Sie dies zuerst, nachdem Sie die Daten gelesen haben.

Mengenzählung

import collections

lis = ["Alice", "Alice", "Bob", "Bob", "Bob", "Carol"]
c = collections.Counter(lis)
c.most_common(3)

Fortschrittsanzeige

for i tqdm(range(n)):
    foo bar

#Einschlussausdruck
[foo for i in tqdm(range(n))]

Berechnungszeit messen

%%timeit

foo bar

Müllabfuhr

import gc

gc.collect()

Häufig verwendete Vorlage

list01 = []
list02 = []

for i tqdm(range(n)):
  v01 = ???
  list01.append(v01)
  v02 = ???
  list02.append(v02)

df = pd.DataFrame({"col01":list01, "col02":list02})

[Python] Hinweise zur Datenanalyse