[PYTHON] Bequeme Analyse mit Pandas + Jupyter Notebook
Umgebung
Python 3.5.1 :: Anaconda 2.5.0
Verwenden Sie nicht pandas.DataFrame?
Ist es nicht schwierig, CSV mit Python zu lesen, JSON zu lesen oder ein SQL-Dokument aus der Datenbank auszuführen (hogehoge)? Insbesondere für DB ist es sehr mühsam, Rollback und Commit bei der Fehlerbehandlung zu trennen.
Wenn Sie Pandas verwenden, wird dieses Problem gelöst.
Laden der gemeinsamen CSV
before
import csv
with open("data.csv",'r') as f:
data = csv.reader(f)
for row in data:
print(row)
after
import pandas as pd
data = pd.read_csv("data.csv")
print(data)
Löschen Sie ausgewählte Daten in SQL in Python (postgres).
before
import psycopg2
conn = psycopg2.connect("dbname=test host=localhost user=postgres")
cur = conn.cursor()
cur.execute("SELECT * FROM test_table LIMIT 100;")
data = cur.fetchall()
for row in data:
print(row)
after
import pandas as pd
import psycopg2
conn = psycopg2.connect("dbname=test host=localhost user=postgres")
data = pd.read_sql("SELECT * FROM test_table LIMIT 100;",conn)
print(data)
Das Gute an Pandas ist __ Die Datenstruktur im Tabellenformat kann unverändert beibehalten werden __ Es gibt. Mit anderen Worten, Sie können die DB-Tabellenstruktur oder die CSV-Spalte unverändert abrufen.
Beispiel (Beispiel für eine Csv-Datei)
__Jupyter Notebook macht es einfacher zu sehen und bequemer __
__ Überprüfen Sie einfach den Typ jeder Spalte __
(Der als Objekt bezeichnete Typ ist eine Zeichenfolge, da die Spalte mehrere Typdaten enthält. Wenn Sie beispielsweise eine Spalte mit Zahlen und seltsamen Zeichen in einen Nur-Zahlen-Typ konvertieren möchten, Wenn Sie df ["column_name"]. Convert_objects (convert_numeric = True) setzen, werden diejenigen, die nicht konvertiert werden konnten, als NaN gespeichert.)
Es gibt viele Artikel über Pandas, und das Jupyter-Notizbuch ist ein sehr einfach zu verwendendes Werkzeug. Wenn Sie sie kombinieren, können Sie die Daten sehr schnell und einfach analysieren. Probieren Sie es also aus.
Nachtrag Wir werden nützliche Methoden für die Datenaggregation und -analyse mit Pandas als Memorandum zusammenfassen (wird jederzeit aktualisiert). Mindestmethode beim Aggregieren von Daten mit Pandas
Recommended Posts