[PYTHON] Datenverarbeitungstipps mit Pandas

Es ist auch ein persönliches Memorandum und ein Tipp für die Datenverarbeitung durch Pandas. Ich schrieb auf, was ich beim Googeln nicht erwischt habe. Wir planen, immer mehr hinzuzufügen. Wir würden uns freuen, wenn Sie uns mitteilen könnten, ob Sie Fehler oder Verbesserungen haben.

Das erste, was zu sehen ist, ist der Spickzettel

Überwältigend danke an diejenigen, die es ins Japanische übersetzt haben. https://qiita.com/s_katagiri/items/4cd7dee37aae7a1e1fc0

Wenden Sie die Funktion auf mehrere Variablen an und speichern Sie den Rückgabewert in einer anderen Variablen.

Beispiel: Geben Sie die Anzahl der in x1 enthaltenen "@" in cnt_x1 ein, was auch für x2, x3, .... gilt. x1→cnt_x1, ..., x13→cnt_x13

migs = {'cnt_x1': 'x1', 'cnt_x2': 'x2', ...,  'cnt_x13': 'x13'}

for vars, mig in migs.items():
    df1[vars] = df1[mig].str.count('＠')

--keys (): für die Schleifenverarbeitung für den Schlüsselschlüssel jedes Elements --values (): für die Schleifenverarbeitung für den Wert jedes Elements --items (): für die Schleifenverarbeitung für Schlüsselschlüssel und Wertwert jedes Elements

Benutze ein Wörterbuch. Die Entsprechung zwischen Schlüssel und Wert im Wörterbuch ist wie folgt. {'key1': 'value1', 'key2': 'value2', 'key3': 'value3'}

Senden Sie eine Abfrage an postgres, um einen Datenrahmen zu erstellen (erhalten Sie auch den Header).

Schreiben Sie die in '' 'eingeschlossene Abfrage in cur.execute (). Persönlich (im Fall von Postgres) habe ich es geschrieben, nachdem ich die Bewegung mit PgAdmin überprüft hatte.

import psycopg2
import pandas as pd
conn = psycopg2.connect("host=hostname  user=username port=port dbname=dbname password=password")
# execute sql
cur = conn.cursor()
#Schemaname.Tabellenname
cur.execute('''
select *
from hoge
;''')
results = cur.fetchall()
#Ich möchte df sein
df = pd.DataFrame(results, columns=[col.name for col in cur.description])
cur.close()
conn.close()

So erstellen Sie eine leere Datei und schreiben die aktuelle Anzahl von Beispielen in den Dateinamen, um die Situation zu verstehen

Wenn Sie die obigen Postgres abfragen, sie mit einem Datenrahmenprogramm kombinieren und sie regelmäßig im Windows-Taskplaner ausführen lassen, können Sie den Status von Beispielen in der Datenbank jeden Tag (wöchentlich, stündlich usw.) anzeigen. tun können.

allcnt = len(df)

with open(r"./Datum" + str(date) +  r"_Gesamt_" + str(allcnt) + r"_Inländisch_" + str(domestic) + r"_Übersee-_" + str(foreign) + r".txt","w"):pass