Python gestartet

__ Es spielt keine Rolle, ob Sie py für irgendetwas anhängen __

Ich muss mich mit vielen seltsamen Tsv auseinandersetzen, also scheinen Pandas nützlich zu sein? Es sah so aus, also benutze ich es als Testversion. Dies ist ein Memo über das Erstellen der Python-Umgebung und deren Verwendung.

beginnen

Führen Sie Einführung in Python3 der Punktinstallation aus. Werfen Sie einen kurzen Blick auf pythonizm und verwenden Sie es als Referenz. Die Punktinstallation ist einfach und schön. Sie können in 3 Minuten pro Video mit einem guten Tempo fortfahren.

lesen

Einführung in Python für Wissenschafts- und Technologieberechnungen: Entwicklungsgrundlagen, wesentliche Bibliotheken, Beschleunigung Ich lese das. Es war schön, dass dieser auch systematisch geschrieben wurde.

Umgebungseinstellung

Es gibt eine Support-Seite des Buches, die der Autor normalerweise dort schreibt. Ich habe es auf dem Mac gemacht, also habe ich Pyenv in Homebrew und Ich habe Anaconda darüber installiert.

brew install pyenv
pyenv install anaconda3-4.2.0

Arbeitsablauf

Grundsätzlich ist es üblich, eine Datei zu lesen, zu formatieren und zu einer anderen Formatdatei zu machen.

--Bestätigung und Datenformatierung auf Jupyter Notebook

Wenn OK, ein einzelnes Skript (Export)

Ich mache es im Fluss. jupyter notebook, praktisch, da Sie die Daten sofort überprüfen können.

Memo

So starten Sie das Jupiter-Notebook

jupyter notebook

Pandas Daten lesen

import pandas as pd
pd.read_csv('FILENAME', delimiter=',', low_memory=False)
#low_Beim Lesen schwerer Dateien wird Speicher verwendet

Datenrahmenbetrieb

Extrahieren Sie nur die Spalten A, B und C.

dataframe.ix[:, ['A','B','C']]

JOIN

#beitreten,wie man geht,Sie können richtig machen usw.
pd.merge(dataframe1, dataframe, how='left')

Geben Sie eine entsprechende Nummer in den Datenrahmen ein

#0 mit numpy~Fügen Sie dem Datenrahmen eine Zeile mit 3000 Zahlen hinzu
import numpy as np

length = len(dataframe)
dataflame['dummy']=np.random.randint(0,3001,length)

NaN-Verarbeitung (wenn beim Lesen nichts enthalten ist)

#Lass eine Reihe mit Nan fallen
dataframe.dropna()

#Konvertiere NaN in ein bestimmtes Zeichen
#Beispiel Konvertieren Sie NaN in 0(Eine Spaltenspezifikation ist ebenfalls möglich)
dataframe.fillna(0)

Datentypkonvertierung

#Überprüfen Sie die aktuelle Schulter
dataframe.dtypes

#zu int(Eine Spaltenspezifikation ist ebenfalls möglich)
dataframe.astype('int')

Zeilen- und Spaltenreferenzen und Operationen

#Zeilen anzeigen
dataframe.index

#Spalten anzeigen
dataframe.columns

#Spalte umbenennen(X,Y,Wechseln Sie zu Z.)
dataframe.columns=['X','Y', 'Z']

#Tun Sie etwas für alle Spalten
dataframe.apply(function, axis=1)

#Doppelte Löschauswahl in MySQL eindeutig(column)
dataframe['column'].drop_duplicates()

#groupby Aggregieren nach einem bestimmten Schlüssel(sum,Es gibt verschiedene Dinge wie gemein)
dataframe.groupby('column').sum()

Andere

Ich habe brillant mit dem vorhandenen Ansible gewettet, also ist dies die Lösung So legen Sie fest, dass Python in ansible verwendet werden soll

Es scheint, dass das int, das am Datenflammenrand haftet, zwangsweise in den Typ float64 geändert wird. Seien Sie vorsichtig bei der Ausgabe.

Ist es vorerst so etwas? Als nächstes möchte ich ein Diagramm zeichnen.