[Python] Weg zur Schlange (6) Manipuliere Pandas

Dies ist eine Ausbildung zum Datenwissenschaftler mit Python. Lassen Sie uns zum Schluss Pandas machen, einen der drei heiligen Schätze.

Pandas ist Pythons leistungsstärkstes Datenanalysepaket. Dies ist sehr praktisch, da Sie mit Excel alles tun können, was Sie können. (Sie können Dinge tun, die Excel nicht kann) Es passt gut zu Numpy und Matplotlib und kann nahtlos verwendet werden.

Ich denke, es ist am besten, das unten beschriebene IPython-Notizbuch zu verwenden, um Python-Programme mit Pandas auszuführen. ** PREV ** → [Python] Weg zur Schlange (5) Spiel mit Matplotlib ** WEITER ** → Anwendung von Pandas (so bald wie möglich)

Es visualisiert DataFrames und Grafiken auf wundervolle Weise. tolle.

Pandas Datenstruktur

Pandas hat drei Datenstrukturen.

• Eindimensionales Array: Serie
• Zweidimensionales Array: DataFrame
• Dreidimensionales Array: Panel

Lassen Sie uns diese aus Numpys Array generieren.

Serienbeispiel (1D)

Python

import numpy as np
import pandas as pd

Python

# Series
a1 = np.arange(2)
idx = pd.Index(['A', 'B'], name = 'index')
series = pd.Series(a1, index=idx)
series

index
A    0
B    1
dtype: int64

DataFrame-Beispiel (2D)

Python

# DataFrame
a2 = np.arange(4).reshape(2, 2)
col = pd.Index(['a', 'b'], name= 'column')
df = pd.DataFrame(a2, index=idx, columns=col)
df

Panel Beispiel (3D)

Python

a3 = np.arange(8).reshape(2,2,2)
itm = pd.Index(['p', 'q'], name='item')
panel = pd.Panel(a3, items=itm, major_axis=idx, minor_axis=col)
panel['p']

Python

panel['q']

Beispiel einer Serie mit Doppelindex (effektiv 2D)

Python

a1=np.arange(4)
idx = pd.MultiIndex.from_product([['A','B'],['a','b']], names=('i','j'))
series2 = pd.Series(a1, index=idx)
series2

#Ab, selbst wenn die Vielzahl der Achsen 3 oder mehr beträgt_Produkt kann verwendet werden.
# pd.MultiIndex.from_product([['A', 'B'],['a', 'b'],['1', '2']], names=('i', 'j', 'k'))

i  j
A  a    0
   b    1
B  a    2
   b    3
dtype: int64

Beispiel eines DataFrame mit Doppelindex (effektiv 4D)

Python

a2 = np.arange(16) .reshape(4,4)
idx = pd.MultiIndex.from_product( [['A','B'],['a','b']], names=('i','j'))
col = pd.MultiIndex.from_product( [['C','D'],['c','d']], names=('k','l'))
df = pd.DataFrame(a2, index=idx, columns=col)
df

Obwohl diesmal weggelassen, kann Panel auf die gleiche Weise auch mehrere Indizes haben.

Zugriff auf Daten (Indizierung)

Der große Unterschied zwischen Pandas und Numpy besteht darin, dass das Indexkonzept von Numpy bei Pandas ausgefeilter ist. Vergleichen wir das vorherige zweidimensionale Array mit Numpy und Pandas DataFrame.

Python

a2 = np.arange(4).reshape(2, 2)
a2

array([[0, 1],
       [2, 3]])

Python

idx = pd.Index(['A', 'B'], name='index')
col = pd.Index(['a', 'b'], name='column')
df = pd.DataFrame(a2, index=idx, columns=col)
df

Die Zeilen sind mit A und B und die Spalten mit a bzw. b gekennzeichnet, die Pandas als Index verwenden können. Dies wird als ** label-based index ** bezeichnet. Andererseits wird der in Numpy verwendete Index von Ganzzahlen ab 0 als ** positionsbasierter Index ** bezeichnet. Beide sind in Pandas verfügbar.

Python

a2[1, 1]

3

Python

df.ix[1, 1]

3

Python

df.ix['B', 'b']

3

Da ** Label-basierter Index ** der Schlüssel des Diktats und ** Positions-basierter Index ** der Index der Liste ist, kann davon ausgegangen werden, dass Pandas sowohl Diktat- als auch Listeneigenschaften hat. Ich kann es schaffen Natürlich sind Slice-, Fancy-Indizierung und Boolesche Indizierung ebenso möglich wie Numpy.

slice

Python

df = pd.DataFrame( np.arange(16).reshape(4, 4), index=list('ABCD'),columns=list('abcd'))
df

Python

#Erste Zeile und höher,Weniger als 3. Zeile
df.ix[1:3]

Python

#Zeile A und höher,Zeile C und darunter
# label-Für basierten Index nicht weniger als
df.ix['A' : 'C']

fancy indexing

Python

#Geben Sie mehrere Zeilen an
df.ix[['A', 'B', 'D']]

Python

#Geben Sie mehrere Spalten an
df[[ 'b', 'd']]

boolean indexing

Python

#Siehe Zeile, die wahr ist
df.ix[[True, False, True]]

Python

#Siehe Spalte True
df.ix[:,[True, False, True]]

Python

#Siehe die Zeile, in der der doppelte a-Wert größer als der c-Wert ist
df.ix[df['a']*2 > df['c']]

Achsen- und Indexmanipulation

Einführung in das Austauschen, Verschieben, Umbenennen von Indizes, Sortieren von Indizes usw., die für die Verwendung von Pandas wichtig sind.

Achsen tauschen

Python

a2 = np.arange(4) .reshape(2, 2)
idx = pd.Index(['A', 'B'], name='index')
col = pd.Index(['a', 'b'], name='column')
df = pd.DataFrame(a2, index=idx,columns=col)
df

Python

#Achse 0(Linie)Und die erste Achse(Säule)Ersetzen
df.swapaxes(0, 1)

Python

#Inversion für 2D(T)Auch wenn es das gleiche ist
df.T # transpose()Abkürzung für

Achsenbewegung (Stapeln / Entstapeln)

Python

#Die Spalte wurde zur Zeilenseite verschoben
df.stack()

index  column
A      a         0
       b         1
B      a         2
       b         3
dtype: int64

Python

#Zeile wird zur Spaltenseite verschoben
df.unstack()

column  index
a       A        0
        B        2
b       A        1
        B        3
dtype: int64

Python

#stack()Und entstapeln()Handelt es sich um die umgekehrte Operation. Wenn Sie diese beiden Operationen wiederholen, wird zum Original zurückgekehrt
df.stack().unstack()

Wenn die Zeile zur Spaltenseite verschoben wird, wird die Spalte durch einen Doppelindex dargestellt. Wenn Sie einen (nicht gemultiplexten) DataFrame stapeln () oder entstapeln (), ist die Ausgabe für beide Serien.

Achsen tauschen

Python

a2 = np.arange(64).reshape(8,8)
idx = pd.MultiIndex.from_product( [['A','B'],['C','D'],['E','F']],names=list('ijk'))
col = pd.MultiIndex.from_product([['a','b'],['c','d'],['e','f']],names=list('xyz'))
df = pd.DataFrame(a2, index=idx,columns=col)
df

Dies ist ein Beispiel, bei dem jede Achse 3 Ebenen (3 Ebenen) hat, Swapaxes () jedoch alle Ebenen vollständig ersetzt.

Python

df.swapaxes(0,1)

Mehrere Achsen tauschen (swaplevel / reorder_levels)

Python

#Achse 0(Linie)Von der 0. Schicht(i)Und die zweite Ebene(z)Tauschen
df.reorder_levels([2, 1, 0])
# swaplevel(0, 2)Oder Swaplevel('i', 'z')Aber das gleiche

Python

#1. Achse(Säule)Von der 0. Schicht(x)Und die erste Ebene(y)Tauschen
df.reorder_levels([1,0,2],axis=1)
# swaplevel(0, 1, axis=1)Oder Swaplevel('i', 'j', axis=1)Aber das gleiche

Mehrachsenbewegung (Stapeln / Entstapeln)

stack () verschiebt die untere Ebene der Spaltenachse zur unteren Ebene der Zeilenachse.

Python

df.stack()

unstack () verschiebt die untere Ebene der Zeilenachse auf die untere Ebene der Spaltenachse.

Python

df.unstack()

Index umbenennen

Python

df = pd.DataFrame( [[90, 50], [60, 80]], index=['t', 'h'],columns=['m', 'e'])
df

Python

df.index.name='Name'
df.columns.name='Gegenstand'
df.rename(index=dict(t='Taro', h='Hanako'), columns=dict(m='Mathematik', e='Englisch'))

Nach Index sortieren

Python

df = pd.DataFrame (np.arange(9).reshape(3,3), index=['B','A','C'], columns=['c','b','a'])
df

Python

#Zeilen nach Zeilenindex sortieren
df.sort_index(axis=0)

Python

#Spalten nach Spaltenindex sortieren
df.sort_index(axis=0).sort_index(axis=1)

Datenkonvertierung

Seriendatenkonvertierung

Python

series=pd.Series([2, 3], index=list('ab'))
series

a    2
b    3
dtype: int64

Python

#Quadrieren Sie jeden Wert der Serie
series ** 2

a    4
b    9
dtype: int64

Python

#Sie können auch Funktionen und Diktate auf der Karte übergeben
series.map(lambda x: x**2)
# series.map( {x:x**2 for x in range(3) })

a    4
b    9
dtype: int64

DataFrame-Datenkonvertierung

Python

df = pd.DataFrame( [[2, 3], [4, 5]], index=list('AB'),columns=list('ab'))
df

Python

#Ähnlich wie bei der Serie
df ** 2
# df.map(lambda x: x**2)

Python

#Funktion(Series to scalar)Auf jede Spalte anwenden
#Eine Dimension tiefer ist das Ergebnis Serie
df.apply(lambda c: c['A']*c['B'], axis=0)

a     8
b    15
dtype: int64

Python

#Funktion(Series to Series)Auf jede Zeile anwenden
#Das Ergebnis ist ein DataFrame
df.apply(lambda r: pd.Series(dict(a=r['a']+r['b'], b=r['a']*r['b'])), axis=1)

Konzentrieren und verschmelzen

Mit Pandas können Sie mehrere Serien und DataFrames verketten und kombinieren.

Serie concat (concat)

Selbst wenn doppelte Indizes vorhanden sind, werden diese unverändert kombiniert.

Python

ser1=pd.Series([1,2], index=list('ab'))
ser2=pd.Series([3,4], index=list('bc'))
pd.concat([ser1, ser2])

a    1
b    2
b    3
c    4
dtype: int64

Python

#Wenn Sie den Index eindeutig machen, entfernen Sie doppelte Duplikate
dif_idx = ser2.index.difference(ser1.index)
pd.concat([ser1, ser2[list(dif_idx)]])

a    1
b    2
c    4
dtype: int64

DataFrame concat (concat)

Python

df1 = pd.DataFrame([[1, 2], [3, 4]], index=list('AB'),columns=list('ab'))
df2 = pd.DataFrame([[5, 6], [7, 8]], index=list('CD'),columns=list('ab'))
df3 = pd.DataFrame([[5, 6], [7, 8]], index=list('AB'),columns=list('cd'))

Python

df1

Python

df2

Python

df3

Python

#0. Achse(Linie)In Richtung stapeln
pd.concat([df1, df2], axis=0)

Python

#1. Achse(Säule)In Richtung stapeln
pd.concat([df1, df3], axis=1)

DataFrame-Zusammenführung

Python

df1.index.name = df3.index.name = 'A'
df10 = df1.reset_index()
df30 = df3.reset_index()

Python

df10

Python

df30

Python

#Schließen Sie sich Spalte A an
pd.merge(df10, df30, on='A')

Ein erhält den Spaltennamen, der für den Join verwendet werden soll. Es können mehrere Spezifikationen angegeben werden. In diesem Fall werden sie in der Liste angegeben. Wenn nicht angegeben, wird der gemeinsame Spaltenname der beiden DataFrames übernommen. Im obigen Beispiel lautet der allgemeine Spaltenname nur A, sodass er weggelassen werden kann. Beachten Sie, dass die Indexspalte beim Zusammenführen ignoriert wird.

Eingabe und Ausgabe verschiedener Dateiformate

Pandas können verschiedene Formate eingeben und ausgeben.

Python

a2 = np.arange(16) .reshape(4,4)
idx = pd.MultiIndex.from_product( [['A','B'],['a','b']], names=('i','j'))
col = pd.MultiIndex.from_product( [['C','D'],['c','d']], names=('k','l'))
df = pd.DataFrame(a2, index=idx, columns=col)
df

Exportdatei

Python

#Ausgabe in HTML-Datei
df.to_html('a2.html')

Python

#Ausgabe in eine Excel-Datei(Benötigt openpyxl)
df.to_excel('a2.xlsx')

Datei lesen

Python

xl = pd.ExcelFile('test.xlsx')
#Blatt angeben
df = xl.parse('Sheet1')
df

Erstellen eines Diagramms

Pandas funktioniert hervorragend mit Matplotlib und erleichtert das Erstellen von Diagrammen aus DataFrames.

Python

%matplotlib inline

x = np.linspace(0, 2*np.pi, 10)
df = pd.DataFrame(dict(sin=np.sin(x), cos=np.cos(x)), index=x)
df

Python

#Grafikausgabe
df.plot()