Python-Kurs für datenwissenschaftlich-nützliche Techniken

python ・ Mit Set wird nach doppelten Listen gesucht.

-Koordinaten können durch Quotient (Zeile) und Rest (Spalte) ausgedrückt werden.

-Überprüfen Sie die Funktionsreferenz mit Umschalt + Tab.

-_ Enthält den zuletzt ausgeführten Rückgabewert.

numpy ・ Np.uint8 (ohne Vorzeichen, Ganzzahl, 8 Bit)  0~255 Wird für Bilddaten usw. verwendet.

・ Np.float32 Wird beim Speichern von Daten verwendet, die für maschinelles Lernen verwendet werden.

・ Np.float64 Wird beim Lernen eines Modells verwendet.

・ Np.expand_dims Erhöhen Sie die Abmessungen des ndarray.

・ Np.squeeze Reduzieren Sie die Abmessungen des Ndarrays.

・ Flattern Machen Sie das Array eindimensional.

・ Np.arange (Start, Stopp, Schritt) Mit Reichweite.

・ Np.linspace (Start, Stopp, Nummer) Erstellen Sie eine Liste von Start-Stopp-Nummern, die durch Nummernnummern getrennt sind.

・ Np.logspace (Start, Stopp, Nummer, Basis = 10) Berechnen Sie die Potenz der Basis, indem Sie die Zahl von Anfang bis Ende durch die Zahl num teilen.

・ Np.zeros (), np.ones (), np.eyes () Alle Elemente sind 0, alle Elemente sind 1 und alle diagonalen Elemente sind 1.

・ Np.random.rand () Geben Sie zufällig eine Zahl von 0 bis 1 an.

・ Np.random.seed () Zufallszahlen generieren.

・ Np.random.randn () Generieren Sie Werte aus der Standardnormalverteilung (Mittelwert 0, Varianz 1).

・ Np.random.normal (Mittelwert, Standardabweichung) Generieren Sie Werte aus der Normalverteilung (Mittelwert, Standardabweichung).

・ Np.random.randint (niedrig, hoch) Generieren Sie zufällig Werte über niedrig und unter hoch. Weniger als niedrig, wenn auch nur niedrig.

・ Np.random.choice (Liste) Holen Sie sich einen zufälligen Wert aus der angegebenen Liste.

・ Argmax (), argmin () Holen Sie sich den Index des Maximalwerts und des Minimalwerts.

・ Unterschied zwischen Median und Durchschnitt Medianwert: Die Berechnung dauert einige Zeit, da eine Sortierung erforderlich ist. Stark gegen Ausreißer.

· Zeit Zeit () Messzeit.

・ 68-95-99.7 Regeln Wahrscheinlichkeit, dass Daten in der Standardabweichung ± 1,2,3 vom Mittelwert enthalten sind (Normalverteilung).

・ Np.clip (Array, min, max) Konvertieren Sie min oder weniger in min und max oder mehr in max.

・ Np.where (Bedingung, wahr, falsch) Wenn True für die Bedingung, konvertieren Sie sie in den angegebenen Wert in true, und wenn False, konvertieren Sie sie in den angegebenen Wert in false.

・ .Alle (). Beliebige () Beurteilen Sie, ob alle wahr sind oder ob einer für die Bedingung wahr ist.

・ Np.unique (Array, return_count = True) Gibt ein eindeutiges Element und jede Zählung zurück.

・ Np.bincount () Gibt eine Anzahl von 0,1,2,3 zurück ...

・ Np.concatenate () Array verketten.

・ Np.stack () Erstellen Sie eine neue Achse und verketten Sie. Achse = -1 wird oft verwendet.

・ Np.transpose (), .T Translokation.

・ Np.save (Pfad, Array), np.load (Pfad) Array speichern und laden.

・ Np.save (Pfad, Wörterbuch) .np.load (Pfad, allow_pickle = True) [()] Speichern und laden Sie das Wörterbuch.

pandas ・ Pd.set_options ("display.max_columns (rows)", num) Geben Sie die Anzahl der anzuzeigenden Zeilen und Spalten an.

・ .Describe () Zeigt numerische Statistiken an.

· .Säulen () Zeigen Sie eine Liste der Spalten an.

・ Ersetzen = Wahr Der ursprüngliche Datenrahmen wurde aktualisiert.

・ Reset_index (drop = True) Ordnen Sie den Index erneut zu. Überschreiben Sie den ursprünglichen Index.

・ Set_index (Spaltenname) Legen Sie die angegebene Spalte als Index fest.

・ Dropna (Teilmenge = [Spaltenname]) Löschte die Zeile, in der die angegebene Spalte nan ist.

・ Df [np.isnan (df ["Spalten"])], df [df ["Spalten"]. Isna ()] Ruft die Zeile ab, in der die angegebene Spalte nan ist.

· Df.groupby ("Spalten"). Statistik Zeigen Sie die nach der angegebenen Spalte gruppierten Statistiken an.

・ Pd.concat (df1, df2, Achse) Kombinieren Sie Datenrahmen in Richtung der angegebenen Achse.

・ Df1.merge (df2, wie, auf, right_on, left_on, Suffixe) Kombinieren Sie Datenrahmen mit der angegebenen Kombinationsmethode und dem angegebenen Schlüssel.

・ Einzigartig () Erhalten Sie nur eindeutige Werte.

・ Nunique () Ermitteln Sie die Anzahl der eindeutigen Werte.

・ Value_counts () Ermitteln Sie, wie viele Datensätze jeder Wert enthält.

・ Sort_values (by) Daten nach angegebener Spalte sortieren.

・ Übernehmen (Funktion) Wenden Sie die Funktion auf jede Zeile an.

・ Iterrows () Generieren Sie eine Iteration, die Index und Serien zurückgibt.

matplotlib ・% Matplotlib inline Kann auf Jupiter gezeichnet werden.

・ Plt.plot (x, y) Zeichnen Sie ein Diagramm auf der x- und der y-Achse.

・ Plt.x (y) label () Etikett anzeigen.

・ Plt.title () Titel anzeigen.

・ Plt.legend () Präzedenzfälle anzeigen.

・ Plt.x (y) tickt Zeigen Sie die angegebenen Häkchen an.

-Plt.subplot (Zeile, Spalte, Index) Zeichnen Sie mehrere Diagramme, indem Sie Zeilen, Spalten und Indizes angeben.

・ Plt.figure ()  fig=plt.figure() ax1 = fig.add_subplot (Zeile, Spalte, Index)

・ Plt.subplots (Zeile, Spalte) Abb. Achsen = Plt. Teilplots (Zeile, Spalte)  axes[0].plot(x,y)

・ Plt.scatter (), plt.hist (), plt.bar (), plt.boxplot () Zeichnen Sie Streudiagramme, Histogramme, Balkendiagramme und Box-Whisker.  plt["columns"].value_count().plot(kind="bar")

seaborn ・ Sns.distplot (Array, norm_hist, kde) Zeigen Sie das Histogramm an. Die Wahrscheinlichkeitsdichtefunktion wird standardmäßig in KDE angezeigt.

· Schätzung der Kerneldichte (KDE) Ein Verfahren zum Schätzen der Wahrscheinlichkeitsdichtefunktion.

・ Sns.jointplot () Zeigen Sie ein Streudiagramm von zwei Variablen an. Jedes Histogramm wird ebenfalls angezeigt. Zeigen Sie die Regressionslinie mit kind = "reg" an.

・ Sns.pairplot () Zeigen Sie ein Streudiagramm aller numerischen Elemente an. Farbcodierung nach Farbton.

・ Sns.barplot (x = kategoriale Variable, y = numerisches Element, Daten = df) Der Durchschnittswert von y von x wird als Balkendiagramm angezeigt. 95% -Konfidenzintervall anzeigen.

・ Sns.countplot (x) Zeigen Sie die Anzahl der angegebenen Variablen an.

・ Sns.boxplot (x, y) Zeigen Sie das Box-Whisker-Diagramm der angegebenen Variablen an.

・ Sns.violinplot (x, y) Zeigen Sie die Verteilungsdichte der angegebenen Variablen an.

・ Sns.swarmplot (x, y) Zeigen Sie die tatsächliche Verteilung der angegebenen Variablen an.

・ Corr () Zeigen Sie den Korrelationskoeffizienten an.

・ Sns.heatmap (df.corr (), annot = True, cmap = "coolwarm") Zeigen Sie die Wärmekarte der Korrelationstabelle an.

・ Sns.set (Kontext, Stil, Palette) Ändern Sie den Stil von Seaborn.

OpenCV ・ Cv2.imread () Lesen Sie die Bilddatei mit ndarray.

・ Plt.imshow () Zeigen Sie ndarray als Bild an. Wird in der BGR angezeigt.

・ Cv2.cvtColor (im, cv2.COLOR_BGR2RGB) Konvertieren Sie von BGR nach RGB.

・ Cv2.imwraight () Speichern Sie ndarray als Bild.

・ Binarisierung ① Geben Sie den Schwellenwert an und binarisieren Sie cv2.threshold (ndarray, Schwelle, 255, CV2.THRESH_BINARY) ② Binarisierung von Otsu cv2.threshold (ndarray, Schwelle, 255, CV2.THRESH_BINARY + CV2.THRESH_OTSH) Der Schwellenwert wird automatisch eingestellt. Wenden Sie die lineare Diskriminierungsanalyse (LDA) auf Bilder an.  ③Adaptive Thresholding cv2.adaptiveThreshold (ndarray, 255, cv2.ADAPTIE_THRESH_MEAN_C, CV2.THRESH_BINARY, Größe, Konstante) Der Schwellenwert wird verwendet, indem die Konstante vom Durchschnitt der durchschnittlichen Helligkeitswerte innerhalb des angegebenen Bereichs subtrahiert wird.

glob Holen Sie sich eine Liste der Dateipfade.

os&pathlib ・ Pfad Erstellen Sie ein Pfadobjekt. Wird als Iterator verwendet.

・ Os.path.split () In Kopf und Schwanz zerlegt.

・ Os.path.join () Verketten Sie den Ordnerpfad und den Dateinamen.

・ Os.path.exists () Überprüfen Sie, ob eine Datei oder ein Verzeichnis vorhanden ist.

・ Os.makedirs () Erstellen Sie einen Ordner.

tqdm ・ Tqdm (Iterator, total = len (df)) Fortschrittsbalken anzeigen.

nibabel ・ Nib.load () Holen Sie sich das Bild von Nifty.

・ Get_fdata () Holen Sie sich das ndarray des Bildes.

multiprocessing ・ Karte (func, iter) Gibt einen Iter mit func zurück, der auf iter angewendet wird.

・ Cpu_count () Überprüfen Sie die Anzahl der physischen Kerne der CPU, die verwendet werden können.

・ Pool.map (), Pool.imap () Wenden Sie die Kartenfunktion in der Parallelverarbeitung an. map () gibt eine Liste zurück und imap () gibt einen Iter zurück.

・ Pool.imap_unordered () Rückgabe, sobald die Bearbeitung abgeschlossen ist.

· Postleitzahl ()

・ Rollachse (Array, Achse, Start) Fügt die angegebene Achse an der durch start angegebenen Position ein.

Recommended Posts

Python-Kurs für datenwissenschaftlich-nützliche Techniken
Detaillierte Python-Techniken für die Datenformung (1)
Detaillierte Python-Techniken für die Datenformung (2)
Python für die Datenanalyse Kapitel 4
Techniken zum Sortieren in Python
Python für die Datenanalyse Kapitel 2
Python für die Datenanalyse Kapitel 3
Vorverarbeitungsvorlage für die Datenanalyse (Python)
Datenformatierung für Python / Farbdiagramme
Python-Visualisierungstool für die Datenanalyse
Zusammenfassung nützlicher Techniken von Scrapy in Python
Verwendung von "deque" für Python-Daten
2016-10-30 sonst für Python3> für:
Python [für mich]
Datenanalyse Python
[Python] Daten lesen
[CovsirPhy] COVID-19 Python-Paket für die Datenanalyse: Laden von Daten
Zeigen Sie FX (Forex) Daten Candle Stick in Python an
Lassen Sie uns Covid-19 (Corona) -Daten mit Python analysieren [Für Anfänger]
Über Python für Schleife
Python-Grundkurs (12 Funktionen)
Python-Grundkurs (7 Wörterbuch)
Datenanalyse zur Verbesserung von POG 1 ~ Web Scraping mit Python ~
Python-Grundkurs (2 Python-Installation)
Erstellen Sie Ihre eigenen Big Data in Python zur Validierung
Dimensionsreduktion hochdimensionaler Daten und zweidimensionales Plotverfahren
Python-Grundlagen ② für Anweisung
[Für Anfänger] So studieren Sie den Python3-Datenanalysetest
Python-Datenvisualisierungsbibliotheken
Liste der Python-Bibliotheken für Datenwissenschaftler und Dateningenieure
Python-Grundkurs (9 Iterationen)
Datenanalyse Übersicht Python
Python-Grundkurs (11 Ausnahmen)
Über Python für ~ (Bereich)
Techniken zum Testen von Code?
Python-Grundkurs (6 Sätze)
Datenbereinigung mit Python
Python Lehrbuch für Anfänger
Python-Grundkurs (Einführung)
Refactoring-Tools, die mit Python verwendet werden können
Toolchain für Python für Android
[CovsirPhy] COVID-19 Python-Paket für die Datenanalyse: SIR-F-Modell
Python-Übung für Anfänger # 1 [Grundlegende Datentypen / If-Anweisungen]
[CovsirPhy] COVID-19 Python-Paket für die Datenanalyse: S-R-Trendanalyse
Python-Grundkurs (13 Klassen)
Python-Datenanalysevorlage
[CovsirPhy] COVID-19 Python-Paket für die Datenanalyse: SIR-Modell
[CovsirPhy] COVID-19 Python-Paket für die Datenanalyse: Parameterschätzung
[Python-Tutorial] Datenstruktur
[Python] Numpy Daten sortieren
Datenanalyse mit Python
OpenCV für Python-Anfänger
Python-Grundkurs (8 Zweige)
Installieren Sie Python (für Windows)
[Python] für Anweisungsfehler
Wartung der Python-Umgebung für Projekte
Python-Grundkurs (3 Ausführung von Python)
[CovsirPhy] COVID-19 Python-Paket für die Datenanalyse: Szenarioanalyse (Parametervergleich)
[In kürzester Zeit verstehen] Python-Grundlagen für die Datenanalyse
Welches sollte ich für die Datenanalyse studieren, R oder Python?