[PYTHON] Eine Bibliothek für Datenwissenschaft "Ich möchte das tun" auf dem Jupyter Notebook

Dieser Beitrag

Ich habe eine Bibliothek für Python und verschiedene Datenwissenschaften.

――Ich möchte planen! ――Ich möchte den Zertifizierungsprozess durchführen! ――Ich möchte den Datenrahmen verarbeiten!

Ich werde vorstellen, welche Art von Bibliothek für grundlegende Dinge wie verfügbar ist.

** Anfrage: Bitte erhöhen Sie die Anzahl der Elemente in der Bearbeitungsanfrage oder teilen Sie uns Ihre Empfehlungen mit. ** ** **

Datenverarbeitung

pandas

Halten Sie Daten in einem "Datenrahmen" in Form eines relationalen Modells (bekannt für SQL). Hierfür stehen Funktionen wie Filtern, Zuordnen und Gruppieren zur Verfügung. Es hat auch eine Fülle von Schnittstellen zum Lesen und Schreiben von Daten.

Das Folgende ist ein Beispiel, das csv liest und nur diejenigen belässt, deren "Verkauf" -Element "1000" oder mehr ist.

import pandas as pd
data = pd.read_csv("data.csv")
over_1000 = data[ data['Der Umsatz'] > 1000 ]

Lineare algebraische Verarbeitung

numpy

import numpy as np
#Matrixgenerierung aus Liste
mat = np.matrix([[1, 2], [3, 4]])
#Vektorerzeugung aus Liste
vec = np.array([5, 6])
#Nimm das Matrixprodukt
mat.dot(vec)

Zufällige Generierung

numpy

numpy bietet eine breite Palette grundlegender Verarbeitungsmöglichkeiten, einschließlich der Verarbeitung linearer Algebra. Dazu gehört auch die zufällige Generierung nach der Verteilung.

Beispielsweise kann eine Folge von Zufallszahlen, die einer Normalverteilung folgt, wie folgt erzeugt werden:

import numpy as np

mu, sigma = 2, 0.5
v = np.random.normal(mu,sigma,10000)

Handlung

Eine Bibliothek, mit der Diagramme gezeichnet werden können

matplotlib

Es bietet die Möglichkeit, verschiedene Diagramme zu zeichnen. Da es sich um eine Bibliothek mit relativ geringen Schichten handelt, wird sie in Kombination mit Seegeborenen usw. verwendet.

import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-3, 3, 0.1)
y = np.sin(x)
plt.plot(x, y)

seaborn

Searborn ist eine Bibliothek, die Matplotlib umschließt und eine einfachere Möglichkeit bietet, saubere Grafiken zu zeichnen. Es bietet die Möglichkeit, beispielsweise Wärmekarten zu zeichnen.

import numpy as np
import matplotlib
#Wenn Sie Seaborn importieren, wird das Diagramm von Matplotlib zu einem wunderschönen Diagramm im Seaborn-Stil.
import seaborn as sns

x = np.random.normal(size=100)
sns.distplot(x);

Statistischer Test

scipy

scipy ist eine Bibliothek, die die für wissenschaftliche und technologische Berechnungen erforderliche Verarbeitung bereitstellt. Diese Bibliothek bietet tatsächlich eine ziemlich breite Palette an Funktionen, sodass Sie hier möglicherweise das meiste finden, was Sie tun möchten.

Der t-Test kann wie folgt durchgeführt werden.

import numpy as np
from scipy import stats

a = np.random.normal(0, 1, size=100)
b = np.random.normal(1, 1, size=10)
stats.ttest_ind(a, b)

Symboldifferenzierung

sympy

Eine Bibliothek, die automatisch algebraische Berechnungen durchführt. Mit anderen Worten, es ist eine Bibliothek, die alle Arten von Formeltransformationen auslösen kann. (Übrigens, wenn jemand weiß: Ist das ein System zum Umschreiben von Begriffen?)

Hier werden wir die symbolische Differenzierung als Anwendung erwähnen.

import sympy as sym

#Variablen vorbereiten
x = sym.symbols("x")
#Machen Sie eine polymorphe ...
f = x**3 + 2*x**2 - x + 5
#Unterscheiden
df_dx = sym.diff(f, x)

Erstellen eines statistischen Modells

statsmodels

Eine praktische Bibliothek zum Erstellen statistischer Modelle.

Das Folgende ist ein Beispiel für das Generieren eines verallgemeinerten linearen Modells und das Anzeigen seiner grundlegenden statistischen Informationen (AIC usw. werden angezeigt).

import numpy as np
import pandas as pd
import statsmodels.api as sm
import statsmodels.formula.api as smf

df = pd.read_csv("data.csv")

formula = 'Sales ~ AccessCount + MailSendedCount'
mod = smf.ols(formula=formula, data=df)
res = mod.fit()
res.summary()

scikit-learn

Memo

(Der Inhalt wird nacheinander erhöht.)

Recommended Posts

Eine Bibliothek für Datenwissenschaft "Ich möchte das tun" auf dem Jupyter Notebook
Ich möchte einen Blog mit Jupyter Notebook schreiben
Ich möchte ein Bild auf Jupyter Notebook mit OpenCV (Mac) anzeigen.
Ich möchte die Daten von League of Legends ③ erhalten
Ich möchte die Daten von League of Legends ② erhalten
Ich möchte pyenv + pipenv auch unter Windows machen
Ich möchte League of Legends-Daten erhalten ①
Ich möchte eine WEB-Anwendung mit den Daten von League of Legends ① erstellen
[Für die Datenwissenschaft] Oreore Jupyter Spickzettel [Jupyter Notebook / Lab]
Ich möchte sagen, dass es eine Datenvorverarbeitung gibt ~
Ich möchte Wake On LAN vollautomatisch ausführen
Ich möchte die Standortinformationen von GTFS Realtime auf Jupyter zeichnen! (Mit Ballon)
Empfehlung von Jupyter Notebook, einer Codierungsumgebung für Datenwissenschaftler
Ich möchte meine Abschlussarbeit über IPython Notebook ankündigen
Ich möchte eine virtuelle Umgebung mit Jupyter Notebook verwenden!
Ich möchte ○○ mit Pandas machen
Tag 65 Ich habe matplotlib installiert, um Grafiken auf meinem Jupyter-Notizbuch zu zeichnen.
Ich habe versucht, BigQuery-Daten mit Jupyter Lab mit GCP zu visualisieren
Wenn ich mit matplotlib eine große Anzahl von Diagrammen generiere, möchte ich das Diagramm nicht auf dem Bildschirm anzeigen (Jupyter-Umgebung).
[Für Anfänger] Ich möchte den Index eines Elements erhalten, das einen bestimmten bedingten Ausdruck erfüllt
Ermöglichen Sie Jupyter Notebook, Audiodaten zur Wiedergabe in HTML-Tabellen einzubetten
Ich möchte Linux auf dem Mac verwenden
Ich habe Airbnb-Daten für diejenigen analysiert, die in Amsterdam bleiben möchten
PC-GPU-Prüfung am Jupyter-Notebook
Jupyter Notebook Grundlagen der Verwendung
So verbergen Sie Warnungen, die sich nicht auf die Ausführung in Jupyter Notebook auswirken
Zur Zeit möchte ich mit FastAPI zeigen, wie man eine solche API in swagger verwendet
Ich möchte Android-Apps auf Android entwickeln
Ich habe eine Bibliothek für versicherungsmathematische Versicherungen erstellt
Bücher über Datenwissenschaft, die 2020 gelesen werden sollen
Für diejenigen, die Jupyter Notebook bereits nach 1 Sekunde verwenden möchten, da sie das Passwort nicht kennen
Ich möchte den Transferstatus der 2020 J League visualisieren. Was soll ich tun?
Die Geschichte der IPv6-Adresse, die ich auf ein Minimum beschränken möchte
Ich möchte Python in der Umgebung von pyenv + pipenv unter Windows 10 verwenden
Ich habe versucht, die Daten des Laptops durch Booten unter Ubuntu zu retten
Ich möchte Dunnetts Test in Python machen
[Jupyter Notebook / Lab] Drei Möglichkeiten zum Debuggen auf Jupyter [Pdb]
Datenanalyse zur Verbesserung von POG 2 ~ Analyse mit Jupiter-Notebook ~
Wie auch immer, ich möchte JSON-Daten einfach überprüfen
Ich möchte 100 Datenwissenschaften mit Colaboratory schlagen
[Pythonocc] Ich habe versucht, CAD auf einem Jupyter-Notebook zu verwenden
Ich möchte die Eingabe / Ausgabe von Dateien unter Linux protokollieren
Ich möchte das Erscheinungsbild von zabbix anpassen
Soll ich diese Kopie reparieren?
Was tun, wenn Ihr Jupyter-Notizbuch für Anfänger nach einem Passwort oder Token fragt?
Ich möchte benutzerdefinierte Datenattribute von HTML als Elemente mit Python Selenium erhalten
Ich möchte einen Screenshot der Site in Docker mit einer beliebigen Schriftart erstellen
[Erste Datenwissenschaft ⑥] Ich habe versucht, den Marktpreis von Restaurants in Tokio zu visualisieren
Ich habe versucht, es einfach zu machen, die Einstellung des authentifizierten Proxys auf Jupyter zu ändern
Ich möchte Bilder von Katzen von Instagram erkennen
Ich möchte einem Pandas-Datenrahmen eine group_id geben
Ich möchte das Ausführungsergebnis von strace erfassen
Einfache Statistiken, mit denen die Auswirkungen von Maßnahmen auf EG-Standorte und Codes analysiert werden können, die in Jupyter-Notebooks verwendet werden können
Ich möchte Android-Apps auf Android entwickeln (Debug)
Mac-Anwendung zum Öffnen von Jupyter Notebook (* .ipynb) durch Doppelklick
Ich möchte die Grundlagen von Bokeh vollständig verstehen
Ich möchte ein Paket von Php Redis installieren
Ich möchte OpenJDK 11 mit Ubuntu Linux 18.04 LTS / 18.10 verwenden