Sie werden in 100 Tagen Ingenieur - Tag 35 - Python - Was Sie mit Python tun können

Was Sie heute mit Python machen können.

Klicken Sie hier zum letzten Mal [Sie werden in 100 Tagen Ingenieur - Tag 34 - Python - Python-Übung 3] (https://qiita.com/otupy/items/400f89fd2755bc7e47f0)

Wie kann es danach für Arbeit oder Forschung verwendet werden?

[Es tut mir leid, wenn es nicht angezeigt wird] (https://youtu.be/c-yVo9l_Qvw)

Jetzt Wie waren die Grundlagen der Programmierung?

Wenn Sie die Grammatik durchgehen und einige Übungen machen Ich denke, Sie können es so verstehen, wie es ist

Es ist noch in diesem Stadium Was Sie mit Programmierung machen können

Wofür ist es nützlich für ... Ich denke, dass es viele Menschen gibt, die kein Bild haben.

Also, während Sie sich den Code ansehen, der tatsächlich bei der Arbeit verwendet wird Wie ist die Programmierung? Erleben Sie es noch einmal und was Sie danach tun müssen Darauf möchte ich noch näher eingehen.

Datei lesen

with open(Dateipfad)als Variablenname:
wird bearbeitet
#Zeigen Sie den Inhalt von Dateien an, die in derselben Hierarchie platziert sind.
with open('sample.py') as _r:
    print(_r.read())

def hello(aa): print(aa)

Mit variable name.read () beim Lesen Liest den gesamten Inhalt der Datei. Im obigen Beispiel wird der gesamte Code der Datei gelesen und gedruckt.

CSV-Datei lesen

Der lesende Teil der Datei ist der gleiche. CSV ist eine Datei in einem durch , getrennten Format Sie können lesen, indem Sie mit , trennen.

In einen durch Komma getrennten Listentyp mit "Zeichenfolge.split (',')" konvertieren

#Bereiten Sie eine Variable vor, um das Ergebnis zu speichern
res = []
#Datei lesen
with open('sample.csv') as _r:
    for row in _r:
        #Entfernen Sie Zeilenumbrüche und trennen Sie sie durch Kommas, um ein Array zu erstellen
        rows = row.replace('\n','').split(',')
        #Zur Variablen für Ergebnis hinzufügen
        res.append(rows)

print(res)

[['aaa', 'bbb', 'ccc'], ['ddd', 'eee', 'fff'], ['hhh', 'iii', 'jjj'], ['kkk', 'lll', 'mmm']]

for row in res:
    #Tabulatorgetrennte Anzeige
    print('\t'.join(row))

aaa bbb ccc ddd eee fff hhh iii jjj kkk lll mmm

Schaben

Scraping ist eine Technologie für den Zugriff auf Websites und die Erfassung von Informationen. Weil die Python-Sprache eine Bibliothek zum Scraping hat Informationen können relativ einfach von der Website abgerufen werden.

request.get (Site-URL) Greifen Sie auf die Website zu und erhalten Sie Informationen.

import requests

#Greifen Sie auf die Website zu und erhalten Sie die Daten
html = requests.get('http://yahoo.co.jp')

#Zeigen Sie die ersten 800 Zeichen der erfassten Daten an
print(html.content.decode('utf-8')[0:800])

<! DOCTYPE HTML PUBLIC "- // W3C // DTD HTML 4.01 Transitional // DE" "http://www.w3.org/TR/html4/loose.dtd"> ・ ・ ・

Verwendung von Bibliotheken für maschinelles Lernen

** Datenvisualisierung **

Dataframe.plot () Visualisieren Sie die Daten mit (Standard ist ein gestricheltes Liniendiagramm)

import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
#Erstellen eines Datenrahmens
df = pd.DataFrame([[3,4],[4,5],[6,9],[2,8]],columns=['a','b'])
#Datenrahmen zeichnen
df.plot()

picture_pc_b463ab3888be9e6bd9aeab91092a3f38.png

plt.scatter (Datenrahmen, Datenrahmen) Zeigen Sie ein Streudiagramm mit zwei Spalten von Datenrahmen an.

df = pd.DataFrame([[3,4],[4,5],[6,9],[2,8]],columns=['1','2'])
#Zeichnen Sie ein Streudiagramm
plt.scatter(df['1'],df['2'])

picture_pc_a8c38af18c86a5f3bbd40136ad410ebf.png

scikit learn

scikit learn ist eine Bibliothek für maschinelles Lernen mit einer Gruppe von Programmen zum Erstellen verschiedener Modelle. Beispieldaten zum Lernen sind verfügbar.

datasets.load_iris() Trainingsdaten lesen (Iris: Ayames Beispieldaten)

import pandas as pd
#Importieren Sie die erforderlichen Bibliotheken
from sklearn import datasets, model_selection, svm, metrics

#Lesen von Daten aus berühmten Schwertlilien
iris = datasets.load_iris()
#Konvertieren Sie Irisdaten in einen Datenrahmen.
iris_data = pd.DataFrame(data=iris.data, columns=iris.feature_names)
#Nur 5 Zeilen anzeigen
iris_data.head()

picture_pc_ced98ddad2006872848bd89899ea6d30.png

#Etikettendaten lesen
iris_label = pd.Series(data=iris.target)
#Nur 5 Zeilen anzeigen
iris_label.head()

0 0 1 0 2 0 3 0 4 0 dtype: int64

train_test_split (Trainingsdaten, korrektes Label) Teilen Sie die Trainingsdaten in Training und Tests ein.

#Teilen Sie die Irisdaten in Trainingsdaten, Testdaten, Trainingsetikett und Testetikett.
train_data, test_data, train_label, test_label = model_selection.train_test_split(iris_data, iris_label)
#Trainingsdaten
train_data.head()

picture_pc_a25a69aed0a1eb7c8df14251d9dd99ba.png

#Trainingsetikett
train_label.head()

70 1 125 2 77 1 25 0 51 1 dtype: int64

#Anzahl der Trainingsdaten und Testdaten
print(len(train_data), '\t',  len(test_data))

112 38

Variablenname = Variablenname des Trainingsmodells. Class () Trainingsmodellvariable name.fit (Trainingsdaten, Trainingsetikett) Lernen Sie mit Trainingsdaten.

#Definition des SVM-Lernenden
clf = svm.SVC()

#Lernen Sie mit Trainingsdaten
clf.fit(train_data, train_label)

#Vorausgesagt durch Testdaten
pre = clf.predict(test_data)

print(type(pre))
print(pre)

<class 'numpy.ndarray'> [0 0 1 1 0 2 1 0 2 1 2 0 2 2 0 1 0 0 2 1 0 0 0 2 0 2 2 2 1 0 2 0 1 2 2 1 0 1]

Genauigkeitsscore (Testetikett, vorhergesagter Wert) Berechnen Sie die korrekte Antwortrate des vorhergesagten Werts

#Richtige Antwortrate
ac_score = metrics.accuracy_score(test_label, pre)
print(ac_score)

0.947368421053

Da gibt es allein ca. 10 Arten von Probendaten Sie können verschiedene Modelle für maschinelles Lernen ausprobieren.

Andere

Ich werde den Code nicht für das schreiben, was ich sonst noch tun kann, aber ich werde Ihnen ein Beispiel geben.

** Automatisierung der Routinearbeit ** Senden und Empfangen von E-Mails, Erstellen einer Liste Sammlung von SNS-Posts und Posts Erstellung von Excel, Word-Dokumenten usw. (Berichterstellung) PDF-Textextraktion GUI-Betrieb

** Datenbankbetrieb ** Datenverarbeitung, Registrierung, Hinzufügung, Löschung Massendatenverarbeitung

Bildverarbeitung Bildersammlung Bildverarbeitung mit opencv etc. Gesichtsextraktion Objekterkennung

** Statistische Analyse ** Berechnung der Basisstatistik Verteilungsberechnung und Visualisierung Regressionsanalyse Abschnittsschätzung Hypothesentest

** Entwicklung von Webanwendungen ** Website-Erstellung mit Frameworks wie Flask und Django

** Spieleentwicklung ** Spieleentwicklung mit Frameworks wie PyGame und Kivy

** Verarbeitung natürlicher Sprache ** Text Mining Morphologische Analyse Abhängigkeit n-gram woed2vec

** KI-Entwicklung ** Maschinelles Lernen DeepLearning Lernen stärken GAN

Zusammenfassung

Jetzt haben Sie alles über das Programmieren gelernt. Ich bin zur Grammatik gekommen, also sollte ich sie schreiben können.

Von hier aus erstellen wir das Programm, das Sie erstellen möchten.

Ich habe eine Liste häufig verwendeter Codes zusammengestellt.

Ich werde hier einen Link posten, bitte beziehen Sie sich darauf. https://note.com/otupy/n/n1bedb9f36e54

65 Tage, bis Sie Ingenieur werden

Informationen zum Autor

HP von Otsu py: http://www.otupy.net/

Youtube: https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter: https://twitter.com/otupython

Recommended Posts

Sie werden in 100 Tagen Ingenieur - Tag 35 - Python - Was Sie mit Python tun können
Sie werden in 100 Tagen Ingenieur - 27. Tag - Python - Python-Übung 1
Sie werden in 100 Tagen Ingenieur - Tag 34 - Python - Python-Übung 3
Sie werden in 100 Tagen Ingenieur - 31. Tag - Python - Python-Übung 2
Sie werden in 100 Tagen Ingenieur. ――Tag 24 ―― Python ―― Grundlagen der Python-Sprache 1
Sie werden in 100 Tagen Ingenieur. ――Tag 30 ―― Python ―― Grundlagen der Python-Sprache 6
Sie werden in 100 Tagen Ingenieur. ――Tag 25 ―― Python ―― Grundlagen der Python-Sprache 2
Sie werden in 100 Tagen Ingenieur - Tag 63 - Programmierung - Wahrscheinlichkeit 1
Sie werden in 100 Tagen Ingenieur. ――Tag 65 ――Programmieren ――Über Wahrscheinlichkeit 3
Sie werden in 100 Tagen Ingenieur. ――Tag 64 ――Programmieren ――Über Wahrscheinlichkeit 2
Sie werden in 100 Tagen Ingenieur - 29. Tag - Python - Grundlagen der Python-Sprache 5
Sie werden in 100 Tagen Ingenieur - 26. Tag - Python - Grundlagen der Python-Sprache 3
Sie werden in 100 Tagen Ingenieur - Tag 32 - Python - Grundlagen der Python-Sprache 7
Sie werden in 100 Tagen Ingenieur - 28. Tag - Python - Grundlagen der Python-Sprache 4
Sie werden in 100 Tagen Ingenieur - Tag 86 - Datenbank - Über Hadoop
In 100 Tagen sind Sie Ingenieur. ――Tag 71 ――Programmieren ――Über das Schaben 2
In 100 Tagen sind Sie Ingenieur. ――Tag 61 ――Programmieren ――Über Erkundung
In 100 Tagen sind Sie Ingenieur. ――Tag 74 ――Programmieren ――Über das Schaben 5
In 100 Tagen sind Sie Ingenieur. ――Tag 73 ――Programmieren ――Über das Schaben 4
In 100 Tagen sind Sie Ingenieur. ――Tag 75 ――Programmieren ――Über das Schaben 6
In 100 Tagen sind Sie Ingenieur. ――Tag 68 ――Programmieren ――Über TF-IDF
In 100 Tagen sind Sie Ingenieur. ――Tag 70 ――Programmieren ――Über das Schaben
In 100 Tagen sind Sie Ingenieur. ――Tag 81 ――Programmieren ――Über maschinelles Lernen 6
In 100 Tagen sind Sie Ingenieur. ――Tag 82 ――Programmieren ――Über maschinelles Lernen 7
In 100 Tagen sind Sie Ingenieur. ――Tag 79 ――Programmieren ――Über maschinelles Lernen 4
In 100 Tagen sind Sie Ingenieur. ――Tag 76 ――Programmieren ――Über maschinelles Lernen
In 100 Tagen sind Sie Ingenieur. ――Tag 80 ――Programmieren ――Über maschinelles Lernen 5
In 100 Tagen sind Sie Ingenieur. ――Tag 78 ――Programmieren ――Über maschinelles Lernen 3
Sie werden in 100 Tagen Ingenieur. ――Tag 84 ――Programmieren ――Über maschinelles Lernen 9
In 100 Tagen sind Sie Ingenieur. ――Tag 83 ――Programmieren ――Über maschinelles Lernen 8
In 100 Tagen sind Sie Ingenieur. ――Tag 77 ――Programmieren ――Über maschinelles Lernen 2
In 100 Tagen sind Sie Ingenieur. ――Tag 85 ――Programmieren ――Über maschinelles Lernen 10
Python | Was Sie mit Python machen können
In 100 Tagen sind Sie Ingenieur. ――Tag 60 ――Programmieren ――Über Datenstruktur und Sortieralgorithmus
Was können Sie mit den Standardstatistiken der Python-Bibliothek tun?
Was tun, wenn Sie Python auf IntelliJ ausführen und mit einem Fehler beenden?
Was Sie mit API Vol.1 tun können
Überlegen Sie im Qiita-Artikel, was Sie mit Python tun können
Was Sie mit Programmierkenntnissen machen können
Sie werden in 100 Tagen Ingenieur. ――Tag 67 ――Programmieren ――Über morphologische Analyse
Was tun, wenn Sie mit Python keine E-Mail an Yahoo senden konnten?
Sie werden in 100 Tagen Ingenieur. ――Tag 66 ――Programmieren ――Über die Verarbeitung natürlicher Sprache
Was tun, wenn bei der Installation von Python mit pyenv eine Fehlermeldung angezeigt wird?
Um Japanisch mit Python in der Docker-Umgebung verwenden zu können
Was Sie mit Tensorflow 2.x tun können und was nicht
Überlegen Sie, wann Sie mit Python3 und Scala3 in 10 Jahren gute Arbeit leisten können.
Was tun, wenn bei der Installation von Python 2 mit pyenv ein OpenSSL-Fehler auftritt?
Was tun, wenn beim Importieren von matplotlib in Python (Mac) eine Fehlermeldung angezeigt wird?
Wenn Sie TinderBot in Python schreiben, kann sie das tun
[Python] Was machen Sie mit der Visualisierung von 4 oder mehr Variablen?
Was tun mit PYTHON Release?
Wird der Tag kommen, an dem Python einen Ausnahme-Ausdruck haben kann?
Was tun, wenn Sie pyaudio nicht mit pip #Python installieren können?
Was tun, wenn in Python minus Null angezeigt wird?
Was tun, wenn Sie die Rastersuche von sklearn in Python nicht verwenden können?
Was tun, wenn Sie sich mit FileNotFoundError in der Dateireferenz verlieren?
Was tun, wenn Sie sich über "Wertefehler: unbekannt lokal: UTF-8" in python manage.py syncdb ärgern?
So schreiben Sie, was zu tun ist, wenn die Anwendung zum ersten Mal in Qt for Python mit Designer angezeigt wird
Was tun, wenn Sie nicht mit pip in einer Babun-Umgebung installieren können?
Sie können es mit Python tun! Strukturanalyse zweidimensionaler kolloidaler Kristalle
Laden Sie das, was Sie angefordert haben, mit AWS Lambda Python in S3 hoch