Sie werden in 100 Tagen Ingenieur - Tag 35 - Python - Was Sie mit Python tun können

Was Sie heute mit Python machen können.

Klicken Sie hier zum letzten Mal [Sie werden in 100 Tagen Ingenieur - Tag 34 - Python - Python-Übung 3] (https://qiita.com/otupy/items/400f89fd2755bc7e47f0)

Wie kann es danach für Arbeit oder Forschung verwendet werden?

[] (https://youtu.be/c-yVo9l_Qvw)

Jetzt Wie waren die Grundlagen der Programmierung?

Wenn Sie die Grammatik durchgehen und einige Übungen machen Ich denke, Sie können es so verstehen, wie es ist

Es ist noch in diesem Stadium Was Sie mit Programmierung machen können

Wofür ist es nützlich für ... Ich denke, dass es viele Menschen gibt, die kein Bild haben.

Also, während Sie sich den Code ansehen, der tatsächlich bei der Arbeit verwendet wird Wie ist die Programmierung? Erleben Sie es noch einmal und was Sie danach tun müssen Darauf möchte ich noch näher eingehen.

Datei lesen

with open(Dateipfad)als Variablenname:
wird bearbeitet

#Zeigen Sie den Inhalt von Dateien an, die in derselben Hierarchie platziert sind.
with open('sample.py') as _r:
    print(_r.read())

def hello(aa): print(aa)

Mit variable name.read () beim Lesen Liest den gesamten Inhalt der Datei. Im obigen Beispiel wird der gesamte Code der Datei gelesen und gedruckt.

CSV-Datei lesen

Der lesende Teil der Datei ist der gleiche. CSV ist eine Datei in einem durch , getrennten Format Sie können lesen, indem Sie mit , trennen.

In einen durch Komma getrennten Listentyp mit "Zeichenfolge.split (',')" konvertieren

#Bereiten Sie eine Variable vor, um das Ergebnis zu speichern
res = []
#Datei lesen
with open('sample.csv') as _r:
    for row in _r:
        #Entfernen Sie Zeilenumbrüche und trennen Sie sie durch Kommas, um ein Array zu erstellen
        rows = row.replace('\n','').split(',')
        #Zur Variablen für Ergebnis hinzufügen
        res.append(rows)

print(res)

[['aaa', 'bbb', 'ccc'], ['ddd', 'eee', 'fff'], ['hhh', 'iii', 'jjj'], ['kkk', 'lll', 'mmm']]

for row in res:
    #Tabulatorgetrennte Anzeige
    print('\t'.join(row))

aaa bbb ccc ddd eee fff hhh iii jjj kkk lll mmm

Schaben

Scraping ist eine Technologie für den Zugriff auf Websites und die Erfassung von Informationen. Weil die Python-Sprache eine Bibliothek zum Scraping hat Informationen können relativ einfach von der Website abgerufen werden.

request.get (Site-URL) Greifen Sie auf die Website zu und erhalten Sie Informationen.

import requests

#Greifen Sie auf die Website zu und erhalten Sie die Daten
html = requests.get('http://yahoo.co.jp')

#Zeigen Sie die ersten 800 Zeichen der erfassten Daten an
print(html.content.decode('utf-8')[0:800])

<! DOCTYPE HTML PUBLIC "- // W3C // DTD HTML 4.01 Transitional // DE" "http://www.w3.org/TR/html4/loose.dtd"> ・ ・ ・

Verwendung von Bibliotheken für maschinelles Lernen

** Datenvisualisierung **

Dataframe.plot () Visualisieren Sie die Daten mit (Standard ist ein gestricheltes Liniendiagramm)

import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
#Erstellen eines Datenrahmens
df = pd.DataFrame([[3,4],[4,5],[6,9],[2,8]],columns=['a','b'])
#Datenrahmen zeichnen
df.plot()

plt.scatter (Datenrahmen, Datenrahmen) Zeigen Sie ein Streudiagramm mit zwei Spalten von Datenrahmen an.

df = pd.DataFrame([[3,4],[4,5],[6,9],[2,8]],columns=['1','2'])
#Zeichnen Sie ein Streudiagramm
plt.scatter(df['1'],df['2'])

scikit learn

scikit learn ist eine Bibliothek für maschinelles Lernen mit einer Gruppe von Programmen zum Erstellen verschiedener Modelle. Beispieldaten zum Lernen sind verfügbar.

datasets.load_iris() Trainingsdaten lesen (Iris: Ayames Beispieldaten)

import pandas as pd
#Importieren Sie die erforderlichen Bibliotheken
from sklearn import datasets, model_selection, svm, metrics

#Lesen von Daten aus berühmten Schwertlilien
iris = datasets.load_iris()
#Konvertieren Sie Irisdaten in einen Datenrahmen.
iris_data = pd.DataFrame(data=iris.data, columns=iris.feature_names)
#Nur 5 Zeilen anzeigen
iris_data.head()

#Etikettendaten lesen
iris_label = pd.Series(data=iris.target)
#Nur 5 Zeilen anzeigen
iris_label.head()

0 0 1 0 2 0 3 0 4 0 dtype: int64

train_test_split (Trainingsdaten, korrektes Label) Teilen Sie die Trainingsdaten in Training und Tests ein.

#Teilen Sie die Irisdaten in Trainingsdaten, Testdaten, Trainingsetikett und Testetikett.
train_data, test_data, train_label, test_label = model_selection.train_test_split(iris_data, iris_label)
#Trainingsdaten
train_data.head()

#Trainingsetikett
train_label.head()

70 1 125 2 77 1 25 0 51 1 dtype: int64

#Anzahl der Trainingsdaten und Testdaten
print(len(train_data), '\t',  len(test_data))

112 38

Variablenname = Variablenname des Trainingsmodells. Class () Trainingsmodellvariable name.fit (Trainingsdaten, Trainingsetikett) Lernen Sie mit Trainingsdaten.

#Definition des SVM-Lernenden
clf = svm.SVC()

#Lernen Sie mit Trainingsdaten
clf.fit(train_data, train_label)

#Vorausgesagt durch Testdaten
pre = clf.predict(test_data)

print(type(pre))
print(pre)

<class 'numpy.ndarray'> [0 0 1 1 0 2 1 0 2 1 2 0 2 2 0 1 0 0 2 1 0 0 0 2 0 2 2 2 1 0 2 0 1 2 2 1 0 1]

Genauigkeitsscore (Testetikett, vorhergesagter Wert) Berechnen Sie die korrekte Antwortrate des vorhergesagten Werts

#Richtige Antwortrate
ac_score = metrics.accuracy_score(test_label, pre)
print(ac_score)

0.947368421053

Da gibt es allein ca. 10 Arten von Probendaten Sie können verschiedene Modelle für maschinelles Lernen ausprobieren.

Andere

Ich werde den Code nicht für das schreiben, was ich sonst noch tun kann, aber ich werde Ihnen ein Beispiel geben.

** Automatisierung der Routinearbeit ** Senden und Empfangen von E-Mails, Erstellen einer Liste Sammlung von SNS-Posts und Posts Erstellung von Excel, Word-Dokumenten usw. (Berichterstellung) PDF-Textextraktion GUI-Betrieb

** Datenbankbetrieb ** Datenverarbeitung, Registrierung, Hinzufügung, Löschung Massendatenverarbeitung

Bildverarbeitung Bildersammlung Bildverarbeitung mit opencv etc. Gesichtsextraktion Objekterkennung

** Statistische Analyse ** Berechnung der Basisstatistik Verteilungsberechnung und Visualisierung Regressionsanalyse Abschnittsschätzung Hypothesentest

** Entwicklung von Webanwendungen ** Website-Erstellung mit Frameworks wie Flask und Django

** Spieleentwicklung ** Spieleentwicklung mit Frameworks wie PyGame und Kivy

** Verarbeitung natürlicher Sprache ** Text Mining Morphologische Analyse Abhängigkeit n-gram woed2vec

** KI-Entwicklung ** Maschinelles Lernen DeepLearning Lernen stärken GAN

Zusammenfassung

Jetzt haben Sie alles über das Programmieren gelernt. Ich bin zur Grammatik gekommen, also sollte ich sie schreiben können.

Von hier aus erstellen wir das Programm, das Sie erstellen möchten.

Ich habe eine Liste häufig verwendeter Codes zusammengestellt.

Ich werde hier einen Link posten, bitte beziehen Sie sich darauf. https://note.com/otupy/n/n1bedb9f36e54

65 Tage, bis Sie Ingenieur werden

Informationen zum Autor

HP von Otsu py: http://www.otupy.net/

Youtube： https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter： https://twitter.com/otupython