Vous devenez ingénieur en 100 jours - Jour 35 - Python - Ce que vous pouvez faire avec Python

Ce que vous pouvez faire avec Python aujourd'hui.

Cliquez ici pour la dernière fois [Vous deviendrez ingénieur dans 100 jours - Jour 34 - Python - Exercice Python 3] (https://qiita.com/otupy/items/400f89fd2755bc7e47f0)

Après cela, comment peut-il être utilisé pour le travail ou la recherche?

[] (https://youtu.be/c-yVo9l_Qvw)

Maintenant Comment étaient les bases de la programmation?

Si vous parcourez la grammaire et faites quelques exercices Je pense que tu peux le comprendre tel quel

C'est encore à ce stade Ce que vous pouvez faire avec la programmation

À quoi cela sert-il ... Je pense qu'il y a beaucoup de gens qui n'ont pas d'image.

Donc, tout en regardant le code réellement utilisé au travail À quoi ressemble la programmation Revivez-le et que faire après cela Je voudrais approfondir cela.

Lire le fichier

with open(Chemin du fichier)comme nom de variable:
En traitement

#Affichez le contenu des fichiers placés dans la même hiérarchie.
with open('sample.py') as _r:
    print(_r.read())

def hello(aa): print(aa)

Avec variable name.read () lors de la lecture Lit tout le contenu du fichier. Dans l'exemple ci-dessus, tout le code du fichier est lu et imprimé.

Lire le fichier CSV

La partie lecture du fichier est la même. CSV est un fichier dans un format séparé par , Vous pouvez lire en séparant par ,.

Convertir en type de liste séparé par une virgule avec chaîne de caractères.split (',')

#Préparez une variable pour stocker le résultat
res = []
#Lire le fichier
with open('sample.csv') as _r:
    for row in _r:
        #Supprimez les sauts de ligne et séparez-les par des virgules pour créer un tableau
        rows = row.replace('\n','').split(',')
        #Ajouter à la variable pour le résultat
        res.append(rows)

print(res)

[['aaa', 'bbb', 'ccc'], ['ddd', 'eee', 'fff'], ['hhh', 'iii', 'jjj'], ['kkk', 'lll', 'mmm']]

for row in res:
    #Afficher délimité par des tabulations
    print('\t'.join(row))

aaa bbb ccc ddd eee fff hhh iii jjj kkk lll mmm

Grattage

Le grattage est une technologie permettant d'accéder à des sites Web et d'acquérir des informations. Parce que le langage Python a une bibliothèque pour le scraping Des informations peuvent être obtenues relativement facilement sur le site Web.

requests.get (URL du site) Accédez au site Web et obtenez des informations.

import requests

#Accédez au site Web et récupérez les données
html = requests.get('http://yahoo.co.jp')

#Afficher les 800 premiers caractères des données acquises
print(html.content.decode('utf-8')[0:800])

<! DOCTYPE HTML PUBLIC "- // W3C // DTD HTML 4.01 Transitional // EN" "http://www.w3.org/TR/html4/loose.dtd"> ・ ・ ・

Utilisation de bibliothèques d'apprentissage automatique

** Visualisation de données **

Dataframe.plot () Visualisez les données avec (la valeur par défaut est un graphique en ligne brisée)

import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
#Créer un bloc de données
df = pd.DataFrame([[3,4],[4,5],[6,9],[2,8]],columns=['a','b'])
#Dessiner un bloc de données
df.plot()

plt.scatter (trame de données, trame de données) Affichez un diagramme de dispersion en utilisant deux colonnes de blocs de données.

df = pd.DataFrame([[3,4],[4,5],[6,9],[2,8]],columns=['1','2'])
#Dessinez un diagramme de dispersion
plt.scatter(df['1'],df['2'])

scikit learn

scikit learn est une bibliothèque pour l'apprentissage automatique avec un groupe de programmes pour créer divers modèles. Des exemples de données d'apprentissage sont disponibles.

datasets.load_iris() Lecture des données d'entraînement (iris: exemples de données d'Ayame)

import pandas as pd
#Importer les bibliothèques requises
from sklearn import datasets, model_selection, svm, metrics

#Lire des données d'iris célèbres
iris = datasets.load_iris()
#Convertissez les données d'iris en trame de données.
iris_data = pd.DataFrame(data=iris.data, columns=iris.feature_names)
#Afficher seulement 5 lignes
iris_data.head()

#Lecture des données d'étiquette
iris_label = pd.Series(data=iris.target)
#Afficher seulement 5 lignes
iris_label.head()

0 0 1 0 2 0 3 0 4 0 dtype: int64

train_test_split (données d'entraînement, étiquette correcte) Divisez les données d'entraînement en entraînement et test.

#Divisez les données d'iris en données d'entraînement, données de test, étiquette d'entraînement et étiquette de test.
train_data, test_data, train_label, test_label = model_selection.train_test_split(iris_data, iris_label)
#Données d'entraînement
train_data.head()

#Label de formation
train_label.head()

70 1 125 2 77 1 25 0 51 1 dtype: int64

#Nombre de données d'entraînement et de données de test
print(len(train_data), '\t',  len(test_data))

112 38

Nom de la variable = Nom de la variable du modèle d'entraînement. Classe () `Variable du modèle de formation name.fit (données de formation, étiquette de formation) Apprenez avec les données d'entraînement.

#Définition de l'apprenant SVM
clf = svm.SVC()

#Apprendre avec les données d'entraînement
clf.fit(train_data, train_label)

#Prédite par les données de test
pre = clf.predict(test_data)

print(type(pre))
print(pre)

<class 'numpy.ndarray'> [0 0 1 1 0 2 1 0 2 1 2 0 2 2 0 1 0 0 2 1 0 0 0 2 0 2 2 2 1 0 2 0 1 2 2 1 0 1]

ʻAccuracy_score (étiquette de test, valeur prédite) ` Calculez le taux de réponse correct de la valeur prédite

#Taux de réponse correct
ac_score = metrics.accuracy_score(test_label, pre)
print(ac_score)

0.947368421053

Puisqu'il existe environ 10 types d'échantillons de données uniquement Vous pouvez essayer différents modèles d'apprentissage automatique.

Autre

Je n'écrirai pas le code pour ce que je peux faire d'autre, mais je vais vous donner un exemple.

** Automatisation du travail de routine ** Envoi et réception d'e-mails, création d'une liste Collection de messages et de messages SNS Création d'Excel, de documents Word, etc. (création de rapports) Extraction de texte PDF Opération GUI

** Fonctionnement de la base de données ** Traitement des données, enregistrement, ajout, suppression Traitement de masse des données

Traitement d'image Collection d'images Traitement d'image à l'aide d'opencv, etc. Extraction du visage Détection d'objets

** Analyses statistiques ** Calcul des statistiques de base Calcul et visualisation de la distribution analyse de régression Estimation de section Test d'hypothèse

** Développement d'applications Web ** Construction de sites Web à l'aide de frameworks tels que Flask et Django

** Développement de jeu ** Développement de jeux à l'aide de frameworks tels que PyGame et Kivy

** Traitement du langage naturel ** Exploration de texte Analyse morphologique Dépendance n-gram woed2vec

** Développement IA ** Apprentissage automatique DeepLearning Renforcer l'apprentissage GAN

Résumé

Maintenant que vous avez tout appris sur la programmation. J'en suis venu à la grammaire, donc je devrais pouvoir l'écrire.

À partir de là, créons le programme que vous souhaitez créer.

J'ai dressé une liste de codes fréquemment utilisés.

Je publierai un lien ici, alors veuillez vous y référer https://note.com/otupy/n/n1bedb9f36e54

65 jours jusqu'à ce que vous deveniez ingénieur

Informations sur l'auteur

HP d'Otsu py: http://www.otupy.net/

Youtube： https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter： https://twitter.com/otupython