Aidemy 2020/10/11
introduction
Bonjour, c'est Yope! Je suis une école littéraire croustillante, mais j'étais intéressé par les possibilités de l'IA, alors je suis allé à l'école spécialisée en IA "Aidemy" pour étudier. Je voudrais partager les connaissances acquises ici avec vous, et je les ai résumées dans Qiita. Je suis très heureux que de nombreuses personnes aient lu l'article de synthèse précédent. Je vous remercie!
Ceci est le deuxième article sur la gestion des données. Ravi de vous rencontrer.
- Cet article est un résumé de ce que vous avez appris dans "Aidemy" "dans vos propres mots". Il peut contenir des erreurs et des malentendus. Notez s'il vous plaît.
Quoi apprendre cette fois
・ Introduction de formats pouvant être convertis avec des pandas
-Conversion de format de données à l'aide de pandas
・ Fichier CSV graphique
Analyse du format des données
Entrée / sortie de fichiers à l'aide de pandas
-HTML, JSON, CSV et Excel ont des utilisations différentes telles que les pages Web, les API Web et l'organisation des données. Vous pouvez convertir ces formats de données les uns aux autres en utilisant __pandas. __
Grattage HTML avec des pandas
-En gros, les éléments de balise tels que \
et \
en HTML sont grattés avec BeautifulSoup, mais les éléments __table \
__ sont grattés avec des pandas.
À propos de JSON
-JSON est une abréviation de "JavaScript Object Notation" et prend en charge l'échange de données dans différents langages de programmation.
-La structure du fichier JSON est fondamentalement la même que la structure des variables de type dictionnaire Python, et est exprimée sous la forme de {clé: valeur,}.
À propos du fichier CSV
-CSV signifie «valeurs séparées par des virgules», c'est-à-dire des «valeurs séparées par des virgules». En raison de sa structure de données légère et simple, il a longtemps été utilisé pour l'échange de données.
-Le fichier CSV a une structure qui n'est séparée que par une valeur, telle que "a, b, c,".
À propos d'Excel
・ Il va sans dire qu'Excel est un logiciel de calcul de table. Comme il est largement utilisé, la gamme d'analyse des données s'élargira lorsque le scraping Excel deviendra possible.
-Pour chaque nom d'Excel, d'abord, le fichier s'appelle __ "livre" __, le tableau dans le fichier est __ "feuille" __, dont la verticale est __ "colonne" __ Le côté est __ "ligne" __, et chaque élément est appelé __ "cellule" __.
Conversion de format de données
Lire le fichier avec DataFrame
-En fait, convertir le format de données mentionné ci-dessus. Tout d'abord, lire le fichier
__pd.read_Data type ("nom de fichier") __. Par exemple, HTML est «pd.read_html ()» et Excel est «pd.read_excel ()».
-Ecrire le fichier avec le type de données _pd.to ("nom de fichier") __. Aussi, ici c'est "pd", mais si vous voulez écrire l'objet de type DataFrame "df" dans un fichier HTML, ce sera "df.to_html ()".
Représenter graphiquement les données dans le fichier CSV
Procédure graphique
- "Lire le fichier CSV (read_csv)" "Créer un graphique avec des pandas" "Dessiner un graphique avec matplotlib (plt.show)"
・ Parmi ceux-ci, "Créer des graphiques avec des pandas" est nouveau. La méthode est OK avec __ "df.plot ()" __.
data=pd.read_csv("data.csv")
data.plot()
plt.show()
Résumé
-Pandas vous permet d'échanger des données entre différents formats de données.
-Lors de la lecture ou de l'écriture d'autres formats de données en python, il est exprimé comme __ "pd.read_csv ()" "df.to_html ()" __.
-Le fichier CSV lu peut être représenté graphiquement comme __df.plot () __.
Cette fois, c'est fini. Merci d'avoir lu jusqu'à la fin.