[GO] Grattage de la nourriture avec python et sortie en CSV

Introduction J'ai lu "Business Studies sans sens" de Yoshinori Fukushima de Gnocy.

Il a été rédigé de manière facile à comprendre sur l'importance de l'analyse des données et de l'apprentissage automatique. En outre, il décrit comment et combien d'efforts sont consacrés au ciblage et à l'optimisation des utilisateurs de Gnocy.

J'étais absent de la programmation pendant environ un mois sur le stagiaire, mais j'ai décidé d'étudier dans le but de créer un site de curation gastronomique.

Objectif à court terme: créer un site de curation simple Objectif ultime: un site de curation qui va au-delà de Guru Navi. Fonction de recommandation pour que vous puissiez choisir un magasin sans perdre de temps

L'objectif de cet article: Gratter le journal alimentaire et afficher le nom du magasin et l'URL dans SCV

Je vais l'épeler comme un mémo et un journal

Ce que j'ai fait * Obtenir du HTML à partir de l'URL * Extraire des informations spécifiques du HTML * Comment extraire en spécifiant des balises et des classes * Extrayez les éléments souhaités à l'aide d'expressions régulières

Code

first.py



import csv
import requests
from bs4 import BeautifulSoup
import re

urlName = "https://tabelog.com/osaka/A2701/A270103/rstLst/?SrtT=rt&Srt=D&sort_mode=1"
dataHTML = requests.get(urlName)

soup = BeautifulSoup(dataHTML.content, "html.parser")

elems = soup.select('a.list-rst__rst-name-target.cpy-rst-name')
#data = elems.text

with open(r'C:\Users\daisuke\Desktop\python\first.csv', 'w') as f:
    for i in elems:
        url = re.search(r'"http.*/"', str(i))
        url = re.sub(r'"', '',  str(url.group()))

        name = re.search(r'target="_blank">.*</a>', str(i))
        name = re.sub(r'target="_blank">', '',  str(name.group()))
        name = re.sub(r'</a>', '',  name)

        print(url)
        print(name)

        writer = csv.writer(f)
        writer.writerow([name,url])

Ce que je veux faire à l'avenir J'ai pu gratter en une heure environ. J'ai écrit le code à la hâte, mais le grattage était-il si facile?
  • Bonjour tout le monde avec Django
  • Django stocke les résultats de grattage dans DB
  • Obtenez des informations de DB-Display
  • Créer un classement des magasins populaires en organisant les informations obtenues de chaque média gourmand
  • Pour cela, l'apprentissage automatique est impliqué

Recommended Posts

Grattage de la nourriture avec python et sortie en CSV
[Part1] Scraping avec Python → Organisez jusqu'à csv!
Écrire en csv avec Python
Scraping avec Node, Ruby et Python
[Python] Ecrire dans un fichier csv avec Python
Grattage avec Python, Selenium et Chromedriver
Sortie vers un fichier csv avec Python
Grattage avec Python et belle soupe
Lire et écrire du CSV avec Python
Grattage avec Python
Grattage avec Python
Fractal pour faire et jouer avec Python
Lire Python csv et exporter vers txt
Pratiquer le web scraping avec Python et Selenium
Scraping Web facile avec Python et Ruby
Comment importer des fichiers CSV et TSV dans SQLite avec Python
Précautions lors de la saisie à partir de CSV avec Python et de la sortie vers json pour faire exe
Grattage en Python (préparation)
Comment lire un fichier CSV avec Python 2/3
Essayez de gratter avec Python.
MessagePack-Try pour lier Java et Python avec RPC
Lire JSON avec Python et générer un CSV
Grattage avec Python + PhantomJS
Écrire des données CSV sur AWS-S3 avec AWS-Lambda + Python
Grattage avec du sélénium [Python]
Lisez le fichier CSV avec Python et convertissez-le en DataFrame tel quel
Scraping avec Python + PyQuery
Scraping RSS avec Python
Exemple de lecture et d'écriture de CSV avec Python
WEB grattage avec python et essayez de créer un nuage de mots à partir des critiques
Procédure pour charger MNIST avec python et sortie en png
Je veux gérer l'optimisation avec python et cplex
J'ai essayé de toucher un fichier CSV avec Python
Essayez le fonctionnement de la base de données avec Python et visualisez avec d3
J'étais accro au grattage avec Selenium (+ Python) en 2020
Comment convertir un fichier JSON en fichier CSV avec Python Pandas
[Python] Un mémo pour écrire du CSV verticalement avec Pandas
[Python-pptx] Afficher les informations de police PowerPoint au format csv avec python
Programmation avec Python et Tkinter
Connectez-vous à BigQuery avec Python
Chiffrement et déchiffrement avec Python
Lire csv avec des pandas python
Web scraping avec python + JupyterLab
Grattage au sélénium en Python
Python et matériel - Utilisation de RS232C avec Python -
Grattage avec Selenium + Python Partie 1
Grattage avec chromedriver en python
Grattage festif avec Python, scrapy
Connectez-vous à Wikipedia avec Python
Publiez sur Slack avec Python 3
Grattage avec du sélénium en Python
Grattage avec Tor en Python
Scraping prévisions météorologiques avec python
Basculer python vers 2.7 avec des alternatives
Grattage avec Selenium + Python Partie 2
python avec pyenv et venv
J'ai essayé de gratter avec du python
Web scraping débutant avec python
Télécharger le fichier csv avec python