[GO] Kratzen Sie das Essen mit Python und geben Sie es an CSV aus

Einführung Ich las "Business Studies without Sense" von Yoshinori Fukushima von Gnocy.

Es wurde leicht verständlich über die Bedeutung der Datenanalyse und des maschinellen Lernens geschrieben. Darüber hinaus wird beschrieben, wie und wie viel Aufwand in die Ausrichtung und Benutzeroptimierung von Gnocy gesteckt wird.

Ich war ungefähr einen Monat lang nicht im Programm, aber ich entschied mich für ein Studium mit dem Ziel, eine Gourmet-Kurationsseite zu schaffen.

Kurzfristiges Ziel: Erstellen Sie eine einfache Kurationsstelle Ultimatives Ziel: Eine Kurationsstelle, die über Guru Navi hinausgeht. Empfehlungsfunktion, damit Sie ein Geschäft auswählen können, ohne Zeit zu investieren

Das Ziel dieses Artikels: Verschrotten des Lebensmittelprotokolls und Ausgeben des Geschäftsnamens und der URL in SCV

Ich werde es als Memo und Tagebuch buchstabieren

Was ich getan habe * Holen Sie sich HTML von der URL * Extrahieren Sie bestimmte Informationen aus HTML * Extrahieren durch Angabe von Tags und Klassen * Extrahieren Sie die gewünschten Elemente mit regulären Ausdrücken

Code

first.py



import csv
import requests
from bs4 import BeautifulSoup
import re

urlName = "https://tabelog.com/osaka/A2701/A270103/rstLst/?SrtT=rt&Srt=D&sort_mode=1"
dataHTML = requests.get(urlName)

soup = BeautifulSoup(dataHTML.content, "html.parser")

elems = soup.select('a.list-rst__rst-name-target.cpy-rst-name')
#data = elems.text

with open(r'C:\Users\daisuke\Desktop\python\first.csv', 'w') as f:
    for i in elems:
        url = re.search(r'"http.*/"', str(i))
        url = re.sub(r'"', '',  str(url.group()))

        name = re.search(r'target="_blank">.*</a>', str(i))
        name = re.sub(r'target="_blank">', '',  str(name.group()))
        name = re.sub(r'</a>', '',  name)

        print(url)
        print(name)

        writer = csv.writer(f)
        writer.writerow([name,url])

Was ich in Zukunft tun möchte Ich konnte in ungefähr einer Stunde kratzen. Ich habe den Code in Eile geschrieben, aber war das Schaben so einfach?
  • Hallo Welt mit Django
  • Django speichert Scraping-Ergebnisse in der DB
  • Informationen von DB-Display abrufen
  • Erstellen Sie eine Rangliste der beliebtesten Geschäfte, indem Sie die Informationen der einzelnen Gourmet-Medien organisieren
  • Zu diesem Zweck ist maschinelles Lernen beteiligt

Recommended Posts

Kratzen Sie das Essen mit Python und geben Sie es an CSV aus
[Teil1] Scraping mit Python → Organisieren Sie bis zu CSV!
Schreiben Sie mit Python in csv
Scraping mit Node, Ruby und Python
[Python] Mit Python in eine CSV-Datei schreiben
Scraping mit Python, Selen und Chromedriver
Ausgabe in eine CSV-Datei mit Python
Kratzen mit Python und schöner Suppe
Lesen und Schreiben von CSV mit Python
Scraping mit Python
Scraping mit Python
Fraktal zum Erstellen und Spielen mit Python
Lesen Sie Python csv und exportieren Sie es nach txt
Üben des Web-Scrapings mit Python und Selen
Einfaches Web-Scraping mit Python und Ruby
So importieren Sie CSV- und TSV-Dateien mit Python in SQLite
Vorsichtsmaßnahmen bei der Eingabe von CSV mit Python und der Ausgabe an json, um exe zu erstellen
Scraping in Python (Vorbereitung)
Lesen einer CSV-Datei mit Python 2/3
Versuchen Sie es mit Python.
MessagePack-Versuchen Sie, Java und Python mit RPC zu verbinden
Lesen Sie JSON mit Python und geben Sie CSV aus
Scraping mit Python + PhantomJS
Schreiben Sie CSV-Daten mit AWS-Lambda + Python in AWS-S3
Schaben mit Selen [Python]
Lesen Sie die CSV-Datei mit Python und konvertieren Sie sie unverändert in DataFrame
Scraping mit Python + PyQuery
Scraping von RSS mit Python
Beispiel für das Lesen und Schreiben von CSV mit Python
WEB Scraping mit Python und versuchen, aus Bewertungen eine Wortwolke zu machen
Prozedur zum Laden von MNIST mit Python und zur Ausgabe an png
Ich möchte die Optimierung mit Python und CPlex behandeln
Ich habe versucht, eine CSV-Datei mit Python zu berühren
Probieren Sie die DB-Operation mit Python aus und visualisieren Sie sie mit d3
Ich war süchtig danach, 2020 mit Selen (+ Python) zu kratzen
So konvertieren Sie eine JSON-Datei mit Python Pandas in eine CSV-Datei
[Python] Ein Memo zum vertikalen Schreiben von CSV mit Pandas
[Python-pptx] Gibt PowerPoint-Schriftinformationen mit Python in CSV aus
Programmieren mit Python und Tkinter
Stellen Sie mit Python eine Verbindung zu BigQuery her
Ver- und Entschlüsselung mit Python
Lesen Sie CSV mit Python-Pandas
Web Scraping mit Python + JupyterLab
Schaben mit Selen in Python
Python und Hardware-Verwenden von RS232C mit Python-
Schaben mit Selen + Python Teil 1
Schaben mit Chromedriver in Python
Festliches Scraping mit Python, Scrapy
Stellen Sie mit Python eine Verbindung zu Wikipedia her
Post to Slack mit Python 3
Scraping mit Selen in Python
Scraping mit Tor in Python
Kratzwettervorhersage mit Python
Schalten Sie Python mit Alternativen auf 2.7 um
Schaben mit Selen + Python Teil 2
Python mit Pyenv und Venv
Ich habe versucht, mit Python zu kratzen
Web Scraping Anfänger mit Python
Laden Sie die CSV-Datei mit Python herunter