[PYTHON] Les débutants en scraping Web ont essayé de créer une commande pour obtenir le nom du film du road show de vendredi prochain

1. Vue d'ensemble

Il est difficile de vérifier la section TV à chaque fois quel est le film de ce road show du vendredi. Alors, je me suis demandé si je pouvais obtenir le nom du film du Friday Roadshow depuis le terminal du PC avec une seule commande en utilisant le Web scraping de Python.

2. Objectif

--Affichez le titre du film qui sera diffusé vendredi prochain avec une seule commande sur le terminal.

• À ce moment-là, grattez la page de programmation du road show du vendredi (https://kinro.jointv.jp/lineup) en utilisant Beautiful Soup de Python. .. Regardons au préalable la structure de la page à gratter.

Site Web de la tournée du vendredi

...
<li>
  <div class="photo">
    <a href='/lineup/20170414'>
      <img src="https://dtg3yjoeemd2c.cloudfront.net/pic/lineup/20170414/photo01_p62bphcy8m.jpg " alt="Détective Conan: Un cauchemar noir pur" />
    </a>
  </div>
...
</li>

<li>
  <div class="photo">
    <a href='/lineup/20170421'>
      <img src="https://dtg3yjoeemd2c.cloudfront.net/pic/lineup/20170421/photo01_uyxdjywd.jpg " alt="Cendrillon" />
    </a>
  </div>
...
</li>

<li>
  <div class="photo">
    <a href='/lineup/20170428'>
      <img src="https://dtg3yjoeemd2c.cloudfront.net/pic/lineup/20170428/photo01_9txwertpu3.jpg " alt="Mission Wild Speed Sky" />
    </a>
  </div>
...
</li>
...

3. Code

kinro.py

#coding:utf-8

import urllib.request
import datetime
from bs4 import BeautifulSoup


def func():
	html = urllib.request.urlopen("https://kinro.jointv.jp/lineup")
	soup = BeautifulSoup(html, "lxml")
	today = datetime.date.today()
	nextFriday = today + datetime.timedelta(days = (4 - today.weekday()) % 7)
	strnextFriday = nextFriday.strftime("%Y%m%d")
	a = soup.find_all("a", href = "/lineup/" + strnextFriday)
	tmp = a[0].find("img")
	title = tmp.attrs['alt']
	print(title)

if __name__ == '__main__':
    func()

Ouvrez un terminal et dans le même répertoire que ce code,

$python kinro.py

Exécutez la commande

Détective Conan: Un cauchemar noir pur#D'ici le 14 avril 2017

Cendrillon#15 avril 2017~21e

Si le titre du film est affiché comme, cela réussit.

Bien sûr, dans .barhrc

alias kinro='python ~/my_dir/kinro.py'  #Le nom du répertoire correspond à l'environnement

Si vous définissez cette commande comme ceci, vous pouvez obtenir le nom du film du road show de vendredi prochain avec une commande de $ kinro sur n'importe quel répertoire.

4. Description du code

4.1. Chargement d'une page Web

Les deux premières lignes.

kinro.py(partie)

html = urllib.request.urlopen("https://kinro.jointv.jp/lineup")
soup = BeautifulSoup(html, "lxml")

4.2. Obtenez la date vendredi prochain

Lignes 3-5. J'obtiens la date d'aujourd'hui et je calcule la différence en jours entre là et vendredi prochain.

kinro.py(partie)

today = datetime.date.today()
nextFriday = today + datetime.timedelta(days = (4 - today.weekday()) % 7)
strnextFriday = nextFriday.strftime("%Y%m%d")

4.3. Acquisition / sortie du nom du film

Lignes 6-9.

kinro.py(partie)

a = soup.find_all("a", href = "/lineup/" + strnextFriday)
tmp = a[0].find("img")
title = tmp.attrs['alt']
print(title)

En ligne 6

Site Web de la tournée du vendredi

<a href='/lineup/20170414'>
  <img src="https://dtg3yjoeemd2c.cloudfront.net/pic/lineup/20170414/photo01_p62bphcy8m.jpg " alt="Détective Conan: Un cauchemar noir pur" />
</a>

Sortez la partie de, et plus loin de là sur la 7ème ligne

Site Web de la tournée du vendredi

<img src="https://dtg3yjoeemd2c.cloudfront.net/pic/lineup/20170414/photo01_p62bphcy8m.jpg " alt="Détective Conan: Un cauchemar noir pur" />

De là sur la 8ème ligne

Détective Conan: Un cauchemar noir pur

Seule la partie de est retirée.

5. URL de référence

5.1. À propos du grattage

• http://qiita.com/rusarusa/items/d7f014ba80d6fe7a3e07
• https://www.crummy.com/software/BeautifulSoup/bs4/doc/

5.2. Concernant la manipulation de la date

• http://www.python-izm.com/contents/basis/date.shtml
• http://pythoncode.blog.fc2.com/blog-entry-19.html
• http://qiita.com/knqyf263/items/c806d9a157004c8f1155