[PYTHON] J'ai essayé de notifier la mise à jour de "Hameln" en utilisant "Beautiful Soup" et "IFTTT"

1. Inscrivez-vous à IFTTT
2. Cliquez sur Créer en haut à droite de l'écran. L'écran passera à l'écran qui dit "si + ceci alors cela". Voir la figure ci-dessous.
3. Cliquez sur + Ceci. Tapez Webhooks dans la barre de recherche pour les sélectionner.
4. Cliquez sur la colonne «Recevoir une demande Web». Lorsque vous arrivez à l'écran ci-dessous, entrez votre nom préféré dans "Nom de l'événement". Je l'utiliserai plus tard.
5. Cliquez sur + Cela. Sélectionnez LINE et cliquez sur le champ "Envoyer un message".
6. Connectez-vous à LINE, définissez le contenu du message sur "Value1: Value1 \
   " (peu importe si vous ne le faites pas) et cliquez sur "Create Action".
7. Vérifiez le contenu et cliquez sur Terminer.
8. Cliquez sur Explorer, saisissez Webhooks dans la fenêtre de recherche et sélectionnez l'onglet Services. Cliquez sur Webhooks. Peut-être pouvez-vous aller à partir de ce lien ...?
9. Cliquez sur Documentation et vous devriez voir "Votre clé est: ~~~~~", alors prenez-en note. Je l'utiliserai plus tard. C'est la fin de IFTTT.

Description du code source

Expliquez brièvement le code source. import

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import csv
import time

post_ifttt() C'est une fonction pour envoyer une notification d'IFTTT à LINE Notify. Ici, nous utilisons le nom de l'applet et la clé Webhooks. Je l'ai également utilisé dans la notification de mise à jour pour devenir romancier.

def post_ifttt(json):
    # json: {value1: " content "}
    url = (
        "https://maker.ifttt.com/trigger/"
        + # Applet Name
        + "/with/key/"
        + # Webhooks Key
    )
    requests.post(url, json)

extract() C'est la fonction sous-jacente de ce code. Il sera utilisé dans la partie décrite plus loin. Extrayez l'un des ["Titre"], ["Nombre d'histoires"] et ["URL"] du HTML en fonction de la condition et enregistrez-le dans la liste. Il peut être un peu difficile de voir la branche. Il aurait peut-être été préférable d'écrire les instructions de condition if en parallèle. Les parties «<» et «\» sont des instructions if qui suppriment les balises HTML et n'extraient que les attributs souhaités.

def extract(info, condition, li):
    for item in info:
        if condition in str(item):
            a = ""
            is_a = 0
            if condition!="href":
                for s in str(item):
                    if s=="<" and is_a==1:
                        is_a = 0
                        li.append(a)
                        break
                    if is_a==1:
                        if condition=="dernier":
                            if "0" <= s and s <= "9":
                                a+=s
                        else:
                            a += s
                    if s==">" and is_a==0:
                        is_a = 1
            else:
                if "mode=user" in str(item):
                    continue
                for s in str(item):
                    if s=="\"" and is_a==1:
                        is_a = 0
                        li.append(a)
                        break
                    if is_a==1:
                        a += s
                    if s=="\"" and is_a==0:
                        is_a = 1

Connexion </ b> Puisque le scraping se fait à partir de Ma page de Hameln, POSTEZ les informations nécessaires depuis l'écran de connexion et connectez-vous. Les informations requises pour le processus de connexion varient d'un site à l'autre et peuvent être vérifiées à partir des outils de développement, mais dans Hameln, c'est "id, pass, mode". Le mode est également "last_entry_end" pour tout le monde. POSTEZ ces informations et connectez-vous. L'utilisation détaillée de la soupe Beautifu est résumée dans l'article ci-dessous, alors jetez un œil.

##############################################################
#                           Log in                           #
##############################################################
# id, pass
with open("input.txt") as f:
    """
    input.txt: [ID PASS]
    """
    s = f.read().split()
    ID = s[0]
    PASS = s[1]

session = requests.session()

url_login = "https://syosetu.org/?mode=login"
response = session.get(url_login)
time.sleep(1)

login_info = {
    "id":ID,
    "pass":PASS,
    "mode":"login_entry_end"
}

res = session.post(url_login, data=login_info)
res.raise_for_status() # for error
time.sleep(1)

ID_hoge passwd_hoge 

###############################################################
#                        Print User Name                      #
###############################################################

soup_myage = BeautifulSoup(res.text, "html.parser")

account_href = soup_myage.select_one(".spotlight li a").attrs["href"]
url_account = urljoin(url_login, account_href)

res_account = session.get(url_account)
res_account.raise_for_status()
time.sleep(1)

soup_account = BeautifulSoup(res_account.text, "html.parser")
user_name = str((soup_account.select(".section3 h3"))[0])[4:-5].split("／")[0]

print("Hello "+ user_name + "!")

###############################################################
#                        Page Transition                      #
###############################################################
a_list = soup_myage.select(".section.pickup a")
favo_a = ""
for _ in a_list:
    if("Vers la liste des favoris" in _):
        favo_a = _
        break

url_favo = urljoin(url_login, favo_a.attrs["href"])

res_favo = session.get(url_favo)
res_favo.raise_for_status()
time.sleep(1)

soup_favo = BeautifulSoup(res_favo.text, "html.parser")
bookmark_titles = soup_favo.select(".section3 h3 a")
bookmark_latest = soup_favo.select(".section3 p a")
titles = []
latest_no = []
ncode = []

extract(bookmark_titles, "novel", titles)
extract(bookmark_latest, "dernier", latest_no)
extract(bookmark_titles, "href", ncode)
###############################################################
#                     Start Page Transition                   #
###############################################################
number_of_bookmarks_h2 = soup_favo.select_one(".heading h2")
number_of_bookmarks = ""
for s in str(number_of_bookmarks_h2)[4:-5]:
    if s>="0" and s<='9':
        number_of_bookmarks += s
number_of_bookmarks = int(number_of_bookmarks)
number_of_favo_pages = number_of_bookmarks // 10 + 1

for i in range(2,number_of_favo_pages+1):
    url_favo = "https://syosetu.org/?mode=favo&word=&gensaku=&type=&page=" + str(i)
    res_favo = session.get(url_favo)
    res_favo.raise_for_status()
    soup_favo = BeautifulSoup(res_favo.text, "html.parser")
    bookmark_titles = soup_favo.select(".section3 h3 a")
    bookmark_latest = soup_favo.select(".section3 p a")
    extract(bookmark_titles, "novel", titles)
    extract(bookmark_latest, "dernier", latest_no)
    extract(bookmark_titles, "href", ncode)
    time.sleep(1)

###############################################################
#                        Get Latest Data                      #
###############################################################
bookmark_info = []
for i in range(len(titles)):
    bookmark_info.append([titles[i], latest_no[i], ncode[i]])

###############################################################
#                       Get Previous Data                     #
###############################################################
read_file = "hameln.csv"
with open(read_file, encoding="utf-8") as f:
    reader = csv.reader(f)
    data = [row for row in reader]

###############################################################
#              Check Whether Novels are Updated               #
###############################################################
"""
previous data: data
latest data: bookmark_info
"""
for prev in data:
    for latest in bookmark_info:
        if prev[0] == latest[0]:
            # check
            if prev[1] != latest[1]:
                print(str(latest[0]) + "A été mis à jour.\n" + latest[2])
                json = {"value1" : str(latest[0]) +"A été mis à jour.\n" + latest[2]}
                post_ifttt(json)

###############################################################
#                    Write Latest Information                 #
###############################################################
output = "hameln.csv"
with open(output, mode='w', newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    for i in range(len(bookmark_info)):
        writer.writerow([bookmark_info[i][0], bookmark_info[i][1], bookmark_info[i][2]])