Holen Sie sich Yahoo News-Inhalte

Bitte übernehmen Sie die Verantwortung für den Erwerb des Inhalts.

from tqdm import tqdm
import urllib.parse
import time

jp_keyword = ''#Suchschlüsselwort eingeben
page_num=int()#()Geben Sie die Gesamtzahl der Seiten in ein

#URL-Codierung Japanisch
keyword = urllib.parse.quote(jp_keyword)

#Titelliste
title_list=[]
#Datumsliste veröffentlichen
date_list=[]
for i in tqdm(range(1,page_num-1)):
    
    url="https://news.yahoo.co.jp/search/?p="+keyword+"&st=n&ei=UTF-8&b="+str(i)+"1"
    print(url)
    res = requests.get(url)
    #Lassen Sie eine Lücke, um den Server nicht zu überlasten
    time.sleep(2)
    #Erstellen Sie ein BeautifulSoup-Objekt aus dem Antwort-HTML
    soup = BeautifulSoup(res.content, 'html.parser')

    #Holen Sie sich die Zeichenfolge des Titel-Tags
    title_text = soup.find_all('h2')
    for x in title_text:
        title_list.append(x.text)
    
    date_text=soup.find_all('span', class_="d")
    for x in date_text:
        date_list.append(x.text)

Erstellen Sie eine Funktion zur Stimmungsanalyse

Informationen zum Abrufen der API finden Sie auf der folgenden Website.

Schnellstart: API-Einstellungen für natürliche Sprache (https://cloud.google.com/natural-language/docs/setup?hl=ja) Verwenden Sie API-Schlüssel (https://cloud.google.com/docs/authentication/api-keys?hl=ja)

Verwendung der API

key=""#Geben Sie den API-Schlüssel ein
#API-URL
url = 'https://language.googleapis.com/v1/documents:analyzeSentiment?key=' + key

def sentimental(text):
    header = {'Content-Type': 'application/json'}
    body = {
        "document": {
            "type": "PLAIN_TEXT",
            "language": "JA",#Geben Sie die Sprache an
            "content": text
        },
        "encodingType": "UTF8"
    }

    #Erhalten Sie das Ergebnis im JSON-Format.
    response = requests.post(url, headers=header, json=body).json()
    #Punktzahl zurückgeben
    return response["documentSentiment"]["score"]

Tragen Sie die Punktzahl in die Punkteliste ein

score_list=[]
for word in tqdm(wordlist):
    score_list.append(sentimental(word))

import pandas as pd
df = pd.DataFrame()
df["word"]=title_list
df["date"]=date_list
df["score"]=score_list

Datenrahmen in Pickle-Datei speichern

import pickle
with open('sentimental_df.pickle', 'wb') as web:
    pickle.dump(df , web)

Daten extrahieren

import pickle
with open('sentimental_df.pickle', 'rb') as web:
    df = pickle.load(web)
    print (df)

Referenz

Verwenden Sie API-Schlüssel (https://cloud.google.com/docs/authentication/api-keys?hl=ja) Emotionsanalyse durch Aufrufen der Google Natural Language API mit Python Natural Language Verbesserung der Entwicklungseffizienz! Verwendung von Pickle mit Python [Für Anfänger] URL-Codierung / -Decodierung in Python (urllib.parse.quote, unquote) Schnellstart: API-Einstellungen für natürliche Sprache (https://cloud.google.com/natural-language/docs/setup?hl=ja)

[PYTHON] Holen Sie sich den Titel der Yahoo News und analysieren Sie die Stimmung