Mein Name ist Kei @ airget0919. Ich bin ein Ingenieur für maschinelles Lernen in Tokio. Ich schreibe diesen Artikel und denke, dass ich möglicherweise einige praktische Fähigkeiten ausgeben kann. Dieses Mal werde ich als ersten Schritt zur Implementierung der Verarbeitung natürlicher Sprache Artikel aus dem Internet abrufen und eine einfache Analyse durchführen.
Sie können verschiedene Informationen im Netz durch Scraping erhalten.
Dieses Mal verwende ich Python-Code, um den Artikel zu erhalten.
Verwenden Sie BeautifulSoup
usw., um HTML- und CSS-Informationen anzugeben und die Informationen zu extrahieren.
Lassen Sie uns anhand der Word Emotion Polarity Correspondence Table quantifizieren, ob der Inhalt des Artikels negativ oder positiv ist. Ich denke. Die Wort-Emotionspolaritäts-Entsprechungstabelle definiert den negativen / positiven Grad für ein Wort von -1 bis 1.
Freude: Freude: Nomenklatur: 0,998861 Schwerwiegend: Schwerwiegend: Apokalypse: -0,999755
Etc.
Zum Schaben habe ich [udemy course] verwendet (https://www.udemy.com/course/python-web-scraping-with-beautifulsoup-selenium-requests/). Für eine negative / positive Analyse habe ich auf [diesen Artikel] verwiesen (https://qiita.com/g-k/items/e49f68d7e2fed6e300ea). Darüber hinaus war das Thema dieser Analyse Bunchun Online.
Beginnen wir die Arbeit wie oben beschrieben. Beginnen wir mit dem Importieren der erforderlichen Bibliotheken.
import requests
from bs4 import BeautifulSoup
import re
import itertools
import pandas as pd, numpy as np
import os
import glob
import pathlib
import re
import janome
import jaconv
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.charfilter import *
Bereiten Sie sich zunächst auf das Schaben vor. Holen Sie sich die URL und wenden Sie "Anfragen" und "Schöne Suppe" an.
url = "https://bunshun.jp/" #Speichern Sie Bunchun Online-Link in URL
res = requests.get(url) # requests.get()Speichern Sie die URL in res mit
soup = BeautifulSoup(res.text, "html.parser") #Jetzt können Sie mit Beautiful Soup kratzen.
Grundsätzlich werden Artikel als "li" -Elemente aufgereiht, und das übergeordnete Element ist häufig "ul". Der Titel und die URL werden aus der Artikelliste mit der for-Anweisung abgerufen.
elems = soup.select("ul") #Da die Liste der Artikel als li-Element ausgerichtet war, wird das übergeordnete Element ul angegeben.
title_list = [] #Liste zum Speichern von Artikeltiteln
url_list = [] #Liste zum Speichern von Artikel-URLs
for sibling in elems[3]: # elems[3]Ich hatte eine Liste, die ich wollte. Dadurch werden für Minuten der Artikeltitel und die URL aus der Artikelliste abgerufen und in der Liste gespeichert.
if sibling != "\n": #Ausgeschlossen, da es Zeilenumbrüche enthielt
print(sibling.h3.string) #Der Titel war im h3-Tag.
title_list.append(sibling.h3.string.replace('\u3000', ' ')) # \Da es einen Teil gab, der u3000 enthielt, wurde er in leer konvertiert
print(url + sibling.h3.a["href"]) #Der Link wurde im href-Attribut des a-Tags gespeichert.
url_list.append(url + sibling.h3.a["href"]) #Der Teil unter der oben erhaltenen URL wurde gespeichert, also habe ich ihn hinzugefügt.
Der frühere MADE-Anführer von Johnny, Mitsuru Inaba (29) und der ehemalige Berryz Kobo Idol "Shibuya Hotel Date" << Scoop Shooting >>
https://bunshun.jp//articles/-/40869
"Ein riesiges Grundstück von ca. 1.200 m2 in der Nähe des Bahnhofs" "Landnutzung, die den Wiederaufbau von Häusern und den Beitrag der Gemeinde in Einklang bringt" Wie antworten Fachleute?
https://bunshun.jp//articles/-/40010
"Lass uns 24 Stunden am Tag arbeiten, 365 Tage im Jahr" ... Watamis "Ideenbildung" war noch im Gange
https://bunshun.jp//articles/-/40843
Es ist eine schädliche Wirkung der "vertikalen Verabreichung"! Toru Hashishita spricht über "Was ist los mit der Go To-Kampagne?"
https://bunshun.jp//articles/-/40877
Polizist spuckt und verhaftet wegen Behinderung der öffentlichen Pflichten Yomiuri Shimbun diszipliniert Seoul Büro Reporter
https://bunshun.jp//articles/-/40868
"Es ist ein lächerliches Missverständnis" für den Adachi Ward Council wegen homosexueller Diskriminierung ... Was mir der Brief meiner 81-jährigen Großmutter sagte
https://bunshun.jp//articles/-/40826
Familienramen "Goodwill War" "Yoshimura Family vs. Hexagon Family" Verrat und Erliegen der schwarzen Geschichte
Um eine Linkliste zu erstellen, geben Sie eine while-Anweisung ab und rufen Sie die URL ab, wenn ein Link zur nächsten Seite und zum Übergang zur Seite vorhanden ist. Wenn die überarbeitete Seite auch einen Link zur nächsten Seite enthält, rufen Sie diese ab Drehen Sie die Übergangsschleife. Wenn auf der nächsten Seite kein Link vorhanden ist, fahren Sie mit dem nächsten Artikel fort. Auf diese Weise können Sie die Links aller Seiten aller Artikel im Listenformat abrufen.
news_list = [] #Hier werden Links zu allen Nachrichtenartikeln gespeichert.
for pickup_link in url_list: #Diese for-Anweisung ruft die URL aus der URL-Liste ab.
news = [] #Da Nachrichtenartikel nach Seiten getrennt sind, fügen wir für jede Seite einen Link in diese Liste ein.
news.append(pickup_link) #Speichern Sie den ersten Link
pickup_res = requests.get(pickup_link) # requests.get()Seite vom Link abrufen mit
pickup_soup = BeautifulSoup(pickup_res.text, "html.parser") #Schöne Suppe auftragen
while True: #Wenn in dieser while-Anweisung ein Link zur nächsten Seite vorhanden ist, wird dieser Link erfasst und die Schleife zu dieser Seite weitergeleitet.
try: #Wenn am Übergangsziel ein Link zur nächsten Seite vorhanden ist, wird diese Schleife für immer wiederholt.
next_link = pickup_soup.find("a", class_="next menu-link ga_tracking")["href"] # next menu-link ga_Das href-Attribut des a-Tags mit der Klassenverfolgung war der Link zur nächsten Seite.
next_link = url + next_link
next_res = requests.get(next_link) # requests.get()Und Beautiful Soup werden verwendet, um die Seiteninformationen des Übergangsziels abzurufen.
pickup_soup = BeautifulSoup(next_res.text, "html.parser")
news.append(next_link) #Fügen Sie jede Seite Informationen zu Nachrichten hinzu.
except Exception: #Wenn kein Link zur nächsten Seite vorhanden ist, wird dieser Vorgang ausgeführt.
news_list.append(news) #Da die URL aller Artikel im Titel in Nachrichten gespeichert ist, handelt es sich um Nachrichten_In Liste speichern.
break
display(news_list) #Zeigen Sie die erstellte URL-Liste an.
[['https://bunshun.jp//articles/-/40869',
'https://bunshun.jp//articles/-/40869?page=2',
'https://bunshun.jp//articles/-/40869?page=3',
'https://bunshun.jp//articles/-/40869?page=4'],
['https://bunshun.jp//articles/-/40010',
'https://bunshun.jp//articles/-/40010?page=2'],
['https://bunshun.jp//articles/-/40843',
'https://bunshun.jp//articles/-/40843?page=2',
'https://bunshun.jp//articles/-/40843?page=3',
'https://bunshun.jp//articles/-/40843?page=4'],
['https://bunshun.jp//articles/-/40877',
'https://bunshun.jp//articles/-/40877?page=2'],
['https://bunshun.jp//articles/-/40868',
'https://bunshun.jp//articles/-/40868?page=2'],
['https://bunshun.jp//articles/-/40826',
'https://bunshun.jp//articles/-/40826?page=2',
'https://bunshun.jp//articles/-/40826?page=3',
'https://bunshun.jp//articles/-/40826?page=4'],
['https://bunshun.jp//articles/-/40752',
'https://bunshun.jp//articles/-/40752?page=2',
'https://bunshun.jp//articles/-/40752?page=3',
'https://bunshun.jp//articles/-/40752?page=4'],
['https://bunshun.jp//articles/-/40862',
'https://bunshun.jp//articles/-/40862?page=2',
'https://bunshun.jp//articles/-/40862?page=3'],
['https://bunshun.jp//articles/-/40841',
'https://bunshun.jp//articles/-/40841?page=2',
'https://bunshun.jp//articles/-/40841?page=3',
'https://bunshun.jp//articles/-/40841?page=4',
'https://bunshun.jp//articles/-/40841?page=5'],
['https://bunshun.jp//articles/-/40694',
'https://bunshun.jp//articles/-/40694?page=2',
'https://bunshun.jp//articles/-/40694?page=3',
'https://bunshun.jp//articles/-/40694?page=4']]
Nachdem Sie die URL-Liste mit dem obigen Code erstellt haben, folgen Sie diesem Link, um den Artikelkörper abzurufen. Ich kann nur den Text erhalten, indem ich ".text" anwende, aber ich wende ".text" an, indem ich die for-Anweisung im Detail drehe. Daher habe ich eine Liste erstellt, in der der Text gespeichert wird, während einige leere Zeichen (oder eine leere Liste) erstellt und gespeichert werden.
news_page_list = [] #Der Text aller Artikel wird hier gespeichert.
for news_links in news_list: #Diese for-Anweisung extrahiert die Linkliste eines bestimmten Titels aus der Liste der URLs.
news_page = '' #Wir werden den von jeder Seite erhaltenen Text hier hinzufügen.
for news_link in news_links: #Extrahieren Sie die Links einzeln aus der Linkliste im Titel.
news_res = requests.get(news_link) # requests.get()Und verwenden Sie Beautiful Soup, um Artikelinformationen zu erhalten.
news_soup = BeautifulSoup(news_res.text, "html.parser")
news_soup = news_soup.find(class_=re.compile("article-body")).find_all("p") # article-Der Body wurde im p-Tag direkt unter dem Tag mit dem ID-Body gespeichert.
news_phrase = '' #Speichert die Phrase im Hauptteil der Seite
for news in news_soup: #Ich konnte nur die Körperphrase erhalten, indem ich Text anwendete, indem ich ihn mit einer for-Anweisung drehte.
news_phrase += news.text.replace('\u3000', ' ') #Fügen Sie die erworbene Phrase hinzu. Weil es eine Zeichenkette ist+Ich konnte es mit hinzufügen.
news_page += news_phrase #Wenn Sie eine Seite mit Phrasen erhalten können, neu_Zur Seite hinzufügen
news_page_list.append(news_page) #Der gesamte Text für einen Titel ist neu_Nachrichten, wenn auf Seite gespeichert_page_Zur Liste hinzugefügt. Da dies ein Listentyp ist, verwenden Sie Anhängen.
for i in range(1, 4): #Lassen Sie uns einen Teil des erfassten Textes anzeigen. Es scheint, dass ich es erfolgreich bekommen habe.
print("<%s>" % i, news_page_list[i][:500], end="\n\n")
<1> Mitsui Home wird von vielen Landbesitzern weiterhin als "Landnutzungspartner" ausgewählt. Dieses Projekt enthüllt den Grund, warum Mitsui Home durch Interviews mit den Vertriebsmitarbeitern des Unternehmens, die Fachleute für Landnutzung sind, als Partner ausgewählt wird. Dieses Mal werden wir ein Beispiel für den Wiederaufbau eines riesigen Wohngebiets von etwa 1.200 m2 in Fuchu City, Tokio, in insgesamt zwei Gebäude vorstellen: eine Klinik + Mietwohnungen + Haus und Kindergarten. Wir sprachen mit Toshito Nishijima, dem Leiter der Vertriebsgruppe Tokyo West Area, Vertriebsabteilung Tokyo Consulting, der für diese Angelegenheit verantwortlich war. Etwa 5 Gehminuten von der nächsten Station der Keio-Linie entfernt, die sich westlich vom Stadtzentrum erstreckt, war die Heimat des Vermieters, der seit dem Krieg weitergearbeitet hatte. Die Grundstücksfläche beträgt ca. 1.200 m2. Das 50 Jahre alte Haus alterte und musste für den Wiederaufbau in Betracht gezogen werden. Der Eigentümer in den 70ern ist eine Familie von Vermietern, die seit Generationen in dieser Gegend leben und mehrere Mietwohnungen rund um sein Haus besitzen. Der Beginn dieses Projekts bestand darin, das riesige Gelände von etwa 1.200 m2 effektiv zu nutzen und den Wiederaufbau eines heruntergekommenen Hauses zu nutzen, das etwa 50 Jahre alt war. Es war Anfang 2018, als die Bank uns eine Beratung brachte. Zuerst traf ich den Eigentümer mit einem Plan von Haus + Mietwohnungen. Dann oh
<2> Watami Co., Ltd. wird weiterhin Arbeitsfragen vorgeworfen. Am 2. Oktober kündigte der Direktor des Verkaufsbüros "Watami's Home Cooking" eine Reihe von Empfehlungen des Arbeitsnormen-Inspektionsbüros an, um unbezahlte Überstunden, lange Arbeitszeiten von mehr als 175 Stunden pro Monat und Manipulationen an Zeitkarten durch Chefs zu korrigieren. Es ist. Überstunden von 175 Stunden pro Monat aufgrund einer "weißen Firma", die Watamis Korrekturempfehlung vom Arbeitsamt wegen unbezahlter Überstundenvergütung bewirbt Warum bin ich keine weiße Firma geworden? Trotz des Systems der "Manipulation" der Anwesenheit verlor Herr A nach langen Arbeitsstunden seinen Sinn für Tag und Nacht und lebte sogar mit der Angst, dass er nicht aufwachen würde, wenn er so schlief, wie es war. "Wenn ich so gearbeitet hätte, wäre ich gestorben", behauptet A. Derzeit hat er eine psychische Erkrankung und ist während der Beantragung eines Arbeitsunfalls in Urlaub. Warum arbeitete Herr A jedoch weiterhin hart, während er die Gefahr seines Lebens spürte? Dahinter steckte ein System der "Ideenbildung" von Watami, das am Bewusstsein der Arbeiter arbeitete und sie dazu brachte, harte Arbeit anzunehmen. „Ich mache einen so guten Job, also werde ich mein Bestes geben, auch wenn es schmerzhaft ist." „Es ist nicht schmerzhaft, auch wenn es schmerzhaft ist. Es hilft mir eher.", Sagte sich Mr. A während der Überarbeitung. In der Tat, A.
<3> "Regulierungsreform" "Verwaltungsreform" "Vertikaler Durchbruch". Nach der Amtseinführung von Yoshii Sugas Regierung ist das Wort "Reform" häufig zu hören. Auf der Eröffnungspressekonferenz am 16. September erklärte Premierminister Kan, dass "die Regulierungsreform mitten in der Verwaltung sein wird". Wie wird sich Japan infolge dieser "Reform" verändern? Toru Hashishita, der eine enge Beziehung zu Premierminister Kan hat, sprach in einem Interview mit der Novemberausgabe von "Bungei Haruaki" über die Ziele der "Reform" der Kan-Regierung. Aus eigener Erfahrung sagt Hashishita, dass es wichtig ist, ein Gefühl von "lustig" zu haben, um mit "Reformen" fortzufahren. "Für" Reformkraft "ist es äußerst wichtig, immer ein Auge auf die Dinge um Sie herum zu haben und sofort" das ist seltsam "zu sagen. Dann beheben Sie es jedes Mal. Wiederholt. Selbst als ich Gouverneur und Bürgermeister war, war diese Art von Arbeit ununterbrochen. Als ich zum Beispiel in ein öffentliches Auto stieg, wurden schnell fünf Zeitungen in den Zeitungsständer gesteckt. Als ich im Regierungsgebäude ankam. Es ist schön, weil Sie die Nachrichten überprüfen können, aber wenn Sie das Büro des Gouverneurs betreten, finden Sie 5 Papiere auf Ihrem Schreibtisch, und wenn Sie in den Empfangsraum des Gouverneurs gehen, finden Sie 5 weitere Papiere ... Ist es nicht so? «» Was ist los, dieses Neue?
Die bisher durch Scraping erhaltenen Informationen werden in einem DataFrame gespeichert. Dies erleichtert nicht nur die Anzeige der Daten, sondern auch die Handhabung. Wenn möglich, müssen Sie nur die Daten verarbeiten und eine negative / positive Analyse durchführen!
new_no_list = [x for x in range(len(title_list))] #News Nr. Ich werde es später verwenden.Erstellen
newslist = np.array([new_no_list, title_list, url_list, news_page_list]).T #Np in Vorbereitung auf die Speicherung in DataFrame.Speichern Sie es in der Liste der Arrays und transponieren Sie es.
newslist = pd.DataFrame(newslist, columns=['Nachrichten Nr.', 'title', 'url', 'news_page_list']) #Speichern Sie in DataFrame, indem Sie den Spaltennamen angeben
newslist = newslist.astype({'Nachrichten Nr.':'int64'}) # あとでテーブルを結合するためにNachrichten Nr.Geben Sie int64 ein
display(newslist)
News Nr. th> | title | url | news_page_list | |
---|---|---|---|---|
0 | 0 | Der frühere MADE-Anführer von Johnny, Mitsuru Inaba (29) und der ehemalige Berryz Kobo Idol "Shibuya Hotel Date ... td> | https://bunshun.jp//articles/-/40869 | Ryota Yamamoto (30) von der beliebten Einheit "Space Six" in Johnny's Jr. geht in einen illegalen Dark Slot Store ... td> |
1 | 1 | "Ein riesiges Gelände von ca. 1.200 m2 in der Nähe des Bahnhofs" "Landnutzung, die den Wiederaufbau von Häusern und den Beitrag der Gemeinschaft in Einklang bringt" Fachleute setzen ... td> | https://bunshun.jp//articles/-/40010 | Mitsui Home wird von vielen Landbesitzern weiterhin als "Landnutzungspartner" ausgewählt. Landnutzung ... td> |
2 | 2 | "Lass uns 24 Stunden am Tag arbeiten, 365 Tage im Jahr" ... Watamis "Ideenbildung" war noch im Gange. Td> | https://bunshun.jp//articles/-/40843 | Watami Co., Ltd. wird weiterhin wegen Arbeitsproblemen angeklagt. 2. Oktober, Direktor des Verkaufsbüros "Watami's Home Cooking" ... td> |
3 | 3 | Es ist ein schlechter Effekt der "vertikalen Verwaltung"! Toru Hashishita spricht über "Was ist los mit der Go To-Kampagne?" Tdd> | https://bunshun.jp//articles/-/40877 | "Regulierungsreform" "Verwaltungsreform" "Vertikaler Durchbruch". Nach der Einweihung von Yoshii Kan hörte ich oft das Wort "Reform" ... td> |
4 | 4 | Spucken durch Polizeibeamten, der wegen Behinderung der öffentlichen Pflichten verhaftet wurde. Yomiuri Shimbun diszipliniert Seoul-Reporter td> | https://bunshun.jp//articles/-/40868 | Ein Reporter (34) vom Yomiuri Shimbun Seoul Bureau wurde Mitte Juli von den koreanischen Behörden wegen des Verdachts festgenommen, die Ausführung öffentlicher Angelegenheiten behindert zu haben ... |
5 | 5 | "Es ist ein lächerliches Missverständnis" an den Adachi Ward Council wegen homosexueller Diskriminierung ... Was mir der Brief meiner 81-jährigen Großmutter sagte td> | https://bunshun.jp//articles/-/40826 | "Oma ist wütend über die Versammlung der Gemeinde Adachi und scheint einen Brief zu schreiben." Diese Zeile kam von meiner Mutter ... td> |
6 | 6 | Familienramen "Goodwill War" "Yoshimura Family vs. Hexagon Family" Verrat und Erliegen der schwarzen Geschichte https://bunshun.jp//articles/-/40752 |
"Die" Hexagon-Familie "ist bankrott gegangen, aber die Anzahl der Geschäfte von" Family Ramen "als Genre steigt von Jahr zu Jahr und ... td>
| |
7 | 7 | << Hirate Schule und Abschluss >> "Traurige Sache in der Aktivität" geschrieben von Keyakizaka46 und Shiori Sato "Plötzliche Inhaftierung ... td>" von Sakurazaka46 | https://bunshun.jp//articles/-/40862 | << Guten Abend allerseits. Heute habe ich jedem etwas zu erzählen, der mich immer unterstützt. Ich, Sato ... td> |
8 | 8 | War die größte Errungenschaft der Abe-Administration das "Ainu Museum"? Die Wahrheit von "upopoi" mit 20 Milliarden Yen td> | https://bunshun.jp//articles/-/40841 | ──Ist das wirklich in Ordnung? Auf dem Rückweg, als ich auf der regnerischen Straße ein Auto mietete, fühlte ich mich so ... td> |
9 | 9 | Nicht "Länge" ... "Unerwartete Wörter", die von Schönheitssalons beim Haarschneiden gelehrt werden td> | https://bunshun.jp//articles/-/40694 | Die Bettdecke wird heutzutage immer komfortabler. Tragen Sie eine dünne Schicht für den plötzlichen Temperaturunterschied zwischen Morgen und Nacht ... td> |
Verwenden Sie die "Word Emotion Polarity Correspondence Table" als Kriterium für die negative / positive Beurteilung. Laden Sie es vorab in Ihr Arbeitsverzeichnis herunter. Bereiten Sie diese "Word Emotion Polarity Correspondence Table" in einem Formular zur Verwendung für die Analyse vor.
p_dic = pathlib.Path('/work/dic') #Übergeben Sie den Pfad zum Ordner dic im Arbeitsverzeichnis. Die Datei der "Wort-Emotions-Polaritäts-Korrespondenztabelle" wird hier abgelegt.
for i in p_dic.glob('*.txt'): #Suchen Sie die betreffende Datei.
with open (i, 'r', encoding='utf-8') as f:
x = [i.replace('\n', '').split(':') for i in f.readlines()] #Zeile für Zeile lesen.
posi_nega_df = pd.DataFrame(x, columns = ['Grundform', 'lesen', 'Teil', 'Ergebnis']) # lesen込んだデータをDataFrameに格納します。
posi_nega_df['lesen'] = posi_nega_df['lesen'].apply(lambda x : jaconv.hira2kata(x)) #Wandle flaches Pseudonym in Katakana um(同じlesenのものが含まれており、重複を無くす為のようです。)
posi_nega_df = posi_nega_df[~posi_nega_df[['Grundform', 'lesen', 'Teil']].duplicated()] #Duplikate entfernen.
posi_nega_df.head()
Grundform th> | Lesen th> | Wortteil th> | Punktzahl th> | |
---|---|---|---|---|
0 | ausgezeichnet td> | Sugurel td> | Verb td> | 1 |
1 | gut td> | Yoi td> | Adjektive td> | 0.999995 |
2 | Freut euch td> | Yorokobu td> | Verb td> | 0.999979 |
3 | Kompliment td> | Homel td> | Verb td> | 0.999979 |
4 | Herzlichen Glückwunsch td> | Medetai td> | Adjektive td> | 0.999645 |
Die morphologische Analyse des Artikeltextes erfolgt in einer Form, die zur Analyse verwendet werden kann. Verwenden Sie für die morphologische Analyse "Tokenizer ()" und "UnicodeNormalizeCharFilter ()". Extrahieren Sie Wörter, Grundformen, Teile und Messwerte und speichern Sie sie in einem DataFrame. Führen Sie dann den DataFrame des Artikels mit der Korrespondenztabelle "Wortemotionspolarität" zusammen, um die im Artikel enthaltenen Wörter zu bewerten. Die Tabelle ist unten gezeigt. Das Wort "beliebt" hat eine hohe Punktzahl und wurde als positives Wort bewertet. Warum haben die anderen Wörter diese Punktzahl erhalten? Es gibt auch so etwas, aber lassen Sie uns fortfahren, ohne uns darum zu kümmern.
i = 0 #Dies ist ich Nachrichten Nr.Es wird beim Erwerb verwendet.
t = Tokenizer()
char_filters = [UnicodeNormalizeCharFilter()]
analyzer = Analyzer(char_filters=char_filters, tokenizer=t)
word_lists = []
for i, row in newslist.iterrows(): #Erhöhung eins nach dem anderen News No..Wird besorgt.
for t in analyzer.analyze(row[3]): #Der Text wird in der dritten Spalte des extrahierten Etiketts gespeichert.
surf = t.surface #Wort
base = t.base_form #Grundform
pos = t.part_of_speech #Teil
reading = t.reading #lesen
word_lists.append([i, surf, base, pos, reading]) # word_Zu Listen hinzufügen
word_df = pd.DataFrame(word_lists, columns=['Nachrichten Nr.', 'Wort', 'Grundform', 'Teil', 'lesen'])
word_df['Teil'] = word_df['Teil'].apply(lambda x : x.split(',')[0]) # Teilは複数格納されるが最初の1つのみ利用
display(word_df.head(10)) #Zeigen Sie die erstellte Texttabelle an
print("↓ ↓ ↓ ↓ ↓ ↓ ↓ Mit der Wort-Emotionspolarität-Korrespondenztabelle zusammenführen ↓ ↓ ↓ ↓ ↓ ↓ ↓")
score_result = pd.merge(word_df, posi_nega_df, on=['Grundform', 'Teil', 'lesen'], how='left') #Führen Sie die Korrespondenztabelle für Texttabelle und Wortemotionspolarität zusammen
display(score_result.head(10)) #Zeigen Sie die erstellte Punktetabelle an. Ich verstehe, dass das Wort "beliebt" eine hohe Punktzahl hat, aber die anderen sind subtil ...
News Nr. th> | Wort th> | Grundform th> | Wortteil th> | Lesen th> | |
---|---|---|---|---|---|
0 | 0 | Ja td> | Ja td> | Nomenklatur td> | Ja td> |
1 | 0 | Benötigt td> | Benötigt td> | Nomenklatur td> | Benötigt td> |
2 | 0 | Jr | Jr | Nomenklatur td> | * |
3 | 0 | . | . | Nomenklatur td> | * |
4 | 0 | Innerhalb vontd> Innerhalb von | td> | Nomenklatur td> | Nai td> |
5 | 0 | td> | td> | Hilfs td> | ノ td> |
6 | 0 | Beliebt td> | Beliebt td> | Nomenklatur td> | Ninki td> |
7 | 0 | Einheit td> | Einheit td> | Nomenklatur td> | Einheit td> |
8 | 0 | 「 | 「 | Symbol td> | 「 |
9 | 0 | Leerzeichen td> | Leerzeichen td> | Nomenklatur td> | Uchu td> |
↓ ↓ ↓ ↓ ↓ ↓ ↓ Mit der Wort-Emotionspolarität-Korrespondenztabelle zusammenführen ↓ ↓ ↓ ↓ ↓ ↓ ↓
News Nr. th> | Wort th> | Grundform th> | Wortteil th> | Lesen th> | Punktzahl th> | |
---|---|---|---|---|---|---|
0 | 0 | Ja td> | Ja td> | Nomenklatur td> | Ja td> | NaN |
1 | 0 | Benötigt td> | Benötigt td> | Nomenklatur td> | Benötigt td> | -0.163536 |
2 | 0 | Jr | Jr | Nomenklatur td> | * | NaN |
3 | 0 | . | . | Nomenklatur td> | * | NaN |
4 | 0 | Innerhalb vontd> Innerhalb von | td> | Nomenklatur td> | Nai td> | -0.74522 |
5 | 0 | td> | td> | Hilfs td> | ノ td> | NaN |
6 | 0 | Beliebt td> | Beliebt td> | Nomenklatur td> | Ninki td> | 0.96765 |
7 | 0 | Einheit td> | Einheit td> | Nomenklatur td> | Einheit td> | -0.155284 |
8 | 0 | 「 | 「 | Symbol td> | 「 | NaN |
9 | 0 | Leerzeichen td> | Leerzeichen td> | Nomenklatur td> | Uchu td> | -0.515475 |
Bewerten Sie den negativen / positiven Grad des gesamten Artikels anhand der zuvor erstellten Tabelle.
result = []
for i in range(len(score_result['Nachrichten Nr.'].unique())): # Nachrichten Nr.Verwenden Sie diese Option, um die for-Anweisung zu aktivieren.
temp_df = score_result[score_result['Nachrichten Nr.']== i]
text = ''.join(list(temp_df['Wort'])) # 1タイトル内の全てのWortをつなげる。
score = temp_df['Ergebnis'].astype(float).sum() # 1タイトル内のErgebnisを全て足し合わせる。➡︎累計Ergebnis
score_r = score/temp_df['Ergebnis'].astype(float).count() # 本文の長さに影響されないように単語数で割り算する。➡︎標準化Ergebnis
result.append([i, text, score, score_r])
ranking = pd.DataFrame(result, columns=['Nachrichten Nr.', 'Text', 'Kumulative Punktzahl', 'Standardisierte Punktzahl']).sort_values(by='Standardisierte Punktzahl', ascending=False).reset_index(drop=True) # Standardisierte Punktzahlで並び替えてDataFrameに格納
ranking = pd.merge(ranking, newslist[['Nachrichten Nr.', 'title', 'url']], on='Nachrichten Nr.', how='left') # Nachrichten Nr.Nach Kriterien zusammenführen. Fügen Sie einen Titel und eine URL hinzu.
ranking = ranking.reindex(columns=['Nachrichten Nr.', 'title', 'url', 'Text', 'Kumulative Punktzahl', 'Standardisierte Punktzahl']) #Spalten sortieren
display(ranking)
News Nr. th> | title | url | Text th> | Kumulative Punktzahl th> | Standardisierte Punktzahl th> | |
---|---|---|---|---|---|---|
0 | 6 | Familienramen "Goodwill War" "Yoshimura Family vs. Hexagon Family" Verrat und Erliegen der schwarzen Geschichte https://bunshun.jp//articles/-/40752 |
"Die" Hexagon-Familie "ist bankrott gegangen, aber die Anzahl der Geschäfte von" Family Ramen "als Genre steigt von Jahr zu Jahr und ... td>
| -238.437124 |
-0.408983 |
|
1 | 1 | "Ein riesiges Gelände von ca. 1.200 m2 in der Nähe des Bahnhofs" "Landnutzung, die den Wiederaufbau von Häusern und den Beitrag der Gemeinschaft in Einklang bringt" Fachleute setzen ... td> | https://bunshun.jp//articles/-/40010 | Mitsui Home wird von vielen Landbesitzern weiterhin als "Landnutzungspartner" ausgewählt. Landnutzung ... td> | -315.299051 | -0.438524 |
2 | 7 | << Hirate Schule und Abschluss >> "Traurige Sache in der Aktivität" geschrieben von Keyakizaka46 und Shiori Sato "Plötzliche Inhaftierung ... td>" von Sakurazaka46 | https://bunshun.jp//articles/-/40862 | << Guten Abend allerseits. Heute habe ich jedem etwas zu erzählen, der mich immer unterstützt. Ich, Sato ... td> | -136.887378 | -0.447344 |
3 | 5 | "Es ist ein lächerliches Missverständnis" an den Adachi Ward Council wegen homosexueller Diskriminierung ... Was mir der Brief meiner 81-jährigen Großmutter sagte td> | https://bunshun.jp//articles/-/40826 | "Oma ist wütend über die Versammlung der Gemeinde Adachi und scheint einen Brief zu schreiben." Diese Zeile stammt von meiner Mutter ... td> | -213.244051 | -0.460570 |
4 | 9 | Nicht "Länge" ... "Unerwartete Wörter", die von Schönheitssalons beim Haarschneiden gelehrt werden td> | https://bunshun.jp//articles/-/40694 | Die Bettdecke wird heutzutage immer komfortabler. Ich trug einen dünnen Mantel wegen des plötzlichen Temperaturunterschieds zwischen Morgen und Nacht ... td> | -192.702889 | -0.475810 |
5 | 8 | War die größte Errungenschaft der Abe-Administration das "Ainu Museum"? Die Wahrheit von "upopoi" mit 20 Milliarden Yen td> | https://bunshun.jp//articles/-/40841 | ──Ist das wirklich in Ordnung? Auf dem Rückweg, während ich auf der regnerischen Straße ein Auto miete, fühle ich mich so ... td> | -483.393151 | -0.476719 |
6 | 0 | Der frühere MADE-Anführer von Johnny, Mitsuru Inaba (29) und der ehemalige Berryz Kobo Idol "Shibuya Hotel Date ... td> | https://bunshun.jp//articles/-/40869 | Ryota Yamamoto (30) von der beliebten Einheit "Space Six" in Johnny's Jr. geht in einen illegalen Dark Slot Store ... td> | -196.888853 | -0.479048 |
7 | 3 | Es ist ein schlechter Effekt der "vertikalen Verwaltung"! Toru Hashishita spricht über "Was ist los mit der Go To-Kampagne?" Tdd> | https://bunshun.jp//articles/-/40877 | "Regulierungsreform" "Verwaltungsreform" "Vertikaler Durchbruch". Nach der Amtseinführung von Yoshii Sugas Regierung hörte ich oft das Wort "Reform" ... td> | -94.718989 | -0.480807 |
8 | 4 | Spuckende Polizisten, die wegen Behinderung öffentlicher Aufgaben verhaftet wurden Yomiuri Shimbun diszipliniert Seouler Büroreporter td> | https://bunshun.jp//articles/-/40868 | Ein Reporter (34) vom Yomiuri Shimbun Seoul Bureau wurde von den koreanischen Behörden wegen des Verdachts festgenommen, die Ausführung öffentlicher Angelegenheiten Mitte Juli behindert zu haben ... td> | -144.916148 | -0.489582 |
9 | 2 | "Lass uns 24 Stunden am Tag arbeiten, 365 Tage im Jahr" ... Watamis "Ideenbildung" war noch im Gange. Td> | https://bunshun.jp//articles/-/40843 | Watami Co., Ltd. wird weiterhin wegen Arbeitsproblemen angeklagt. Am 2. Oktober hat der Direktor des Verkaufsbüros "Watami's Home Cooking" ... td> | -321.838102 | -0.528470 |
Lassen Sie uns die positivsten und die negativsten Artikel anzeigen.
print("<<Positiver 1. Platz>>", end="\n\n")
for i in range(1, 4):
print(ranking.iloc[0, i])
<< Positiver 1. Platz >>
Familienramen "Goodwill War" "Yoshimura Family vs. Hexagon Family" Verrat und Erliegen der schwarzen Geschichte
print("<<Negativer 1. Platz>>", end="\n\n")
for i in range(1, 4):
print(ranking.iloc[-1, i])
<< Negativer 1. Platz >>
"Lass uns 24 Stunden am Tag arbeiten, 365 Tage im Jahr" ... Watamis "Ideenbildung" war noch im Gange https://bunshun.jp//articles/-/40843 Die Vorwürfe in Bezug auf Arbeitsfragen von Watami Co., Ltd. gehen weiter. Am 2. Oktober kündigte der Direktor des Verkaufsbüros "Watami's Home Cooking" eine Reihe von Empfehlungen des Arbeitsnormen-Inspektionsbüros an, um unbezahlte Überstunden, lange Arbeitszeiten von mehr als 175 Stunden pro Monat und Manipulationen an Zeitkarten durch Chefs zu korrigieren. Es ist. Überstunden von 175 Stunden pro Monat aufgrund der "weißen Firma", die Watamis Korrekturempfehlung vom Arbeitsamt wegen unbezahlter Überstundenvergütung bewirbt. Warum bin ich keine weiße Firma geworden? Anwesenheitsmanipulationssystem ohne Erlaubnis Herr A arbeitete auch lange Stunden, Tag und Nacht Ich verlor dieses Gefühl und lebte sogar mit Angst: "Wenn ich so schlafe, werde ich vielleicht nicht mehr aufwachen." "Wenn ich so gearbeitet hätte, wäre ich gestorben", behauptet A. Derzeit hat er eine psychische Erkrankung und ist während der Beantragung eines Arbeitsunfalls in Urlaub. Warum arbeitete Herr A jedoch weiterhin hart, während er die Gefahr seines Lebens spürte? Dahinter steckte ein System der "Ideenbildung" von Watami, das am Bewusstsein der Arbeiter arbeitete und sie dazu brachte, harte Arbeit anzunehmen. „Ich mache einen so guten Job, also werde ich mein Bestes geben, auch wenn es schmerzhaft ist." „Es ist nicht schmerzhaft, auch wenn es schmerzhaft ist. Es hilft mir eher.", Sagte sich Mr. A während der Überarbeitung. Tatsächlich war Herr A "stolz" auf Watamis Hausmannskost. Sicherlich hat Watamis "hausgemachtes Essen" einen Teil, der als "sozialer Beitrag" bezeichnet werden kann. Watamis hausgemachte Mahlzeiten haben das Konzept, regelmäßig billige Mahlzeiten an ältere Menschen zu liefern, die Schwierigkeiten haben, Mahlzeiten zu beschaffen. Die Lieferziele des Verkaufsbüros von Herrn A waren alle solche Personen. Allein lebende ältere Menschen, die jeden zweiten Tag zum Tagesdienst gehen und Probleme beim Essen haben, wenn sie jeden zweiten Tag zu Hause sind. Ältere Menschen, Menschen mit Behinderungen und Menschen, die sich um ihre Eltern kümmern, bestellen zwei Mahlzeiten, eine zum Mittagessen und eine zum Abendessen, und essen nur Watamis Hausmahlzeit. Aufgrund der schwierigen Lebensbedingungen gab es verschiedene Benutzer, die keine Zeit, Zeit und Geld für Mahlzeiten aufwenden konnten und sich auf mich verlassen mussten. Für Herrn A., der bis dahin im Bereich Pflege und Bildung gearbeitet hatte, war die Hausmannskost, die der Gesellschaft und der Gemeinde zugute kam, sehr lohnend. Wenn Sie jedoch versuchen, durch eine solche "Unterstützung" einen Gewinn zu erzielen, werden Sie durch das Opfer von Arbeitnehmern aufgrund langer Arbeitszeiten und niedriger Löhne unterstützt. Es kann als "armes / schwarzes Unternehmensgeschäft" bezeichnet werden. Zuerst dachte Herr A ruhig, dass Arbeitszufriedenheit und harte Arbeit getrennt werden sollten, und war mit Watami über die Schwierigkeit der Arbeit unzufrieden. Schlechte Arbeitsbedingungen waren für Herrn A jedoch kein Problem mehr. Herr A erinnert sich, dass es Watamis "Ideenbildung" war, die diese Veränderung bewirkte. „Arbeite 24 Stunden am Tag, 365 Tage im Jahr, bis du stirbst.“ Viele von dir kennen diesen Satz vielleicht. Es ist ein Wort, das in einem 400-seitigen Buch namens "Philosophy Collection" geschrieben wurde, das in den letzten 30 Jahren durch einen Auszug aus dem Text von Miki Watanabe herausgegeben wurde. Unmittelbar nach seinem Eintritt in das Unternehmen erhielt Herr A von der Firma eine "Sammlung von Ideen" und wurde aufgefordert, seine Haut zu behalten. Derzeit wurden aufgrund von Kritik extreme Ausdrücke wie "Arbeit bis zum Tod" gestrichen. Lassen Sie uns dennoch einige der beeindruckenden Ausdrücke zitieren, die in der "Philosophy Collection" (Ausgabe 2016), die Herrn A. übergeben wurde, nicht gelöscht wurden. <Ich denke nicht, dass Arbeit nur ein Weg ist, um Geld zu verdienen. Ich glaube, dass Arbeit die "Lebensweise" des Menschen selbst und "das einzige Mittel zur Selbstverwirklichung" ist. Deshalb sagt er selbst bei den Seminaren für neue Absolventen, obwohl ihm gesagt wird, dass es veraltet ist: „Arbeiten wir 24 Stunden am Tag, 365 Tage im Jahr.“> <Ich auch bei einer Unternehmensinformationssitzung: „Arbeit ist das Leben selbst. Holen Sie sich Geld für die Arbeit. Verwenden Sie keine Mittel, um dies zu tun. Lassen Sie uns die Menschheit durch Arbeit verbessern. "> <Watami Takushokus größtes Produkt ist als" Menschen "bekannt. Magokoro-san (Hinweis: hausgemachter Zusteller) ist eine Person, die ein Mittagessen mit "Herz" trägt und "Danke" erhält. Ich bete, dass niemand etwas falsch versteht und denkt, dass es eine Aufgabe ist, "Mittagessen" zu tragen und "Geld" zu erhalten.> Auf diese Weise ermutigt das Buch die Arbeit, Kunden für "Danke" zu danken. Dann gab es viele Inhalte, die die Arbeit für Löhne kritisierten und es rechtfertigten, sich zugunsten von Watami zu opfern. Herr A, der sich Watami anschloss, wurde vom Zweigpräsidenten gefragt: „Haben Sie Kapitel x der Philosophy Collection richtig gelesen?“ Als er Probleme hatte und die „Idee“ von Herrn Miki Watanabe nicht vollständig verstand. Es wurde festgestellt, dass. Darüber hinaus gibt es eine monatliche Beratung durch den Gebietsleiter, in der die Eindrücke des "Inhouse-Newsletters" dieses Monats (monatlich veröffentlicht und viele der Texte der Philosophiesammlung sind Auszüge von hier) und Eindrücke eines Teils der Philosophiesammlung. Sollte geschrieben werden. Darüber hinaus wurde alle vier Monate ein Bericht erstellt. Zwei Eindrücke wurden dem Umfang des Kapitels aufgezwungen, das aus der Sammlung von Ideen und den Worten von Herrn Watanabe hervorgeht, die in den letzten vier Monaten im Unternehmensnewsletter veröffentlicht wurden. Ursprünglich war es für Herrn A "unangenehm", diese Eindrücke einzureichen. Unwillig, während es kontinuierlich geschrieben wurde, "hatte ich das Gefühl, dass Miki Watanabes Ideen irgendwo gepflanzt wurden." Es war die Existenz des "Videobriefs", der das vertiefte. Jeden Monat wurde dem Verkaufsbüro ein "Videobrief" mit Miki Watanabe zur Verfügung gestellt. Der Erzähler der beliebten Fernsehsendung "Passionate Continent" wird ernannt, und Miki Watanabe erscheint jedes Mal. Es ist ein 30-minütiges Video, das die Pracht von Watamis Geschäft erklärt. Für dieses Video waren auch monatliche Impressionen erforderlich. Darüber hinaus schreibt nicht nur der Regisseur. Sogar der Lieferbote, der eigentlich ein privater Geschäftsinhaber sein sollte, wurde in den Vertrag aufgenommen, um jeden Monat den Videobrief anzusehen und seine Eindrücke zu schreiben. Wenn den Zustellern dieses Video im Verkaufsbüro gezeigt wird, schreiben sie ihre Abdrücke von Hand in ihre eigene Abdruckspalte (es gibt Platz für etwa 60 Zeichen) auf das Blatt, auf dem die Namen des Direktors und des Zustellpersonals aufgeführt sind. .. Das Zustellpersonal zahlt nur hundert und mehrere zehn Yen pro Zustellungsziel, aber es gibt keine neue Belohnung für das Ansehen dieses Videos oder das Schreiben ihrer Eindrücke. Wenn die Eindrücke des Lieferers Kritik an Watami oder Unzufriedenheit mit der Arbeit waren, wurde der Regisseur außerdem angewiesen, den Ort zu markieren und einen Kommentar hinzuzufügen. Als Originalgerät kommentierte Herr A höflich die Eindrücke aller Zusteller mit einer Anzahl von Zeichen, die die Eindrücke des Zustellers übertrafen. Und es wird gesagt, dass dieser "Kommentar" eine wichtige Rolle bei der "Ideenbildung" von Herrn A spielte. Herr A wurde vom Gebietsleiter seines Chefs gesagt: "Es ist auch Aufgabe des Direktors, das Lieferpersonal zu" nehmen ", um Eindrücke zu schreiben, die Watami loben." Sie versuchen, die Eindrücke des Lieferpersonals zu "kontrollieren". Herr A "manipulierte" jedoch nicht die Eindrücke des Lieferers. Zunächst erklärte Herr A als Direktor in seiner Impressionenkolumne vor dem Zustellpersonal die Wunder von Watamis Geschäft und seiner Arbeit bei Watami. Dann wird das Zustellpersonal, das später schreibt, natürlich die "Modellantwort" des Regisseurs kennen und es wird schwierig sein, negative Eindrücke zu schreiben. Trotzdem, wenn es einen Teil des Eindrucks des Zustellers gab, der mich befragte, wies ich im Kommentarbereich darauf hin und sagte: "Lassen Sie uns die Bedeutung noch einmal mit mir teilen." Im Laufe mehrerer Monate verschwanden die negativen Texte aus den Kommentaren des Zustellungspersonals, und zumindest scheinbar waren die Eindrücke, mich zu loben, allgegenwärtig. Dieser monatliche Kommentar, der die Pracht von Watami wiederholt, hat die "Ideenbildung" stetig beeinflusst. Was sich jedoch wirklich änderte, war nicht der Lieferbote, sondern Herr A, der Direktor. Herr A, der es wegen der Notwendigkeit seiner Arbeit hätte wagen sollen, Watami weiterhin zu "loben", lobte nach und nach Watamis Geschäft und Arbeit bedingungslos und sagte, er sei sich wirklich bewusst geworden, dass er sich mit Arbeitsproblemen nicht unzufrieden fühlen würde. Durch das mehrmalige Unterweisen der Eindrücke des Zustellungspersonals wurde das Bewusstsein von Herrn A "erzogen". Lassen Sie uns hier den Eindruck des Videobriefs zitieren, den Herr A geschrieben hat, um ihn dem Zustellpersonal zu zeigen. Es ist ein Eindruck, dass ich das Video von Watamis SDG-Bemühungen und Watamis Bemühungen zur Unterstützung von Schulen in Kambodscha gesehen habe. <Watami hat weiter gearbeitet, bevor das Wort SDGs in der Gesellschaft allgemein bekannt wurde. Ich bin wirklich dankbar, für ein solches Unternehmen zu arbeiten. Es gibt viele Dinge, die für die Gesellschaft in unmittelbarer Nähe von Ihnen nützlich sein können. Ich werde mich immer mit Mut und Stolz mit einem Lächeln bemühen> <Ich werde vorwärts gehen, damit ich ein glitzerndes Lächeln haben kann, und Mr. Magokoro mit einem glitzernden Lächeln> <Hinweis: Mr. A geht es etwas an Es ist meine Aufgabe, den Ort zum Leuchten zu bringen. Ich werde mein Bestes geben !!> Vielen Dank für Ihr Lob für Watamis Geschäft und für die Zusammenarbeit mit mir. Die Menge, die sich über den Raum hinaus erstreckt, und der Ausdruck, der ungewöhnlich erhebend ist. Wenn Herr A mir damals nicht wirklich "glaubte", wäre es schwierig, bisher zu schreiben. Herr A, der derzeit wegen einer Geisteskrankheit in Urlaub ist, blickte auf seine Eindrücke zurück und murmelte. "Es ist unangenehm, lesen Sie jetzt." Als die monatlichen Überstunden 150 Stunden überstiegen, dachte Herr A "Ich bin schlecht" über lange Arbeitszeiten. Ich war für die übermäßige Menge an Arbeit verantwortlich, aber ich akzeptierte sie für "Gedankenbildung" und begann mich selbst dafür zu beschuldigen, langsam zu sein. Zu dieser Zeit war einer der neuen Zusteller besorgt, als er Herrn A bis Mitternacht arbeiten sah und direkt darauf hinwies. "Mr. A, sind Sie nicht" verrückt "?" Zuerst war ich empört über "Ich bin eine unhöfliche Person", aber wie dieser Lieferbote mir oft sagte: "Ich bin lustig. Ich fing an zu denken. Darüber hinaus war der Einfluss des Ehegatten, der allein arbeiten sollte, ebenfalls erheblich, da er aufgrund der Koronakrankheit durch Telearbeit von zu Hause aus arbeiten musste. Als er sah, dass Mr. A um Mitternacht und an Feiertagen endlos arbeitete, überredete er ihn wiederholt, aufzuwachen. Schließlich beschloss Herr A., die von mir vertretene NPO-Gesellschaft POSSE und die schwarze Gewerkschaft der einzelnen angeschlossenen Gewerkschaften zu erreichen und Watamis Arbeitsprobleme in großem Umfang zu beschuldigen. Auf diese Weise konnte Herr A, der mit den Menschen um ihn herum gesegnet war und seine Anhänger traf, Watamis "Gehirnwäsche" loswerden und sich den Arbeitsproblemen stellen, die er bisher hatte. Herr A fühlt sich jetzt schuldig, dass er möglicherweise in Watamis Arbeitsprobleme verwickelt war. "Wenn ich einen Fehler mache, denke ich, dass ich das Gleiche getan habe wie mein Chef." Um seiner Verantwortung gerecht zu werden, wird Herr A Watami weiterhin beschuldigen. Fotos dieses Artikels (8)
Ich habe das Gefühl, dass ich es richtig bewerten konnte!
Das ist alles für die Erklärung. Danke fürs Lesen.
Recommended Posts