La dernière fois a gratté un article sur Bunharu Online et effectué une analyse négative / positive. Cette fois, j'utiliserai «gensim» pour exécuter «TF-IDF» sur le contenu de l'article sur Bunharu Online et en extraire des mots importants!
À propos de TF-IDF https://mieruca-ai.com/ai/tf-idf_okapi-bm25/ À propos de tfidf de gensim https://qiita.com/tatsuya-miyamoto/items/f1539d86ad4980624111
Si TF-IDF est élevé, ce sera un mot qui caractérisera la phrase. Je pense que l'on peut dire que le mot n'est pas si important. Par exemple, si vous consultez un journal sportif et que vous prêtez attention à un article et que le texte de cet article contient le mot "home run", Il est facile de voir que le contenu de cet article concerne le baseball. Dans de tels cas, le mot TF-IDF pour le mot baseball est susceptible de montrer une valeur élevée. Par contre, disons que le texte d'un article contient le mot player. Puisqu'il s'agit d'un journal sportif, il est probablement beaucoup utilisé dans chaque article. Dans de tels cas, je pense que le mot TF-IDF pour le mot joueur est faible. Pour plus de détails, veuillez consulter ici.
Cette fois, j'utiliserai TF-IDF pour extraire des mots importants pour chaque article. Travaillons maintenant. Commencez par charger le rallye labial requis.
from gensim import corpora
from gensim import models
from janome.tokenizer import Tokenizer
from pprint import pprint
import pandas as pd
import logging
J'ai enregistré Bunharu Online créé dans l'article précédent en tant que fichier CSV, je vais donc l'utiliser.
df = pd.read_csv('/work/data/BunshuOnline/news.csv')
doc_list = list(df.news_page_list)
Vérifions le contenu de l'article.
for i in range(10):
print('%s.' % i, '〜%s〜' % df['title'][i])
print(df['news_page_list'][i][:200], end='\n\n')
~ La turbulence dépend-elle du déroulement des rookies? Faites attention à la première équipe de la "génération monstre" Lisez le 97e tour préliminaire de Hakone Ekiden ~ "Chaque année, les gens disent:" Ekiden est différent des camions, donc les élèves de première année ne devraient pas en attendre trop en tant que force. "Mais cette année, l'ambiance est un peu différente." C'est la surprise de cette saison. Le journaliste en charge du journal sportif Ekiden parle. Dans l'épave corona qui se poursuit depuis le début du printemps, le monde du sport a été grandement influencé cette année. La même chose est vraie dans le monde étudiant à distance, qui est un grand soutien non seulement pour l'annulation du tournoi du printemps à l'été, mais aussi pour les sessions d'enregistrement et la pratique dans chaque école.
~ Un smartphone ou une tablette n'est-il pas insuffisant? Quel est le meilleur PC pour les «leçons en ligne»? 2020 n'a été qu'une année importante à noter dans l'histoire de l'éducation numérique. Tout d'abord, l'enseignement de la programmation est devenu obligatoire à l'école primaire. Et avec l'arrivée inattendue du Corona, l'apprentissage avec des appareils numériques est devenu inévitable. Alors que toute la famille est restée à la maison à Corona, de nombreux lecteurs auraient eu l'expérience de devoir se concurrencer pour un seul PC à la maison parce que les parents travaillent à distance et les enfants travaillent en ligne.
~ Une ancienne épouse et un enfant confessent le DV de M. Yoshifumi Yokomine, le fondateur de l’éducation infantile «à la Yokomine» Un enfant de l'école maternelle saute 10 étapes dans la boîte de saut et marche à l'envers. De plus, il a appris quatre-vingt-dix-neuf calculs, lu et écrit des kanji et lu en moyenne 2000 livres en trois ans. Avec la devise «Chaque enfant est un génie», il existe une méthode pédagogique originale qui s'est répandue de Kagoshima à tout le pays. Cette méthode éducative, qui enflamme les aspirations et la compétitivité des enfants et développe leur capacité à apprendre par eux-mêmes sans les forcer, est appelée le «style Yokomine». Aujourd'hui, environ 400 crèches et jardins d'enfants dans tout le pays ont introduit ce programme horizontal.
~ Président de la société BTS, 8e plus grand millionnaire boursier en Corée ... "Le point commun est ringard" J.Y.Park a parlé du vrai visage ~ C'était un gros problème avant l'inscription. Le 15 octobre, "Big Hit Entertainment (BH Entertainment)", l'agence de "Bulletproof Boy Scouts (BTS)", a été cotée sur KOSPI (Korean Exchange). Le prix initial est 2,6 fois le prix de l'offre publique et la valeur de marché est de 8 816,9 milliards de wons (environ 880 milliards de yens à 15 h 00 le même jour). Il est devenu le plus grand bureau de musique en Corée, dépassant de loin la valeur marchande combinée des trois principaux bureaux de musique en Corée. fondateur,
~ L'histoire que le comportement est devenu suffisamment suspect pour être surpris par le flux de "Je n'ai pas besoin d'un sac de caisse" ~ Saho Yamamoto, un artiste de manga, décrit les jours difficiles qui attirent les gens difficiles. Cette fois, j'ai parlé de faire du shopping dans une pharmacie et un supermarché. Mis à jour tous les jeudis. La mise à jour a été retardée récemment, mais la prochaine sera publiée le jeudi 22 octobre (probablement). Le livre "Aujourd'hui est un mauvais jour" est maintenant en vente. Le volume 1, rempli des événements de M. Yamamoto, est une excellente représentation du «combat» avec ce bureau de paroisse qui était en feu !! Aujourd'hui est aussi un jour difficile 1 Saho Yamamoto
~ Haruma Miura, Yuko Takeuchi, Hana Kimura ... Pourquoi la "chaîne du suicide" de l'artiste se produit-elle? ~ Cela fait presque trois mois que Haruma Miura est mort, mais il y a encore des rapports sur sa mort. Ce n'est pas seulement Miura-san. C'est un avertissement selon lequel les reportages sur la mort d'artistes tels que Hana Kimura, Hoshi Ashina, Takashi Fujiki et Yuko Takeuchi, qui sont apparus dans l'émission de téléréalité "Terrace House", pourraient conduire à la "prochaine mort". , M. Tamaki Saito, professeur à l'Université de Tsukuba. «C'est difficile à dire, mais lorsqu'un patient meurt en psychiatrie, de nombreux patients choisissent de mourir de la même manière.
~ Obtention du matériel interne Indemnité journalière de 40 000 yens pour les employés détachés auprès du «GoTo Travel Secretariat» La mesure de soutien au tourisme du gouvernement "GoTo Travel Project" a été ajoutée pour les voyages à destination et en provenance de Tokyo à partir du 1er octobre. Selon un entretien avec "Weekly Bunharu", une grande partie de l'indemnité journalière est versée par le gouvernement aux employés d'une grande agence de voyage détachée auprès du "GoTo Travel Secretariat" qui est en charge de l'opération. Le Secrétariat de GoTo Travel se compose de KNT-CT Holdings, qui a Kinki Japan Tourist sous son égide, dirigé par JTB, qui est la plus grande du secteur, à l'exception de la National Travel Industry Association (ANTA).
~ "Quel est ton âge? Pourquoi suis-je le seul à" faire tomber "!" "Le dernier monstre secrétaire général" Toshihiro Nikai a été affûté ~ Toshihiro Nikai, qui bat le record d'emploi total du secrétaire général du LDP, est souvent signalé comme un dormeur, c'est-à-dire une «personne qualifiée en technologie politique». On sait que la politique est pro-collège et membre des projets de transport et d'aménagement du territoire, mais l'idée politique n'est pas étonnamment connue. A l'étage, qui n'a pas vu grand-chose dans les médias, a parlé cette fois de «l'origine de la politique» dans une interview. On m'a donné 30 minutes, et dans le temps limité, j'ai posé un certain nombre de questions à l'étage en succession rapide.
~ "Mettez le corps démembré dans un pot ..." Takahiro Shiraishi a témoigné que toute l'histoire du crime horrible ~ "Je me suis retourné et j'ai serré mon cou avec mon bras gauche." Takahiro Shiraishi a été accusé de vol et de rapports sexuels forcés dans l'affaire où les corps de neuf hommes et femmes ont été retrouvés dans un appartement de la ville de Zama, préfecture de Kanagawa en octobre 2017. Le procès du juge du défendeur (30 ans) s'est déroulé le 14 octobre à l'antenne de Tachikawa du tribunal de district de Tokyo (juge Naokuni Yano). Ce jour-là, une question a été posée sur le cas de M. C (20 ans, homme à l'époque) qui a tué la troisième personne. L'accusé Shiraishi dit que M. C n'a pas accepté d'être tué, au moment du meurtre
~ Pas "longueur" ... "Mots inattendus" que les salons de beauté enseignent lors de la coupe de cheveux ~ Les édredons sont de plus en plus confortables ces jours-ci. Pour ceux d'entre vous qui envisagent de mettre une fine couche ou de changer de coiffure selon les spécifications automne / hiver en raison de la soudaine différence de température entre le matin et le soir. Lorsque vous faites une réservation et que vous rencontrez un salon de beauté, ne savez-vous pas comment transmettre votre espoir? Comment puis-je dire à l'artiste de beauté cette fois? C'est une histoire. Voici quelques exemples de commandes clients courantes.
Effectue une analyse morphologique.
Il peut être facilement implémenté en utilisant Tokenizer () de gensim.
Nous n'avons pas besoin du symbole, nous utilisons donc part_of_speech pour l'exclure.
t = Tokenizer()
wakati_list = []
for doc in doc_list:
tokens = t.tokenize(doc)
wakati = []
for token in tokens:
if token.part_of_speech.split(',')[0] not in ['symbole']:
wakati.append(token.base_form)
wakati_list.append(wakati)
Vérifions si la division et la suppression du symbole ont réussi.
for wakati in wakati_list:
print(wakati[:10])
["Annuel", "Da", "Ekiden", "est", "Camion", "et", "est", "Autre", "Da", "De"] ['2020', 'année', 'est', 'exactement', 'numérique', 'éducation', '', 'histoire', 'pour', 'note spéciale'] ['Nursery', 'Children', 'Ga', 'Jump Box', '10', 'Steps', '', 'Jump', 'Inverted', 'Walking'] ["Listed", "Before", "From", "Fuss", "Da", "Ta", "10", "Month", "15", "Day"] ["Dessin animé", "Maison", "", "Yamamoto", "Sa", "Hosu", "N", "Ga", "Problème", "Da") ['Miura', 'Printemps', 'Cheval', 'San', 'Ga', 'Die', 'Te', 'From', '3', 'Month'] ['10', 'Mois', '1', 'Jour', 'De', 'Tokyo', 'Départ / Arrivée', '', 'Voyage', 'Mo'] ['Parti libéral', 'Secrétaire', 'Chef', '', 'Total', 'En service', 'Record', 'to', 'Update', 'Medium'] ['Back', 'to', 'turn', 'te', 'neck', 'to', 'left arm', 'with', 'squeeze', 'ta'] ['Comfort', 'ga', 'progressivement', 'confortable', 'naru', 'te', 'come', 'ta', 'today', 'this']
Ensuite, utilisez «corpus» de «gensim» pour attacher l'ID au mot.
dictionary = corpora.Dictionary(wakati_list)
print('==={mot: ID}===')
pprint(dictionary.token2id)
=== {mot: ID} === {'!': 1021, '!!': 1822, ',': 2023, '-': 568, '.': 569,
'Quoi': 1084,
'Pourquoi': 1085,
«D'une manière ou d'une autre»: 2693,
«Non»: 2694,
'À': 104,
~~~~ <omis> ~~~~~
«Memo App»: 2497,
'Mental': 1890,
'Membres': 174,
'Fabricant': 742,
"Moderne": 743}
Ensuite, comptez le nombre d'occurrences pour chaque article pour chaque mot.
```python
corpus = list(map(dictionary.doc2bow, wakati_list))
print('===(ID de mot,Nombre d'apparitions)===')
pprint(corpus)
```
=== (identifiant du mot, nombre d'occurrences) ===
[[(0, 10),
(1, 5),
(2, 1),
(3, 1),
(4, 1),
~~~~ <omis> ~~~~~
(2872, 1),
(2873, 1),
(2874, 2),
(2875, 1),
(2876, 1)]]
## Mise en œuvre de TF-IDF
Ensuite, calculez TF-IDF en utilisant les données du nombre d'occurrences.
Utilisez des «modèles» de «gensim».
`gensim` a vraiment beaucoup de fonctionnalités.
Affichez une partie du résultat du calcul.
```python
test_model = models.TfidfModel(corpus)
corpus_tfidf = test_model[corpus]
print('===(ID de mot, TF-IDF)===')
for doc in corpus_tfidf:
print(doc[:4])
```
=== (mot ID, TF-IDF) ===
[(0, 0.010270560215244124), (1, 0.010876034850944512), (2, 0.011736346492935309), (3, 0.006756809998052433)]
[(0, 0.0042816896254018535), (3, 0.005633687484063879), (5, 0.008303667688079712), (7, 0.005633687484063879)]
[(0, 0.001569848428761509), (1, 0.006649579327355055), (3, 0.005163870001530652), (5, 0.00761118904775017)]
[(0, 0.004119674666568976), (1, 0.006543809340846026), (3, 0.006775642806339103), (5, 0.02496707813315839)]
[(0, 0.01276831026581211), (1, 0.013521033373868814), (7, 0.04200016584013773), (13, 0.04200016584013773)]
[(1, 0.007831949836845296), (2, 0.0422573475812842), (7, 0.024328258270175436), (11, 0.00625933452375299)]
[(0, 0.00115918318434994), (1, 0.004910079468851687), (9, 0.013246186396066643), (11, 0.0039241607229361)]
[(0, 0.0014966665107978136), (1, 0.006339594643539755), (2, 0.06841066655360874), (3, 0.009846289814745559)]
[(0, 0.0026696482016164125), (1, 0.003769373987012683), (5, 0.004314471125835394), (6, 0.007739059517798651)]
[(0, 0.0011200718719816475), (25, 0.020161293695669654), (26, 0.06631869535917725), (27, 0.0037917579432113335)]
Puisqu'il est difficile à comprendre avec le mot ID, le mot est affiché.
```python
texts_tfidf = []
for doc in corpus_tfidf:
text_tfidf = []
for word in doc:
text_tfidf.append([dictionary[word[0]], word[1]])
texts_tfidf.append(text_tfidf)
print('===[mot, TF-IDF]===')
for i in texts_tfidf:
print(i[20:24])
```
=== [mot, TF-IDF] ===
[["U", 0.022445636964346205], ["m", 0.11222818482173101], ["Jusqu'au bout", 0.022445636964346205], ["Là-bas", 0.022445636964346205]]
[['Solid', 0.02616203449412644], ['Shut up', 0.002898944443406048], ['Ja', 0.004151833844039856], ['Let', 0.005797888886812096]]
[["This", 0.0026571889707680363], ["More", 0.013652529666738833], ["Shut up", 0.010628755883072145], ["Ja", 0.003805594523875085]]
[["Ici", 0,006775642806339103], ["Koto", 0,008239349333137951], ["Ceci", 0,0034865640168190394], ["Eh bien", 0,015732555392960215]]
[["Article", 0.006384155132906055], ["Accueil", 0.04200016584013773], ["Récemment", 0.07295284301359403], ["That", 0.09752136505414427]]
[['Te', 0.053620572470353435], ['Can', 0.01792908931110876], ['is', 0.03132779934738118], ['But', 0.0018489852575983943]]
[['That' ', 0.0034775495530498207], [' In the first place ', 0.010081089692211678], [' That ', 0.020865297318298923], [' It ', 0.019640317875406748]]
[['Ja', 0,007256376823656625], ['Too' ', 0,017102666638402184], [' Let ', 0,005066636590574954], [' Yes ', 0,01451275364731325]]
[[«Bien sûr», 0,009037509134257363], [«Ja», 0,004314471125835394], [«Bien sûr», 0,018075018268514726], [«Oui», 0,012943413377506183]]
[["Oui", 0,005430510747744854], ["Cela", 0,006720431231889886], ["En premier lieu", 0,00974094962350806], ["Que", 0,01948189924701612]]
## Produisez des mots de haut rang avec TF-IDF
Affichons enfin les principaux mots de chaque article avec TF-IDF!
Cette fois, je n'afficherai que les mots avec TF-IDF de 0,1 ou plus!
```python
for i in range(len(texts_tfidf)):
print('')
print('%s.' % i, '〜%s〜' % df['title'][i])
for text in texts_tfidf[i]:
if text[1] > 0.13:
print(text)
```
0. ~ La turbulence dépend-elle du déroulement des rookies? Faites attention à la première équipe de la "génération monstre" Lisez le 97e tour préliminaire de Hakone Ekiden ~
[«Rookie», 0.29179328053650067]
["Préliminaire", 0,26934764357215446]
['Réunion', 0,2353324044944065]
["Grade", 0.13467382178607723]
[«École», 0.17956509571476964]
["Directeur", 0.13467382178607723]
["Pratique", 0.15711945875042344]
["En cours d'exécution", 0.15711945875042344]
[«Ekiden», 0,3591301914295393]
[«Lycée», 0,14119944269664392]
1. ~ Un smartphone ou une tablette n'est-il pas insuffisant? Quel est le meilleur PC pour les «leçons en ligne»?
['.', 0.17005322421182187]
['/', 0.2807205709669065]
['LAVIE', 0.1684323425801439]
['Office', 0.1310029331178897]
['PC', 0.561441141933813]
["Enfants", 0.2092962759530115]
["Apprentissage", 0.14971763784901682]
['Installé', 0.1684323425801439]
['Fonction', 0.1684323425801439]
2. ~ Une ancienne épouse et un enfant confessent le DV de M. Yoshifumi Yokomine, le fondateur de l’éducation infantile «à la Yokomine»
["Éducation", 0.15248089693189756]
['A', 0.1435114324064918]
[«Mine», 0,1715400483643072]
["Horizontal", 0,1715400483643072]
[«Nursery», 0,37738810640147585]
[«Yoshifumi», 0,3259260918921837]
["Enfant", 0,2744640773828915]
[«Enfants», 0,2573100725464608]
["Violence", 0,2230020628735994]
[«M.», 0.17938929050811475]
[«Grand-mère», 0.13723203869144576]
[«Kagoshima», 0.13723203869144576]
3. ~ Président de la société BTS, 8e plus grand millionnaire boursier en Corée ... "Le point commun est ringard" J.Y.Park a parlé du vrai visage ~
['.', 0.14159299853664192]
['BH', 0.20257378379369387]
['BoA', 0.13504918919579592]
['JYP', 0.13504918919579592]
['SM', 0.13504918919579592]
["Artiste", 0.13504918919579592]
[«Bureau», 0,27009837839159184]
["Milliard", 0,13504918919579592]
[«Société», 0,28318599707328385]
["Corée", 0.40514756758738774]
4. ~ L'histoire que le comportement est devenu suffisamment suspect pour être surpris par le flux de "Je n'ai pas besoin d'un sac de caisse" ~
["Mise à jour", 0.14590568602718806]
['!!', 0.13952153089428201]
['22', 0.13952153089428201]
["Grate", 0.13952153089428201]
["Aujourd'hui", 0,27904306178856403]
["Peut-être", 0.13952153089428201]
["Spell", 0.13952153089428201]
["Hosu", 0.13952153089428201]
[«Horu», 0,13952153089428201]
["Problème", 0.13952153089428201]
["Happening", 0.13952153089428201]
[«Bureau du quartier», 0.13952153089428201]
['Livre', 0.13952153089428201]
["Problème", 0.13952153089428201]
["Journée difficile", 0,27904306178856403]
["Significativement", 0,13952153089428201]
["Populaire", 0.13952153089428201]
[«Yamamoto», 0,41856459268284607]
['Volume', 0,13952153089428201]
["Attirer", 0.13952153089428201]
["Jeudi", 0.13952153089428201]
['La prochaine fois', 0.13952153089428201]
["Hebdomadaire", 0.13952153089428201]
["Dessin animé", 0.13952153089428201]
["En feu", 0.13952153089428201]
[«Pharmaceutique», 0,13952153089428201]
["Clog", 0.13952153089428201]
["Shopping", 0.13952153089428201]
["Combattre", 0.13952153089428201]
5. ~ Haruma Miura, Yuko Takeuchi, Hana Kimura ... Pourquoi la "chaîne du suicide" de l'artiste se produit-elle? ~
[«San», 0,14596954962105263]
["Projection", 0.16163344929474321]
[«Kimura», 0.16163344929474321]
[«Décès», 0.4849003478842297]
["Autodestruction", 0.14790071653449471]
["Célébrité", 0,25419809869738275]
6. ~ Obtention du matériel interne Indemnité journalière de 40 000 yens pour les employés détachés auprès du «GoTo Travel Secretariat»
["Voyage", 0,1593642568499776]
[',', 0.20266551686226678]
['GoTo', 0.32933146490118353]
[«Voyage», 0.20266551686226678]
["Travail de bureau", 0.3546646545089669]
["Appuyé", 0.1519991376467001]
[«Major», 0,17733232725448345]
[«Station», 0,3546646545089669]
["Ingénieur", 0.17733232725448345]
["Technologie", 0.17707139649997508]
[«Indemnité journalière», 0,25333189607783346]
["Employés", 0,17733232725448345]
7. ~ "Quel est ton âge? Pourquoi suis-je le seul à" faire tomber "!" "Le dernier monstre secrétaire général" Toshihiro Nikai a été affûté ~
[«2», 0,25653999957603274]
["Plancher", 0,3200732773176539]
["Pays", 0,13717426170756597]
[«Toshihiro», 0,13083466706402622]
["Origine", 0,13083466706402622]
[«Balance», 0,16354333383003275]
[«Politique», 0.26166933412805243]
["Développement", 0.22896066736204587]
[«Assemblée préfectorale», 0,13083466706402622]
[«Secrétaire», 0.16354333383003275]
["Route", 0.22896066736204587]
8. ~ "Mettez le corps démembré dans un pot ..." Takahiro Shiraishi a témoigné que toute l'histoire du crime horrible ~
[«San», 0,2575923910688616]
['C', 0.5029569855573655]
[«Tuer», 0,3889560913276654]
[«Shiraishi», 0,3695082867612821]
["Défendeur", 0.3889560913276654]
9. ~ Pas "longueur" ... "Mots inattendus" que les salons de beauté enseignent lors de la coupe de cheveux ~
[«Maître», 0,23953570973227745]
["Client", 0.19582749984882405]
[«Cheveux», 0,14687062488661806]
["Coiffure", 0.44061187465985413]
["Beauté", 0.44061187465985413]
C'était une simple implémentation de «gensim», mais il semble que seuls les mots qui semblent importants dans une certaine mesure peuvent être extraits.
J'ai trouvé «gensim» très utile.
La prochaine fois, j'utiliserai `TF-IDF` et` word2vec` pour décider du thème et implémenter le clustering!