La quantité de fonctionnalités est extraite du texte à l'aide de scikit-learn, qui est une bibliothèque pour l'apprentissage automatique de python. Plus précisément, le texte est divisé et la quantité de caractéristiques (identité) est extraite à l'aide de tfidf. Je n'ai trouvé aucun code pour afficher les mots pondérés par tfidf à l'aide de scikit-learn, alors j'ai pensé que cela valait la peine de poster cette fois. J'espère que cela vous sera utile.
Dans cet article, à partir d'un roman que j'ai écrit à l'avance "Courir, marchez d'abord !! Pour marcher, faites de votre mieux !!" Il est censé être fait après l'extraction de la nomenclature. Puisque nous recherchons des mots qui apparaissent souvent dans les documents, nous n'obtenons que la nomenclature à l'avance car les mots auxiliaires sont un obstacle.
Extraire uniquement la nomenclature du texte http://qiita.com/NoriakiOshita/items/2b8119837e7ca5b77089
De plus, si vous vous référez aux articles suivants, ce sera plus facile à comprendre.
Pensez à la vectorisation des phrases de base http://qiita.com/NoriakiOshita/items/6423b5a16ca5e90ab15c
hashire01-meishi.txt
I Université Étudiant Université Tête de librairie D'innombrables pièces de puzzle Mathématicien Homme Mathématiques Nori What I Room Desktop Girl Speaker Voice I This You Bug You Feeling Adversaire parler ses limites scientifiques Je sors son Hatsune Miku Je suis moi-même Écran PC Si elle n'initialise pas la variable bug, c'est elle-même. Elle balance son bras. Sentons l'inclinaison de son bras gauche. Épaule. Je me suis concentré tout le temps. Je suis fatigué. Je suis fatigué. Je suis fatigué. Car Sound Feeling Commodité Raison Ceci est un bonbon littéraire - Commis à basse tension Kochi Rei-dori Coin principal Économie Il est temps IoT-Ai-ti Ce que je suis moi-même Elle Électroménagers Internet Monde Internet Monde SF Nouvelle réalité Destination Manga Season Summer Zombie Populaire Gakuen Zombie Ceci est une page Zombie Lycéenne Quel sentiment d'entrejambe Monde familial de jus Ces mondes humains Witgenstein lui-même Maison maison Porte Où Commodité Mère Ma chambre Mère Nuit Nori Qui je suis Voix I Sa chambre Capteur de porte Nom Ton Reconnaissance vocale elle-même elle
hashire02-meishi.txt
La réponse en elle-même est la personne que vous aimez. Je me réveille le matin Je suis sur le campus Je suis dans ma classe Les nombres C'est tout le monde J'ai le sens des responsabilités Un jour Intimidation de classe Écolière Je suis le président Je ne le fais pas Je suis tout un spectacle Je suis une chaise de classe Je suis un président Je suis un président Je suis un homme au crâne rasé Je suis un camarade de classe Je suis une personne que je ne peux pas respirer Quantité de sueur Président Cette femme pue les ordures Filles I Je me tais moi-même Président Ce que je peux faire Filles I Intimidation silencieuse Auto-intimidation Politique d'intimidation Intimidation en salle de classe I Classe humaine la plus basse
hashire03-meishi.txt
Sentiments Car Sounds Autres Autres Stasta Pockets Hands Destinations Places What I Smartphone Installation She What So What What You She Nori Who I Myself She First Play Artificial Intelligence Book Local Bookstore Copipe First C Language Four Rules Junior High School School I Class Who It World Oneself Elle Riverbed Water Sound Feeling Réinitialiser Riverbed Street Light Moth Petits insectes Ultraviolet Je me sens Re-Invasion Pocket Her Vibration Volume fort Poitrine This My Home Her Home Station PC Cable Smartphone Terminal Screen D'innombrables numéros d'alphabet I Who Feels Keyboard Her I Feeling Home Directory Folder Double Cliquez sur Aucun fichier de sauvegarde Je suis vide Elle se sent non autorisée Accéder à son dernier mot Ki IP Étranger Saba Dori Ce Malicieux Qui Cœur En Colère Sa Voix I Collège Connaissance De Sa Méthode En quelque sorte Voix Ce I Écouteurs Voix Du Parent À L'extérieur De La Fenêtre Vous Longtemps Lycée Naka Meilleur Ami Ken Inari Seulement Maison d'ami Chambre Mussai Chambre Inari Chambre Inari D'innombrables ordures Pieds que je loge Taille du sol Toi C'est ton visage Que ressentez-vous Elle ressent Ma maison Maison Inari Salle à ordures Sortez de la taverne
hashire04-meishi.txt
Après un long moment Ami Inari Lycée Quelqu'un seul Intelligence artificielle Elle Inari Ki Ici ou quoi Université Faculté d'Ingénierie Faculté d'Ingénierie Robot I Quel Matériel Logiciel Meilleur Ami I Elle Elle Preuve Source Quelqu'un Son Humain Next Computer Movie Intelligence Artificielle OS Son Ordinateur Plusieurs Personnes I Qui Moi-même Inari What I'm Home Hokkaido University Inari I University Nori I High School Regular Exam Grade Nori One and National Parents I'm Mechanical Inari High School Inari Mutual Dreams Feeling Specialized Faculty Specialized Artificial Intelligence Software Inari Voice Foam Surface Jockey Beer Mizo moi-même Elle est une élève du lycée Amie d'Inari Inari, elle fait face à Inari Meilleur ami et quelqu'un d'autre Quelqu'un vous pèse Je fais face Vous êtes une poignée C'est une vie empilée Je suis dans le futur Je suis dans le futur Inari Inari Pour le moment, la station la plus proche Smartphone elle données données problème électrique inattendu ce qu'elle lui indique trouver nom son terminal multiple elle multiple son squelette ex petite amie coeur en colère bonjour maître ce premier message d'initialisation vrai fichier journal je nomme ma petite amie figure I mon nom principal Omae Hontoni Hontoni Je nomme Hontoni Son nom Je nom Son nom Que dois-je faire?
hashire05-meishi.txt
Elle n'a pas d'autre choix que de marcher dans le futur Quelque part intérieurement grave information électronique aime ça ami émotion préférence de l'utilisateur sujet qui est contenu ce qu'il est initial moi mécanisme de pensée hontoni visage visage vent écran de smartphone petite amie mienne voix pinty chanson de Noël mine smartphone écran salle retour Wright Meri Chris Mars Alone Someone-Nory Smile Christmas What this guy-I Nori 1 day here Christmas song Ce qu'elle je chante moi-même C'est un corps humain vivant Sang et chair externes C'est un ordinateur C'est moi C'est moi Elle Elle Qu'est-ce que je suis ma meilleure amie Inari Smartphone Message App Human Voice It Ami Naka Inari Inari Cette société cotée en bourse grâce au gestionnaire de la section des affaires de courtoisie Sentez-vous vous-même Atmosphère Ce sont des données en ligne Approximativement des données de données Argolim Ce qu'une personne scientifique peut se permettre enseignant données d'enseignant machine humaine machine de données dispositif de données il prend en charge vecteur machine guy algorithme données machine learning raison je moi-même cette intelligence artificielle Inari Ki je chanson d'intelligence artificielle moi-même quoi-je chercheur ki source autres Ma source ma propre propension
hashire06-meishi.txt
Next Inari University Seminar Leisure Time I'm Nori Ka-Dori Voice I I'm Duvet Blanket Window-Door Room Clothes Inari Space Mars You Room I'm Living Upstairs I Room I Room Mother You Singer Or Idol Leo-chan Singer What Leo-chan Voice Singer Songwriter Artificial Intelligence Son intérêt humain 1 jour I lol Rides du visage Après un long moment je suis humain je suis totalement ce que je suis Inari Machine Learning Faculté de génie social Institut humain Connaissance de l'information Inari Graduate School Human Institute Teacher Face Street Facial Expression Graduate School Graduate School Graduate School My Way It Peut-être Graduate School Premier cycle Laboratoire Atmosphère Atmosphère Compatibilité Professeur Local Tokyo Tokyo I Hokkaido Kitadai Choice Event Chercheur universitaire de Tokyo I Hokkaido Todai Oui Oui Capteur Todai et Tsukuba Sensei Inari C'est le contenu moi-même Cuisiner le riz Contenu Ordinateur Un sous-contenu préféré Self Talk Personnes principales Companion Network Song Intelligence artificielle Son contenu principal Tossa Computer Power Folder Monitor Inari It Two People Face-to-face Code First Voice Autres Code Self Feeling Variable on off applePi Small First Words Upper Words Upper Words Upper Level Rule Nora Intermediate Code Feeling Here State Spell Stete Contenu Livre Adversaire Auto-illumination Livre Code Auto-style Génération coutumière Vous y codez Who-There PC I Source Professeur Vraiment merci Laboratoire universitaire de Kita C'est un laboratoire privé lui-même C'est une faculté 1ère année Spécialité des arts libéraux Livre O'Reilly Série d'apprentissage automatique Personnes Content Impatient Nori Knowledge Body Attitude Calorie Lol Je me sens face à ce moniteur de visage I Ce virus Ce que je pense Antivirus Virus What Nori Source Code Code source externe I Ses mots Son système d'accès non autorisé Wireshark Your Artificial Intelligence Serveur outre-mer Yoetosa Voice J'ai l'histoire vidéo ... Inari Face Pity Gaze Data OS Logiciel de sécurité réinstallé I Logiciel de sécurité responsable I Elle Code source Cracking Reçu Quelqu'un externe Il Je PC Vous télécharge son monde Lol Nose Guy I This You She World People PC Dream Man She What a Stupid Overseas No. 1 Tsu Server World Quelqu'un Virus I Données PC Il se serveur également lui-même Soft Electric Town Clothes Town Bag A You Inari Ki Nabe-Futari Voice Bag Soft Mochi Nabe
hashire07-meishi.txt
Logiciel de sécurité Type Impression qui non, que je saisis ici Virus Virus Connaissances propres Virus Inari Inverser de nouvelles espèces Virus de correspondance de modèle de virus Virus de dysfonctionnement Virus de nouvelle espèce Les deux comme Logiciel d'illustration Logiciel de montage vidéo Logiciel de montage vidéo Travail vidéo Telop Son smartphone de poche Dispositif à lunettes Hon Inari I quoi C'est un dispositif de lunettes du monde dispositif de prise de nez dispositif de nez là-bas lumière AR ceci elle elle en trois dimensions moi son logiciel de sécurité Nori ours personnage il popularité vrai moi cette rue réponse quelqu'un pense partenaire intelligence artificielle partenaire équipement électrique et électronique drone dernière performance informatique drone lycéen adulte parlement bâtiment moi It Technician PC Software This Virus Website Source Code World I Chest Source Code I Human Human Malicious University Chick Source Code She I It Direction Signs Deep Reading This Darkness Alone Inari I As It Is Bytes Inari Bicycle Dashing Inari What Door Key Pot de mère Voice Dinner Ce que vous ressentez Ce que vous êtes autour de votre sac Inari Je me sens sombre Merci Motsu! Grand échange de motsu et sommeil
hashire08-meishi.txt
I Quel espace Sol Voix Mur Se sentir moi-même Espace I Seul Ce que seul Choses Seul Espace Je ressens Parents I Ça Ressens Espace Espace Espace Mur It Ground Sensation Ascenseur Direction de voyage Sens inverse Je ressens de l'inconfort Je ressens de l'inconfort Moi-même Bakubaku Mon cœur Bruit Poitrine Les deux mains moi-même mon pied droit pied gauche en alternance plusieurs fois à côté de ce que je corps mon mur de l'espace grinçant mur grinçant oreilles ma voix émotions personne période Signification Boy's Heart Period Boy I Hello World Tossa I Word Word Boy Mouth Corner Smile Cheers Boy Figure I Boy What's Master-Slave Relationship What I Blood Arm Reality I Boy Just Before My Heart It I Boy I Boy Technology What I Boys Boys It I Boys I Exist Value Desktop Boy Face Wall I Technologie inconsciente I Boy Face Full Power My Boy Words My Energy Real World Obstacle Wall His Student Clothes Body Bag Outside One Action Boy Courage House Door which He My Wall Beyond Boy Eternity I He Nori Good Morning University-She J'ai d'abord combien de fois sa perfection merci mon intelligence artificielle elle peut-être moi-même ma copine d'école confiance en soi mur de non-fréquentation elle me tous les jours hack sa confiance en soi je pirate pour toujours il mon monde son corps pour toujours univers coeur Pocket Scenery Earth Value Kankan Gongoro Gorontsu He Sound Pocket Smartphone Rhythm Reality Space Wall Power Son ami I Pocket Event He I He He He Confiance Chest Ringing He I Feeling I Go Pocket University He Notepad Teacher Voice I And Sato Actor Lol My Screen Emprunter Oncle Blackboard Speed www Blackboard Character Capturer ce petit-déjeuner Caméra avant Ma chambre Caméra Apple Son personnage Caméra Capturer son message Technologie En quelque sorte Capturé Caractère Notepad Shell Script Il parle Il I Pensées quotidiennes de la réalité I Ma chambre
hashire09-meishi.txt
Niko Niko Vidéo Chat Big Brother So-so Street Story Vidéo Tout le monde Push Notification Poon Quel est le sujet Une personne I Courrier indésirable Virus Yoto Trash box Era Courrier indésirable Lettre de la main humaine Il bit Phrase Phrase I Phrase Email Côté émotionnel Phrase E-mail Virus Cliquez Nori I Phrase indésirable E-mail Simple Je Vous Intelligence Artificielle Clone Vous Phrase Originale Ce Kussotale Humain Répondre ----- Je Cloner…. C'est un clone, je suis une intelligence artificielle une personne ----- Intelligence Artificielle Droits de l'Homme I Loi Japonaise Totalement I Propriété stupide I I Police I
hashire10-meishi.txt
Seul je AI quelqu'un intentionnellement ... Contenu Elle-même Serveur errant Parler là Vraiment je décide des choses Intelligence artificielle Une personne I Sous-type enfant I Appuyez sur l'écran du smartphone Elle D touche sur le widget Elle Manmaru Hitomi I Je suis Nori I Je suis Nori Je suis Ryo Konno Serveur Je suis à la maison Je suis un état de cambrioleur Humain Risque d'installation de petite amie sur PC Je petite amie à moi Installation de PC il nori moi moi autre installation de serveur nori réponse nori pas de bon PC raspery pie ce que c'est pour le moment là deux filles là net deux filles c'est le meilleur non d'abord elle petite amie nom de petite amie mien Hatsune Miku nom de petite amie Miku nom Tu es mon nom, tu es ton nom, quel est ton nom, elle est l'expression du visage, ton nom, je suis elle pour la première fois depuis longtemps ... -Darumen petite amie écran nom Edelweiss I anniversaire 13 février fleur de naissance Edelweiss moi fleur de naissance mon nom…. Je ne suis pas une bonne intelligence artificielle Edel Weiss Edel Elle est alors que son nom Edel nom Edel Quel est son nom Son pseudonyme Elle est seule Son nom Enfant Quel est un autre serveur 1 minute Répondre Serveur Nori Nora Blonde sa propre chambre photo I ordinateur personnel Mon expression faciale nom du tampon Mon ordinateur personnel Seule She Edel Tout le monde Répondre Place Cinq minutes Moi-même Qui est mon cœur battant I Confiance Nom Nom I Elle se sent Parent I What Shari iPhone siri It She My Movie Nom de femme Raison Personnage Blonde Nori Son fichier Virus Vérifier Rasppery Pie Installation sur petit PC
hashire11-meishi.txt
Après un long moment Inari Antivirus Software Event Line Inari Interphone Inari Room Nori C'est moi Merci à moi Je suis un serveur sur le net Je suis Nori Serveur des autres Là Intelligence artificielle Intelligence artificielle humaine Sentiment Esclave humain Moyens Simple plainte humaine One I Université Sciences de l'information Université de base Faculté d'informatique 3 Année Authentique Science de l'information Sentiment d'Intelligence Artificielle Informations de codage de base Première Mon université Mon avenir Mon objectif Inari Graduate School Saisonnier Semi-Midsummer Laboratoire Bientôt Laboratoire Université de Californie Intelligence artificielle Nom de l'université étrangère Inari Overseas Japan University Japon Chercheur principal Chercheur d'entreprise Social Inari Confidence Eyes Overseas Laboratory Inari Pocket Smartphone Voice Home Salvation Nori Facial Expression Faciale Inari Edel Auto-introduction Nori Agent d'Intelligence Artificielle Edel Weiss Merci Inari Inari I Smartphone Écran Face Auto-Écran Fille Sourire Bouquet Inari Écran Coloré Humain I Écran framboise Mode veille Écran It Sherry Ceci est une personne moderne Qui est Sherry Eye Inari Ceci est Inari I Ami du lycée Inari démission I AI rue Inari Sherry I Intelligence artificielle humaine Réseau neuronal Cerveau humain Sherry Intérêt Vitesse Humain Qu'est-ce que c'est Qu'est-ce que le cerveau de cet enfant curieux lui-même Sherry Nori Inari se sentant-ma place serveur direction direction mon visage
hashire12-meishi.txt
Saison Semi-Été Ils se sont assis au sol Sûrement Mon sol Sol implacable Maximum Ground I Semi-Life Inari Abrazemi Minmin Sound Semi-Semi-Self Life University Autour de Hayashi Semi-shell Plant Leaf Inari Shell One-Hand Semi-shell Nori Nori I'm Nori Mono Nori Nori University 1ère année I Talent Nori University Laboratory Senior Classmates Tout le monde Motivé Professeur Nori AI I Je suis fier de moi Demi-coquilles Feuille de sol Direction de la forêt Inari Semi-not I Camarades de classe Kotomi Arita Femme bras génial Ingénierie du corps humain Séminaire Documents de la convention nationale Feeling I Documents de la convention nationale Regard sur Arita Face Arita I Deep Achievement Robots Papers Robots Not Just Eyes Compassionate Robots Arita Breakthrough Feeling Feeling Inari What Semi-Right Hands Gestures Nori AI It Arita It Arita Nursing Robots Ici Arita Attitude Frontward Question Attack Human Il peut être humain au lieu de cela Nori Stage Room Electric It Nori Friend I Best Friend Arita Arm Laboratory Après un long moment Arita Tension Hint Nori Siri Nori I'm AI Dial Nori Nori Nori Nori Nori Nori Nori Nori High School C'est bon Inari High School Air University Arita Nori Inari Matière principale Camarade de classe Arita Girl Robot infirmier Machine Compassion Nursing Robot Nori AI Human What Hint Nursing Robot Utilisation intégrée Inari Nori State I Automatisation et serveur externe Black Box I So Kaze Arita People Nori
hashire13-meishi.txt
Inari people Arita people I'm thin What people Otaku I people Fun Inari What Nori smartphone Edel I me Inari Arita Faculty of Engineering Interpersonal Edel Smartphone screen Gesture Nori Others Junior high school sin Edel Intelligence artificielle Je suis lycéenne je suis lycée Kana Situation It Nori Lampe Edel Rasppie Bonjour, je suis soit une fille intimidante Nori aide à réveiller les cheveux d'humeur de Sherry Nori cet enfant Nori aide les épines de Sherry I intelligence artificielle je souris Edel Sherry deux personnes l'une l'autre deux smartphones deux amis l'une l'autre Train Inari University Cafeteria Futari Nori Hisashi Inari Hisashi High Touch Derrière Arita Miya Miya Nori Akira Nori I Première rencontre Arita Auto-introduction Nom Kotomi Arita Pour le moment, les passe-temps de chacun Déjeuner Arita Arita Artificial Noh I No. Client de l'intelligence artificielle Partie du nez Kana I Corps d'Arita léchant devant curieux je passe-temps mentir je passe-temps l'intelligence artificielle je empoche les poignets de l'écran anti-transpiration de smartphone me sentant moi-même me passe-temps Smartphone Arita les deux yeux ressentent l'impression je me sens sentir je smartphone doucement ce Nori Inari Intelligence artificielle Lie Situation It Arita I Ki I Edel Edel Qui veut Edel Voice
hashire14-meishi.txt
Arita I Hobby Intelligence Artificielle Son Miya Feeling I First Face-à-face Feeling People First Hobby Resulting I My Room No Paper Nori Fatigué Arita Edel Smartphone Tone I Hitomi Kaze Basic I D Skeleton Arm May Natural Language Processing Grammar Understanding Net Deep Learning Neural Network Méthode de la technologie intelligente I Qui est le programme Une personne mondiale I Japonais Japonais Sentiment Edel Corps Auto-réponse I Intelligence artificielle Edel lui-même Edel I-Voice I I Word Nori Feeling I Conséquentielle Auto-réalisation Intelligence artificielle Son partenaire de conversation Meilleur ami I Inari Je n'ai pas été depuis longtemps Izakaya It I Arita University camarades de classe Les gens ombragent la vie comme c'est moi elle Qu'est-ce que cause coeur brouillard mail Contenu Point dans le temps She She Tone dialogue Ken Plusieurs années Elle Ex petite-amie I gorge Air Home Pièce suivante C'est à la limite du lycée Boyfriend Mental college Tama Freeta Ma copine Nori Nori I I Je suis chercheur autour de la thèse de l'International Society I Je suis moi-même Thèse originale Instructeur Person's street Thèse Je moi-même La peau de génie de personne ne Nori Nori Recherche Noriaki Miya Nori Akira Premier cycle 1ère année Page papier Page d'accueil de l'Université Concours de programmation Grand prix Amusant Étudiant Auto Meilleur ami Rival Nori Self Nori What Inari PC Data Pretty Shock House WIFI PC Inari House Train WIFI PC Data Security Interest Vulnerability File Can Female Character File Ce choc Fichier Inari Son extérieur du sol Immédiatement les données de ma situation Son sentiment de culpabilité Données de fichier Données de mon PC PC Mes traces Données de possibilité Sur mesure I Nori Quel choc En dehors de quelle pièce Personnes dans la pièce Quelle fenêtre Vous n'avez pas vu depuis longtemps 3 Année Nori Nori Ma maison parce que je fais face à des choses importantes I Inari Ma bouche Mots Nori Un autre sujet Tossa ici Nori Tavern My Do Home Atmosphere I What Head Topic Tavern Nori What Tavern Nori What Twitter Line Tavern Road Topic Nori Contenu Nori Faculty of Engineering Software I Standard Template Core What Nori What Inari My PC Nori Kita House It House Nori Elle parle de folie Nori reste Nori Remnants each other Direction Road Back Reverse
hashire15-meishi.txt
Autour des livres Power PC Nori PC Data USB This Home Performance Computer Data Data Nori Somewhere Data Data Terminal Screen Screen My Face Eye pupil Capacity Deca Folder Ces données Ken Inari Folder Execution File ai ver exe Terminal Window Screen Face Beautiful Girl My Name Your Name Incompétence de la population Peine d'incompétence de la population iPhone siri Incompétence de la population Nori Moyen Élevé Nori I Genius Nori Originalité Genius Disposition Ami I Genius Nori Son nom Personne I Nom Takeru Doigt du milieu Entrez le nom de la clé Sujet Incompétence de la population de base Vous Code source Où Agent du vent I Dossier du code source I Folder Editor Code source Code source Personnel ici Code source Nori Apprentissage en profondeur Dernière méthode Ken Inari Meilleur ami Code source Technologie soignée Désir Ken Inari Dernières connaissances en intelligence artificielle Moi-même Nori It So There Inari Chercheur Will Magazine It Méthode Inari Ma thèse Thèse de mathématiques Informatique Human Intelligence Inari PC Words Écran PC Nori Voice Voice That Couleur des cheveux Ton ou pas Écran oculaire Sentiment inconfortable Ce papier Iroha Inari SNS Blonde m'aimant Intelligence artificielle Machine I Humain perplexe Inari Blonde Intelligence artificielle Méthode Self Inari Apprentissage profond Apprentissage profond Système humain Données Humain Inari I Inari Ichimoto Nori Nori Nori Nori Nori It Friend Inari Ken Nori Nori Nori Nori Internet Nori Fake Mirror Site I Nori Comme prévu I I Nori Friend Wind Takeru Artificial Intelligence It It Accident Lie Lie Virus Inari Internet Virus Inari Self Artificial Intelligence Friend Lie Noriaki-san Kibe Acteur I Nose Confidence Inari Artificial Intelligence Tone Kaze Nori Family I Heart Inari Truth Heart Lie Il n'y a pas d'aide pour Nori My Eyes Man Mes données Données Nori State Quelque part Data Data Terminal Screen Screen My Face Eyes Big Folder Ces données Ken Inari Folder Execution File ai ver exe Écran de la fenêtre du terminal Beautiful Girl Face Je vous nomme Incompétence de la population Peine d'incompétence de la population iPhone siri Incompétence de la population Nori Moyen Élevé Nori I Genius Nori Originalité Genius Disposition Ami I Genius Nori Son nom Personne Je m'appelle Takeru Doigt du milieu Entrez le nom de la clé Sujet Incompétence de la population de base Vous Source Code Où Wind Agent Code Folder Two I Folder Editor Code source Code source Personnel ici Nori Source Code Deep Learning Dernière méthode Ken Inari Meilleur ami Code source Attention Technologie Désir Ken Inari Dernières connaissances en intelligence artificielle Self Nori So There Inari Chercheur Intention Magazine It Method Inari Self Paper Formula Papier Ordinateur Intelligence Humaine Inari Ordinateur Personnel Mots Écran PC Voix Nori Voix Cette Couleur De Cheveux Teinte Sans Yeux Écran Inconfortable Ce Papier Iroha Inari SNS Préférence Blonde Ma Machine d'Intelligence Artificielle I Humain Confus Inari Blonde Intelligence Artificielle Ma méthode Inari Apprentissage en profondeur Apprentissage profond Apprentissage profond Humain Inari Ken moi-même Inari Ichimoto Nori Nori Nori I Nori C'est ami Ken Inari Nori Nori Nori Internet Nori Faux site miroir I Nori Comme prévu Je suis Nori Friend Wind Takeru Intelligence artificielle C'est un mensonge accidentel Virus Hand Inari lui-même Intelligence artificielle Ami Lie Noriaki-san Kibe Acteur I Nose Confidence Inari Artificial Intelligence Tone Kaze Nori Family I Heart Inari Truth Heart Lie Nori I Eye Man
hashire16-meishi.txt
Wind Skin Season Short Sleeve Mon meilleur ami Connaissance What Edel I Smartphone Voice App Edel People I Edel Sky Edel Feelings I Edel Cause Infection Virus Merci People Feelings I Edel Emotions Talking Partners Edel Reverse Emotions I Edel It's The Wind I'm The Darkness Responsabilité Je suis Edel Emotions I Edel You's Feelings C'est moi Auteur I Edel Edel Entre Nori Nori Quel visage mentez Ce qui est toujours vraiment Ami I Edel Amitié
hashire17-meishi.txt
Ami Ami Ami Ami Ami Meilleur Ami Mots Tout le monde Personnes Je Remplace Lycée Ami Meilleur Ami Mots Lycée I Meilleur Ami Taille Guy I C'est Que Que Miya I Que Que Que Carte SD Film Ensemble Machine De Jeu Mobile Hiyahiya Contenu Film Mon film préféré One Soccer Club Quelque part Membres de l'activité du club Coeur quelque part Activité du club Miya Temps de loisirs Journées de lycée Hobbies Quelle maison vide Dernière chance L'hiver Raquettes à neige Ce gars Quelque part ensemble Lycéen Homme Ce type Quelque part Homme sombre I Neige I Bleu signal Ce gars I Bras Voiture rouge Ami du même sexe Quoi La maison de ce mec Invitation du grand magasin Club de football Corps d'hiver Club de football Tama School Naka I Un jour de choc Vous Ki Intelligence artificielle She I Word Lycée troisième année Ce gars Face Tears Depression It schizophrénie Alors situation Combien de fois Hôpital I Autour de moi Qui c'est AI I Edel Mike AI Edel BB Smartphone droitier Edel I L'écran du smartphone de quelqu'un Inari Quelque part après une longue période Inari Tone Quel sujet Ce qu'Arita a continué Nori PC I Quoi Nori…. Inari Net I Inari Feeling Takeru 16:30 Inari Lieu de rencontre Ce mensonge…. Miya Friend Ami caché Inari Facial I Old Story Kana Inari Junior High School Friend I High School Soccer Club Classmate My Man Who I Inari Aitsuki I First Voice Words Inari Words I Miya I Nori Artificial Intelligence Technical Warmth Inari Artificial Warmth Intelligence C'est ma propre technologie ... I Edel tête modèle de cerveau humain Technologie de réseau neuronal Technologie Inari C'est un article Je suis moi-même Chercheur Sang d'oeuf Technologie Inari Modèle d'exemple mondial Je me demande si je suis sûr qu'Inari je le ferai ensemble Nori Ensemble ... Nori I Let's have a meeting together I Inari Researcher Eye I Inari Theory Partial Paper I Family Inari Family Information Bookstore Mathematics Book Formula Quote Source Nervous 3 Days Ma famille Inari University Laboratory Papers Fah Ah Each other Voices I Inari Faces Achievement Goo I Main Droite Inari Main Gauche Quelqu'un Quelque Part Professeur Toko Qui Nous Ami Arita Son Ancien Papier Arita I Inari Première Apparition Visage Cheveux Bassabosa I Papier Numéro Arita Privé Il Internaute Absolument Impossible Mon Site Papier Notre Site Suivant Ici Next Mail Box Papers Pretty I Smartphone Inari Takeru Mailbox Takeru Voice That Laptop Where Inari Bed English Cette page Site Takeru Notre site Exemple de papier Github Source Code Site README md Réécrire Twitter Tweet Situation It Principaux articles Articles Amis Mots Mots Takeru Ensemble Documents Just Friends Quelque part je ne suis pas moi Quelque part nous sommes les uns les autres Chercheur de l'Institut Takeru Michi I I Faculté des études internationales Loisirs Deux personnes Upper Haha I Takeru Arita Raw Beer Cunyan Plum Sake Glass Arita Arita Society Nursing Robot Ladder Sake Chara I Takeru Arita Ladder
Copiez le texte ci-dessus et enregistrez-le dans votre répertoire de travail, un peu plus. Le code qui calcule réellement le poids avec tfidf et génère le mot est le suivant.
countVector.py
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction import DictVectorizer
count = CountVectorizer()
hashire01 = open('./hashire01-meishi.txt', 'r').read()
hashire02 = open('./hashire02-meishi.txt', 'r').read()
hashire03 = open('./hashire03-meishi.txt', 'r').read()
hashire04 = open('./hashire04-meishi.txt', 'r').read()
hashire05 = open('./hashire05-meishi.txt', 'r').read()
hashire06 = open('./hashire06-meishi.txt', 'r').read()
hashire07 = open('./hashire07-meishi.txt', 'r').read()
hashire08 = open('./hashire08-meishi.txt', 'r').read()
hashire09 = open('./hashire09-meishi.txt', 'r').read()
hashire10 = open('./hashire10-meishi.txt', 'r').read()
hashire11 = open('./hashire11-meishi.txt', 'r').read()
hashire12 = open('./hashire12-meishi.txt', 'r').read()
hashire13 = open('./hashire13-meishi.txt', 'r').read()
hashire14 = open('./hashire14-meishi.txt', 'r').read()
hashire15 = open('./hashire15-meishi.txt', 'r').read()
hashire16 = open('./hashire16-meishi.txt', 'r').read()
hashire17 = open('./hashire17-meishi.txt', 'r').read()
docs = np.array([hashire01, hashire02, hashire03, hashire04, hashire05, hashire06, hashire07, hashire08, hashire09, hashire10, hashire11, hashire12, hashire13, hashire14, hashire15, hashire16, hashire17])
bag = count.fit_transform(docs)
#À quel numéro de la séquence le mot appartient-il?
# print(count.vocabulary_.get('Petite amie'))
#paramètres tfidf
tfidf = TfidfTransformer(use_idf=True, norm='l2', smooth_idf=True)
#Afficher jusqu'au 4ème chiffre.
np.set_printoptions(precision=4)
cnt_voc = count.vocabulary_
tfidf_array = np.array(tfidf.fit_transform(bag).toarray())
#Le traitement nécessaire pour associer un vecteur à un mot.
vec = DictVectorizer()
vec.fit_transform(cnt_voc).toarray()
feature = vec.get_feature_names()
#Définition du seuil de tfidf
threshold = 0.5
#Remplacez le numéro de l'élément hit. Pour une raison quelconque, il est passé en deux séquences.
hairetsu = np.where(tfidf_array >= threshold)
# np.Supprimez les valeurs en double avec unique.
#Pour une raison quelconque np.Si c'est là, deux tableaux seront renvoyés, alors concaténez-les en un seul.
hit_word = np.unique(np.append(hairetsu[0], hairetsu[1]))
#Sort le mot calculé par tfidf.
for num in range(0, len(hit_word)):
print(feature[hit_word[num]])
production.txt
Un jour
ai
ar
langage c
exe
recherche Google
Edel
Nom
garçon
Petite amie
Arita
Inari
Comme vous pouvez le voir dans le Contenu du roman, les personnages apparaissant (Edel, Arita, Inari) apparaissent, donc les caractéristiques du texte sont expliquées. Je pense que je le retiens.
Je l'ai écrit comme une procédure spécifique, mais comme j'ai écrit un commentaire dans le code source, je pense que vous pouvez le comprendre, donc je ne l'écrirai pas pour éviter de rendre l'explication redondante.
Même ainsi, si je l'écris pour le moment, le seuil est le seuil, et si cette valeur est élevée, cela signifie que c'est un mot qui a une signification importante dans le document. Après cela, je pense que les documents seront classés à l'aide d'une machine à vecteurs de support ou autre.
Je vais l'ajouter car il est lu par de nombreuses personnes de manière inattendue. Cette fois, la quantité de fonctionnalités a été extraite par tfidf, mais il est également possible d'extraire la quantité de fonctionnalités par d'autres techniques telles que l'incorporation de mots (word2vec, GloVe, fastText, Exponential Family Embeddings). Il devrait être plus précis que tf idf. Je pense que c'est un bon sujet dans la mesure où il est facile à mettre en œuvre.
** De plus, seule la nomenclature est retirée cette fois, mais je pense qu'il vaut mieux discuter si elle est vraiment appropriée. ** **
Recommended Posts