Die Feature-Menge wird mit scikit-learn, einer Bibliothek zum maschinellen Lernen von Python, aus dem Text extrahiert. Insbesondere wird der Text geteilt und die Merkmalsmenge (Identität) mit tfidf extrahiert. Ich konnte mit scikit-learn keinen Code finden, um mit tfidf gewichtete Wörter auszugeben, daher dachte ich, dass es sich lohnt, diesmal etwas zu posten. Ich hoffe es wird für Sie hilfreich sein.
In diesem Beitrag aus einem Roman, den ich im Voraus geschrieben habe "Um zu rennen, gehe zuerst !! Um zu gehen, gib dein Bestes !!" Es soll nach dem Extrahieren der Nomenklatur erfolgen. Da wir Wörter nachschlagen, die häufig in Dokumenten vorkommen, erhalten wir nur die Nomenklatur im Voraus, da Hilfswörter ein Hindernis darstellen.
Extrahieren Sie nur die Nomenklatur aus dem Text http://qiita.com/NoriakiOshita/items/2b8119837e7ca5b77089
Wenn Sie sich auf die folgenden Beiträge beziehen, ist dies auch leichter zu verstehen.
Denken Sie an die Vektorisierung von Basissätzen http://qiita.com/NoriakiOshita/items/6423b5a16ca5e90ab15c
hashire01-meishi.txt
Ich Universitätsstudent Universitätsbuchhandlung Leiter Unzählige Puzzleteile Mathematiker Mann Mathematik Nori Was ich Raum Desktop Mädchen Sprecher Stimme I Dies Sie nerven Sie Gefühl Gegnerin Sprechen Sie Ihre Formulierung Wissenschaftliche Grenzen Ich gehe aus ihrem Hatsune Miku Ich Ich selbst PC-Bildschirm Wenn Sie ihre Fehlervariable nicht initialisieren, ist dies sie selbst. Sie schwingt ihren Arm. Lassen Sie uns spüren, wie sich ihre linke Armschulter neigt. Ich habe mich die ganze Zeit konzentriert. Ich bin müde. Ich bin müde. Ich bin müde. Car Sound Feeling Convenience Grund Dies ist ein literarisches Süßigkeitengefühl - Niedrige Spannung Angestellter Kochi Rei-dori Hauptecke Wirtschaft Es Ära IoT-Ai-ti Was ich selbst Sie Haushaltsgeräte Internet Welt Internet Welt SF Roman Realität Ziel Manga Saison Sommer Zombie Beliebte Gakuen Zombie Dies ist eine Seite Zombie High School Mädchen Was für ein Schrittgefühl Saft Familienwelt Diese menschliche Welt Witgenstein selbst Haus Haustür Wo Bequemlichkeit Mutter Mein Zimmer Mutter Nacht Nori Wer ich bin Stimme Ich Ihr Zimmer Türsensor Spracherkennung sie selbst sie
hashire02-meishi.txt
Die Antwort selbst ist die Person, die es mag. Menschliche Sorgen Ich mache mir Sorgen um die Ära der Junior High School Wenn Sorgen wahr sind Vorsitzender der Junior High School-Klasse Vorsitzender Wer ist die Kategorie Akira? Jemand oder ich bewusste Person Ich bin normalerweise eine Klassenkameradin, die ich Vorsitzende bin Ich wache morgens auf Ich bin auf dem Campus Ich bin in meiner Klasse Zahlen Es sind alle Ich habe ein Verantwortungsbewusstsein Eines Tages Klasse Mobbing Schulmädchen Ich bin der Vorsitzende Ich mache es nicht Ich bin Studentin Mobbing Schulmädchen scharfer Stuhl Ich lächle Klasse Mobbing Junge Studentin Ich bin alles ein Spektakel Ich bin ein Stuhl Klassenzimmer Ich bin ein Vorsitzender Ich bin ein Vorsitzender Ich bin ein Mann mit rasiertem Kopf Ich bin ein Klassenkamerad Ich bin eine Person Ich kann nicht atmen Menge Schweiß Vorsitzender Diese Frau stinkt Müll Ich bin Worte Druck Ich rieche nicht Klassenzimmer Bibliothek Nächste Uhr Herz aus zweiter Hand Mädchen I Ich schweige mich Stuhl Stuhl Was ich tun kann Mädchen I Stilles Mobbing Selbstmobbing Mobbingpolitik Klassenzimmer Mobbing Ich niedrigste menschliche Klasse Mädchen Jungen Ich Herz Jemand Wer ist der Schüler High School Was ist die Außenszene Suzumushi bellt Batter Bellen Herz I Menschliche Sprache
hashire03-meishi.txt
Gefühle Auto klingt andere Andere Stasta Taschen Hände Hände Ziele Orte Was ich Smartphone Installation Sie Was So Was Was Sie Nori Wer ich selbst Sie spiele zuerst Künstliche Intelligenz Buch Lokale Buchhandlung Copipe Erste C Sprache Vier Regeln Junior High School Schule Ich Klasse Wer Es Welt Selbst Sie Flussbett Wasser Geräusch Gefühl Zurücksetzen Flussbett Straßenlaterne Motte Kleine Insekten Ultraviolett Ich fühle mich Re-Invasion Tasche Ihre Vibration Laute Lautstärke Brust Dies Mein Zuhause Ihre Heimatstation PC Kabel Smartphone Terminal Bildschirm Unzählige Alphabet-Nummern Ich Wer fühlt sich Tastatur Sie Ich fühle mich Home Verzeichnis Ordner Doppel Klicken Sie auf Keine Sicherungsdatei. Ich bin leer. Sie fühlt sich unbefugt. Zugriff auf ihre letzten Worte. Ki IP Ausländische Saba Dori. Dieser bösartige, wütende Herz. Ihre Stimme. Ich College-Wissen. Ihre Methode. Irgendwie Stimme. Ich Kopfhörer. Elternstimme. Außerhalb des Fensters Haus eines Freundes Mussai-Zimmer Inari-Zimmer Inari-Zimmer Unzählige Müllfüße, die ich Zimmer Boden Taille Sie Es ist dein Gesicht Was sind deine Gefühle Sie ist Gefühle Mein Haus Inari-Haus Müllzimmer Geh aus der Taverne
hashire04-meishi.txt
Nach langer Zeit Freund Inari High School Jemand allein Künstliche Intelligenz Sie Inari Ki Hier oder welche Universität Fakultät für Ingenieurwissenschaften Fakultät für Ingenieurroboter I Welche Hardware-Software Bester Freund I Sie Sie Beweis Quelle Jemand Ihr Mensch Nächster Computer Film Künstliche Intelligenz OS Ihr Computer Mehrere Personen I Wer ich selbst Inari Was ich zu Hause bin Hokkaido Universität Inari I Universität Nori I High School Regelmäßige Prüfung Klasse Nori One und nationale Eltern Ich bin Mechaniker Inari High School Inari Gegenseitige Träume Gefühl Spezialisierte Fakultät Spezialisierte Software für künstliche Intelligenz Inari Voice Foam Surface Jockey Beer Mizo selbst Sie ist eine Schülerin Inari-Freundin Inari Sie Inari-Gesicht Beste Freundin und jemand anderes Jemand bärisch Sie Ich Gesicht Sie ist ein Griff Es ist ein gestapeltes Leben Ich bin in der Zukunft Ich bin in der Zukunft Inari Inari Vorerst die nächste Station Fu Smartphone sie Daten Daten unerwartete elektrische Probleme, was sie weiß, sie finden Namen ihr Terminal mehrere sie mehrere ihr Skelett Ex-Freundin wütendes Herz guten Morgen Meister diese erste Initialisierungsnachricht wahre Protokolldatei mein Name ich meine beste Freundin mein Aussehen mein Meister Name Sie Name Name kein Name Omae Hontoni Hontoni Ich nenne Hontoni Ihren Namen Ich nenne ihren Namen Was soll ich tun?
hashire05-meishi.txt
Sie hat keine andere Wahl, als in die Zukunft zu gehen. Irgendwo innerlich ernste elektronische Informationen lieben es Freund Emotion Benutzerpräferenz Thema, das Inhalt ist, was es anfänglich ist Ich dachte Mechanismus Hontoni Gesicht Gesicht Wind Smartphone Bildschirm Freundin Wright Meri Chris Mars allein Jemand-Nory lächelt Weihnachten Was dieser Typ-ich Nori 1 Tag hier Weihnachtslied Was sie ich selbst singe Es ist ein lebendiger menschlicher Körper Äußeres Blut und Fleisch Es ist ein Computer Es bin ich Es bin ich Inari Smartphone Message App Menschliche Stimme Es Naka Freund Inari Inari Dieses börsennotierte Unternehmen Dank Höflichkeitsangelegenheiten Abteilungsleiter Fühlen Sie sich selbst Atmosphäre Inari Selbstdenkend Ich fange Sie Es Informationen Informationen Sicher Spezifisch Unscharf Diese Vorläufigen Ja Nein Straßenleute Es Irgendwie Datenmaschine Internet Es sind Online-Daten Ungefähr Daten Daten Argolim Was sich eine wissenschaftliche Person leisten kann Lehrer Lehrer Daten Mensch Maschine Maschine Daten Daten Gerät Es unterstützt Vektor Maschine Kerl Algorithmus Daten Maschine Maschinelles Lernen Grund Ich selbst diese Inari Ki künstliche Intelligenz Ich künstliche Intelligenz Lied selbst was-ich Forscher Ki Quelle andere Meine Quelle meine eigene Neigung
hashire06-meishi.txt
Nächstes Inari-Universitätsseminar Nach der Freizeit Ich bin zu Hause Nori Ka-Dori Stimme I Ich Bettdecke Fenster-Tür Zimmer Kleidung Inari Space Mars Ihr Zimmer Ich wohne im Obergeschoss I Zimmer I Zimmer Mutter Sie Sängerin oder Idol Leo-Chan Sänger Was Leo-Chan Voice Singer Songwriterin Künstliche Intelligenz Ihr menschliches Interesse 1 Tag I lol Gesichtsfalten Nach langer Zeit bin ich ein Mensch Ich bin total das, was ich bin Inari Maschinelles Lernen Fakultät für Sozialtechnik Human Institute Information Bekanntschaft Inari Graduiertenschule Human Institute Lehrer Gesicht Straße Gesichtsausdruck Graduiertenschule Graduiertenschule Graduiertenschule My Way It Vielleicht Graduiertenschule Undergraduate Laboratory Atmosphere Atmosphere Lehrerkompatibilität Lokal Tokio Tokio I Hokkaido Kitadai Choice Event Tokio Universitätsforscher I Hokkaido Todai Ja Ja Sensor Todai und Tsukuba Sensei Inari Es ist Inhalt Ich selbst Koch Reis Inhalt Computer Favorit Ein Unterinhalt Self Talk Hauptpersonen Companion Network Song Künstliche Intelligenz Ihr Hauptinhalt Tossa Computer Power Folder Monitor Inari Es Zwei Personen Face-to-Face-Code Erste Stimme Andere Code Selbstgefühl Variable on off applePi Spell Stete Inhalt Buchgegner Selbstaufklärung Buchcode Selbststil Übliche Generation Sie codieren dort Wer-dort PC I Quelle Professor Wirklich danke Kita University Laboratory Es ist ein privates Labor selbst Es ist eine Fakultät 1. Jahr Liberal Arts Spezialität O'Reilly Buch Maschinelles Lernen Serie Menschen Inhalt Ungeduldig Nori Wissen Körperhaltung Kalorien Lol Ich fühle mich Gesicht Dieses Gesicht Monitor I Dieses Virus Was ich denke Antivirus-Virus Was Nori Quellcode Externer Quellcode I Ihr Wort Ihr nicht autorisiertes Zugriffssystem Wireshark Ihre künstliche Intelligenz Übersee Server Yoetosa Voice Ich Video Geschichte ... Inari Face Pity Gaze Data OS Neu installierte Sicherheitssoftware I Verantwortliche Sicherheitssoftware I Sie Quellcode-Cracking von außen empfangen Jemand I I PC Laden Sie Ihre Welt hoch Lol Nose Guy I Dies Sie Sie Welt Menschen PC Dream Man Sie Was für eine dumme Übersee Nr. 1 Tsu Server World Jemand Virus I PC-Daten Er bedient sich auch selbst Soft Electric Stadtkleidung Stadttasche A You Inari Ki Nabe-Futari Sprachtasche Soft Mochi Nabe
hashire07-meishi.txt
Sicherheitssoftware Typ Impression Welche Nein Welche Ich Hier Typ Virus Virus Eigenes Wissen Inari Virus Reverse neue Spezies Virus Muster Match Virus Störungsvirus Neue Spezies Virus Beide mögen Illustrationssoftware Videobearbeitungssoftware Videobearbeitungssoftware Telop Videoarbeit Ihr Taschen-Smartphone Brillengerät Hon Inari I what Es ist eine Welt Brille Gerät Nase Plug Gerät Nase dort Licht AR dies sie sie dreidimensional mich ihre Sicherheitssoftware Nori Bär Charakter es Popularität wahr mir diese Straße Antwort jemand denkt Partner künstliche Intelligenz Partner elektrische und elektronische Geräte Drohne neueste Computerleistung Drohne Junior High School Student erwachsenes Parlament Gebäude mich Es Techniker PC-Software Diese Virus-Website Quellcode Welt I Brust Quellcode I Mensch Mensch Bösartig Universität Küken Quellcode Sie I Es Es Richtungszeichen Tiefes Lesen dieser Dunkelheit allein Inari I Wie es Bytes ist Inari Fahrrad Dashing Inari Welcher Türschlüssel Mutters Topf Voice Dinner Dinge Was du fühlst Deine Tasche um Inari Inari Ich fühle mich düster Danke Motsu! Großer Motsu-Austausch und Schlaf
hashire08-meishi.txt
I Welcher Raum Boden Stimme Wand Gefühl mich selbst Raum I Allein Was Allein Dinge Allein Raum Ich fühle Eltern Ich Ich fühle Raum Raum Raum Wand Es Boden Gefühl Aufzug Fahrtrichtung Rückwärts Gefühl Ich fühle mich unwohl Ich fühle mich unwohl Ich selbst Bakubaku Mein Herz Klang Brust Beide Hände selbst ich mein rechter Fuß linker Fuß abwechselnd viele Male als nächstes was ich wen ich Körper meine Raumwand quietschend quietschende Wandohren meine Stimme Emotionen Person Periode ich selbst Sensation Person es mein Leben es vorbei Punkt Wand jenseits Person drehen Ton es enterkey es ist Bedeutung Jungenherz Periode Junge I Hallo Welt Tossa I Wort Wort Junge Mund Ecke Lächeln Jubel Junge Figur I Junge Was ist Master-Slave-Beziehung Was ich Blut Arm Realität Ich Junge Kurz vor meinem Herzen Es I Junge I Junge Technologie Was ich Jungen Jungen Es I Jungen Ich existiere Wert Desktop Boy Gesicht Wand I unbewusste Technologie I Junge Gesicht volle Kraft Mein Junge Wort I Energie reale Welt Hinderniswand Sein Student Kleidung Leichensack außerhalb einer Aktion Junge Courage House Tür, die er meine Wand jenseits der Ewigkeit des Jungen I He Nori Guten Morgen Universität-Sie Ich zuerst, wie oft sie Perfektion danke meiner künstlichen Intelligenz sie vielleicht es selbst meine Schulfreundin Selbstvertrauen Nichtanwesenheit Wand sie ich jeden Tag hacke ihr Selbstvertrauen ich hacke für immer er meine Welt sein Körper für immer Universum Herz Arm Gliedmaßen ich ich meine Möglichkeit Unendlichkeit jeden Tag er Pocket Scenery Earth Value Kankan Gongoro Gorontsu Er Sound Pocket Smartphone Rhythmus Realität Raum Wand Power Sein Freund I Pocket Event Er I He He Er Vertrauen Brust klingelt Er Ich fühle mich Ich gehe Pocket Universität Er Notepad Lehrer Stimme I Und Sato Schauspieler Lol I. Onkel Blackboard Geschwindigkeit www Blackboard Character Capture Dieses Frühstück Frontkamera Mein Zimmer Apple Kamera Sein Charakter Kamera Erfassen Seine Nachricht Es Technologie Irgendwie Erfasst Charakter Notepad Shell Skript Er Worte Er I Alltägliche Realität Gedanken I Mein Zimmer
hashire09-meishi.txt
Nico Nico Video Katze Großer Bruder So lala Straßengeschichte Video Jeder Push Benachrichtigung Poon Was ist das Thema Eine Person I Junk Mail Virus Yoto Papierkorb Ära Junk Mail Mensch Hand Brief Es Bit Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz Satz E-Mail-Virus Klicken Sie auf Nori I Satz Junk E-Mail Unkompliziert I Sie Klon der künstlichen Intelligenz Sie Ursprünglicher Satz Diese menschliche Kussotale-Antwort -------- Ich klone…. Es ist ein Klon, ich bin eine künstliche Intelligenz einer Person ----- Künstliche Intelligenz Menschenrechte I Japanisches Recht Total I Dummes Eigentum I I Polizei I.
hashire10-meishi.txt
Alleine I AI Jemand absichtlich ... Inhalt selbst Streunender Server Sprechen Sie dort Wirklich Ich entscheide Dinge Künstliche Intelligenz Eine Person Ich Subtyp Kind I Smartphone Bildschirm tippen Sie D Widget tippen Sie Manmaru Hitomi Ich bin Nori Ich bin Nori Ich bin Ryo Konno Server Ich bin zu Hause Ich bin ein Einbrecher Staat Mensch PC-Freundin Installationsrisiko Ich Freundin meine PC-Installation es Nori mir andere Server-Installation Nori Antwort Nori kein guter PC Raspery Pie, was es vorerst gibt dort zwei Mädchen dort net zwei Mädchen es ist das beste nein zuerst sie Freundin Freundin Name mein Hatsune Miku Freundin Name Miku Name Du bist mein Name, du bist dein Name, wie heißt du, sie ist ein Gesichtsausdruck -Darumen Bildschirm Freundin Edelweiss Name Ich Geburtstag 13. Februar Geburtsblume Edelweiss Ich Geburtsblume Mein Name…. Ich bin keine gute künstliche Intelligenz Edel Weiss Edel Sie ist während ihres Namens Edel Name Edel Wie ist ihr Name Ihr Bildschirm zurück Name Sie ist allein Ihr Name Kind Was ist ein anderer Server 1 Minute Antwort Nori Nora Server Blond ihr eigenes Zimmer Foto Ich Personal Computer Mein Gesichtsausdruck Stempelname Mein Personal Computer Alleine Sie Edel Jeder Antwort Platzieren Fünf Minuten Ich selbst Wer ist mein Herzklopfen Ich Vertrauen Name Name I Sie fühlt sich Eltern I Was Shari iPhone siri Es Sie Mein Film Frau Name Grund Charakter Blond Nori Ihre Datei Virus Check Rasppery Pie Kleine PC-Installation
hashire11-meishi.txt
Nach langer Zeit Inari Antivirus-Software Ereignisleitung Inari Interphone Inari-Raum Nori Das bin ich Dank mir bin ich ein Server im Netz Ich bin Nori Anderer Server Dort Künstliche Intelligenz Menschliche künstliche Intelligenz Gefühl Menschlicher Sklave Mittel Einfache menschliche Beschwerde Eine I Universität Informationswissenschaft Grundlegende Universität Computer Jahr Vollständige Informationswissenschaft Gefühl der künstlichen Intelligenz Grundlegende Codierungsinformationen Zuerst Meine Universität Meine Zukunft Mein Zweck Inari Graduate School Saisonales Semi-Mittsommerlabor Bald verfügbar Labor Universität Kalifornien Künstliche Intelligenz Name der ausländischen Universität Inari Übersee Japan Universität Japan Senior Researcher Corporate Researcher Social Inari Vertrauen Hitomi Overseas Laboratory Inari Tasche Smartphone Stimme Home Salvation Nori Gesichtsausdruck Inari Edel Selbsteinführung Nori Agent für künstliche Intelligenz Edel Weiss Danke Inari Inari I Smartphone Bildschirm Gesicht Selbstbild Mädchen Lächeln Bouquet Inari Bildschirm Bunt Mensch I Himbeerbildschirm Schlafmodus Es Sherry Bildschirm Dies ist eine moderne Person Wer ist Sherry Auge Inari Dies ist Inari I Highschool Freund Inari Rücktritt I KI Straße Inari Sherry I Mensch Künstliche Intelligenz Neuronales Netzwerk Menschliches Gehirn Sherry Interesse Geschwindigkeit Mensch Es Was ist der Unterschied Computer selbst Was ist das Gehirn dieses neugierigen Kindes selbst? Sherry Nori Inari fühlt - mein Platzserver Richtung mein Gesicht
hashire12-meishi.txt
Saison Semisommer Sie saßen Boden Es ist sicher mein Bühnenboden Unerbittlich Maximaler Boden I Semi-Life Inari Abrazemi Minmin Sound Semi-Semi-Self-Life-Universität um Hayashi Semi-Shell Pflanzenblatt Inari Shell Einhand Semi-Shell Nori Nori Ich bin Nori Mono Nori Nori University 1. Jahr I Talent Nori University Laboratory Ältere Klassenkameraden Jeder motivierte Lehrer Nori AI Ich bin stolz auf mich Semi-Shell Ground Leaf Forest Richtung Inari Semi-Not I Klassenkamerad Arita Kotomi Frauens fantastischer Arm Seminar für menschliche Körpertechnik National Convention Papers Gefühl I National Convention Papers Blick auf Arita Gesicht Arita I Deep Achievement Robots Papers Roboter Nicht nur Augen Mitfühlende Roboter Arita Durchbruch Gefühl Gefühl Inari Welche halb-rechten Hände gestikulieren Nori AI Es Arita Es Arita Stillroboter Hier Arita Haltung Vorwärts Frage Angriff Mensch Es kann menschlich sein anstatt es Nori Bühnenraum Elektrisch Es Nori Freund Ich Bester Freund Arita Arm Labor Nach einer langen Zeit Arita Spannungs Hinweis Nori Siri Nori Ich bin AI Dial Nori Nori Nori Nori Nori Nori Nori Nori High School Es ist in Ordnung Inari High School Luftuniversität Arita Nori Inari Hauptfach Klassenkamerad Arita Mädchen Pflegeroboter Maschine Mitgefühl Pflegeroboter Nori AI Mensch Welcher Hinweis Pflegeroboter Eingebaute Verwendung Inari Nori Zustand I Automatisierung und externer Server Black Box I So Kaze Arita People Nori
hashire13-meishi.txt
Inari Menschen Arita Menschen Ich bin dünn Welche Menschen Otaku Ich Menschen Spaß Inari Was Nori Smartphone Edel Ich selbst Inari Arita Fakultät für Ingenieurwissenschaften Zwischenmenschliche Edel Smartphone Bildschirm Geste Nori Andere Junior High School Sünde Edel Künstliche Intelligenz Ich bin Junior High School Mädchen Ich bin Junior High School Kana Situation Es Nori Edel Rasppie Lampe Guten Morgen Ich entweder Mobbing Mädchen Nori helfen Sherry Stimmung Haar aufzuwachen Nori das Kind Nori helfen Sherry Dornen Ich künstliche Intelligenz Ich lächle es Edel Sherry zwei Personen einander zwei Smartphones zwei Personen einander Smartphones Zug Inari Universität Cafeteria Futari Nori Hisashi Inari Hisashi Hohe Berührung hinter Arita Miya Miya Nori Akira Nori I Erstes Treffen Arita Selbsteinführung Name Kotomi Arita Vorerst die Hobbys des anderen Mittagessen Arita Arita Künstliches Noh I Nein. Künstliche Intelligenz Client Kana Nase Teil I Arita Körper Front lecken neugierig Ich Hobby Lüge Ich Hobby Künstliche Intelligenz Ich Tasche Smartphone Schweißbildmanschetten Gefühl Ich selbst Hobby Selbst Arita Smartphone Beide Augen Gefühl Eindruck Gefühl Ich fühle Gefühl Ich Smartphone sanft diese Nori Inari Künstliche Intelligenz Lüge Situation Es Arita I Ki I Edel Edel Wer will Edel Stimme
hashire14-meishi.txt
Arita I Hobby Künstliche Intelligenz Ihr Miya Gefühl I Erstes persönliches Gefühl Menschen Erstes Hobby Ergebnis I Mein Zimmer Kein Papier Nori Müde Arita Edel Smartphone Ton I Hitomi Kaze Grundlegend I D Skelettarm Mai Natürliche Sprachverarbeitung Grammatik Verständnis Net Deep Learning Neuronales Netzwerk Intelligente Technologie Methode I Wer ist das Programm? Eine globale Person I Japanisch Japanisch Gefühl Edel Körper Selbstantwort I Künstliche Intelligenz Edel selbst Edel I-Stimme I I Wort Nori Gefühl I Konsequente Selbstleistung Künstliche Intelligenz Ihr Gesprächspartner Bester Freund Freund I Inari Ich war schon lange nicht mehr Izakaya It I Klassenkameraden der Arita University Menschen beschatten das Leben so wie es ist I sie Was verursacht Herznebelpost Inhalt Zeitpunkt Sie Sie Ton Dialog Ken Mehrere Jahre Sie Ex-Freundin Ich Hals Luft Home Nächster Raum Schock Was Balance Sie Es Leben Forscher Freund Es ist am Rande der High School Boyfriend Mental College Tama Freeta Meine Freundin Nori Nori I I Ich bin ein Forscher um die These der International Society I I selbst Originalarbeit Instructor Person's Street Thesis I selbst Niemandes eigenes Genius Skin Nori Suche Noriaki Miya Nori Akira Undergraduate 1. Jahr Paper Page Universität Homepage Programmierwettbewerb Hauptpreis Spaß Student Mein bester Freund Rivale Nori Ich selbst Nori Was Inari PC-Daten Hübsches Schockhaus WIFI PC Inari Hauszug WIFI PC Datensicherheitsinteresse Sicherheitslücke Datei Kann weibliche Charakterdatei Dieser Schock Inari-Datei Außenbodengeräusch Sofort meine Situationsdaten Ihr Schuldgefühl Dateidaten Meine PC-Daten PC Meine Spuren Möglichkeitsdaten Maßgeschneidert I Nori Welcher Schock Außerhalb welchem Raum Personen im Raum Welches Fenster Sie haben lange nicht gesehen 3 Jahr Nori Nori Mein Zuhause Weil ich vor wichtigen Dingen stehe Es I Inari Mein Mund Worte Nori Ein anderes Thema Tossa Hier Nori Izakaya Mein Zuhause Atmosphäre I Welches Hauptthema Taverne Nori Taverne Nori Welches Twitter Line Taverne Michi Thema Nori Inhalt Nori Fakultät für Ingenieurwesen Software I Standardvorlage Kern Was Nori Was Inari Mein PC Nori Kita Haus Es Haus Nori Sie redet absurd Nori bleibt links voneinander Richtung Straße zurück Rückwärts
hashire15-meishi.txt
Rund um Bücher Power PC Nori PC Daten USB Diese Home Performance Computer Daten Daten Nori Irgendwo Daten Daten Terminal Bildschirm Bildschirm Mein Gesicht Augenpupille Kapazität Deca Ordner Diese Daten Ken Inari Ordner Ausführungsdatei ai ver exe Terminal Fenster Bildschirm Gesicht Schönes Mädchen Mein Name Ihr Name Bevölkerungsinkompetenz Bevölkerungsinkompetenzsatz iPhone siri Bevölkerungsinkompetenz Nori Mittelhoch Nori I Genie Nori Originalität Genie Disposition Freund I Genie Nori Ihr Name Person I Name Takeru Mittelfinger Geben Sie den Schlüsselnamen ein Betreff Grundlegende Bevölkerungsinkompetenz Sie Quellcode Wo Windagent I Quellcode-Ordner I Ordner Editor Quellcode Quellcode Persönlich Hier Nori Quellcode Deep Learning Neueste Methode Ken Inari Bester Freund Quellcode Sorgfältige Technologie Wunsch Ken Inari Neueste Kenntnisse der künstlichen Intelligenz Ich selbst Nori Es So Es Inari Forscher Will Magazine Es Methode Inari Meine These Mathematik These Computer Menschliche Intelligenz Inari PC Wörter PC-Bildschirm Nori Voice Voice That Haarfarbe Ton oder nicht Augenbildschirm Unbequemes Gefühl Dieses Papier Iroha Inari SNS Blond mag mich selbst Künstliche Intelligenz Maschine I Mensch verwirrt Inari Blond Künstliche Intelligenz Selbst Inari Methode Tiefes Lernen Tiefes Lernen Menschliches System Daten Mensch Inari Ich Inari Ichimoto Nori Nori Nori Nori Nori Es Freund Inari Ken Nori Nori Nori Nori Internet Nori Fake Mirror Site Ich Nori Wie geplant Ich Ich Nori Freund Wind Takeru Künstliche Intelligenz Es Es Unfall Lie Lie Virus Inari Internet Virus Inari Selbst Künstliche Intelligenz Freund Lüge Noriaki-san Kibe Schauspieler I Nase Vertrauen Inari Künstliche Intelligenz Ton Kaze Nori Familie I Herz Inari Wahrheit Herz Lüge Es gibt keine Hilfe für Nori Meine Augen Mann Meine Daten Daten Nori Zustand Irgendwo Daten Daten Terminal Bildschirm Bildschirm Mein Gesicht Augen Großer Ordner Diese Daten Ken Inari Ordner Ausführungsdatei ai ver exe Terminal Fenster Bildschirm Schönes Mädchen Gesicht Ich nenne Sie Name Bevölkerungsinkompetenz Bevölkerungsinkompetenz Satz iPhone siri Bevölkerungsinkompetenz Nori Mittelhoch Nori I Genie Nori Originalität Genie Disposition Freund I Genie Nori Ihr Name Person I Name Takeru Mittelfinger Geben Sie den Schlüsselnamen ein Thema Betreff Grundlegende Bevölkerungsinkompetenz Sie Quellcode Wo Wind Agent Code Ordner Zwei I Ordner Editor Quellcode Quellcode Persönlich Hier Nori Quellcode Deep Learning Neueste Methode Ken Inari Bester Freund Quellcode Sorgfältige Technologie Wunsch Ken Inari Neueste Kenntnisse der künstlichen Intelligenz Selbst Nori So There Inari Forscher Intention Magazine Es Methode Inari Selbst Papierformel Diplomarbeit Computer Menschliche Intelligenz Inari Personal Computer Wörter PC-Bildschirm Nori Voice Stimme, die Haarfarbe Ton Keine Augen Bildschirm Unbequem Dieses Papier Iroha Inari SNS Blonde Präferenz Meine künstliche Intelligenz Maschine I Mensch Verwirrt Inari Blonde Künstliche Intelligenz Meine Inari-Methode Deep Learning Deep Learning Deep Learning Mensch Inari Ken selbst Inari Ichimoto Nori Nori Nori I Nori Es ist Freund Ken Inari Nori Nori Nori Internet Nori Fake Mirror Site I Nori Wie geplant bin ich Nori Freund Wind Takeru Künstliche Intelligenz Es ist eine Unfalllüge Virus Hand Inari selbst Künstliche Intelligenz Freund Lie Noriaki-san Kibe Schauspieler I Nase Vertrauen Inari Künstliche Intelligenz Ton Kaze Nori Familie I Herz Inari Wahrheit Herz Lüge Nori I Auge Mann
hashire16-meishi.txt
Wind Skin Season Short Sleeve Mein bester Freund Bekanntschaft Was Edel ich Smartphone Voice App Edel Menschen ich Edel Himmel Edel Gefühle ich Edel Ursache Virusinfektion Danke Menschen Gefühle ich Edel Emotionen Gesprächspartner Edel Umgekehrte Gefühle Ich Edel Es ist der Wind Ich bin die Dunkelheit Verantwortung Ich bin Edel Emotionen Ich Edel Du bist Gefühle Es ist Ich Autor Ich Edel Edel Zwischen Nori Nori Welches Gesicht Lüge Was immer wirklich Es Freund Ich Edel Freundschaft
hashire17-meishi.txt
Freund Freund Freund Freund Freund Bester Freund Wörter Jeder Leute Ich ersetze High School Freund Bester Freund Wörter High School I Bester Freund Größe Guy I Es Dass Das Miya I Das Das SD-Karten-Film Zusammen Mobile Game Machine Hiyahiya Inhalt Film Mein Lieblingsfilm Ein Fußballclub Irgendwo Mitglieder der Clubaktivität Herz irgendwo Miya Clubaktivität Freizeit High School Tage Hobbys Was für ein leeres Haus Letzte Chance Chance Winterwinter Schneeschuhe Dieser Typ Irgendwo zusammen Junior High School Mann Mann Dieser Typ Irgendwo dunkler Mann Ich Schnee I Signal blau Dieser Typ I Arm Rotes Auto Gleichgeschlechtlicher Freund Was Das Haus des Kerls Kaufhaus Einladung Fußballverein Winterkörper Fußballverein Tama Schule Naka I Eines Tages Schock Sie Ki Künstliche Intelligenz Sie I Wort High School Drittklässler Dieser Kerl Gesicht Tränen Depression Es Schizophrenie So Situation Wie oft Krankenhaus I Um mich herum Wer es AI I Edel Mike AI Edel BB Rechter Smartphone Edel I Jemandes Smartphone-Bildschirm Inari Irgendwo nach langer Zeit Inari-Ton Welches Thema Was Arita Fortsetzung Nori PC I Was Nori…. Inari Net I Inari Feeling Takeru 16:30 Inari Treffpunkt Diese Lüge…. Miya Freund Versteckter Freund Inari Gesichtsbehandlung I Alte Geschichte Kana Inari Junior High School Freund I High School Fußballverein Klassenkamerad Mein Mann Wer ich Inari Aitsuki I Erste Stimme Wörter Inari Wörter I Miya I Nori Künstliche Intelligenz Technische Wärme Nori Inari Intelligenz Es ist meine eigene Technologie ... Ich Edel Kopf menschliches Gehirn Modell Neuronale Netzwerktechnologie Inari-Technologie Es ist ein Papier, das ich selbst Forscher Forscher Ei Blut Inari-Technologie Weltbeispiel Modell Ich frage mich, ob es zuversichtlich ist, Inari werde ich es zusammen tun Nori Zusammen ... Nori I Lassen Sie uns ein Treffen haben I Inari-Forscher Auge I Inari-Theorie Teilarbeit I Familieninari-Familieninformationsbuchhandlung Mathematik Buchformel Zitat Zitat Quelle Nervös 3 Tage Meine Familie Inari-Universitätslaborpapiere Fah Ah einander Stimmen I Inari steht vor Leistung Goo I Rechte Hand Inari Linke Hand Jemand Irgendwo Professor Toko Wen wir befreundet Arita Ihr ehemaliges Papier Arita I Inari Erstes Aussehen Gesicht Haar Bassabosa I Papier Arita Nummer Privat It Internetbenutzer Absolut unmöglich Meine Papierseite Unsere nächste Seite hier Nächste Mail Box Papers Pretty I Smartphone Inari Takeru Mailbox Takeru Voice That Laptop Wo Inari Bett Englisch Diese Seite Site Takeru Unsere Site Paper Beispiel Github Quellcode Site README md Rewrite Twitter Tweet Situation Es Major Papers Artikel Freunde Wörter Wörter Takeru Together Papers Just Friends Irgendwo bin ich nicht ich Irgendwo sind wir einander Takeru Institute Forscher Michi I I Fakultät für Internationale Studien Hobbys Zwei Personen Upper Haha I Takeru Arita Rohbier Cunyan Pflaume Sake Glas Arita Arita Gesellschaft Pflegeroboter Leiter Sake Chara I Takeru Arita Leiter
Es ist etwas zu viel, aber kopieren Sie den obigen Text und speichern Sie ihn in Ihrem Arbeitsverzeichnis. Der Code, der das Gewicht mit tfidf berechnet und das Wort ausgibt, lautet wie folgt.
countVector.py
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction import DictVectorizer
count = CountVectorizer()
hashire01 = open('./hashire01-meishi.txt', 'r').read()
hashire02 = open('./hashire02-meishi.txt', 'r').read()
hashire03 = open('./hashire03-meishi.txt', 'r').read()
hashire04 = open('./hashire04-meishi.txt', 'r').read()
hashire05 = open('./hashire05-meishi.txt', 'r').read()
hashire06 = open('./hashire06-meishi.txt', 'r').read()
hashire07 = open('./hashire07-meishi.txt', 'r').read()
hashire08 = open('./hashire08-meishi.txt', 'r').read()
hashire09 = open('./hashire09-meishi.txt', 'r').read()
hashire10 = open('./hashire10-meishi.txt', 'r').read()
hashire11 = open('./hashire11-meishi.txt', 'r').read()
hashire12 = open('./hashire12-meishi.txt', 'r').read()
hashire13 = open('./hashire13-meishi.txt', 'r').read()
hashire14 = open('./hashire14-meishi.txt', 'r').read()
hashire15 = open('./hashire15-meishi.txt', 'r').read()
hashire16 = open('./hashire16-meishi.txt', 'r').read()
hashire17 = open('./hashire17-meishi.txt', 'r').read()
docs = np.array([hashire01, hashire02, hashire03, hashire04, hashire05, hashire06, hashire07, hashire08, hashire09, hashire10, hashire11, hashire12, hashire13, hashire14, hashire15, hashire16, hashire17])
bag = count.fit_transform(docs)
#Zu welcher Nummer in der Sequenz gehört das Wort, zu dem sie gehört?
# print(count.vocabulary_.get('Freundin'))
#tfidf Einstellungen
tfidf = TfidfTransformer(use_idf=True, norm='l2', smooth_idf=True)
#Anzeige bis zur 4. Ziffer.
np.set_printoptions(precision=4)
cnt_voc = count.vocabulary_
tfidf_array = np.array(tfidf.fit_transform(bag).toarray())
#Die Verarbeitung, die erforderlich ist, um einem Wort einen Vektor zuzuordnen.
vec = DictVectorizer()
vec.fit_transform(cnt_voc).toarray()
feature = vec.get_feature_names()
#Einstellen des Schwellenwerts für tfidf
threshold = 0.5
#Ersetzen Sie die Nummer des Trefferelements. Aus irgendeinem Grund wird es in zwei Sequenzen übergeben.
hairetsu = np.where(tfidf_array >= threshold)
# np.Entfernen Sie doppelte Werte mit Unique.
#Aus irgendeinem Grund np.Wenn es dort ist, werden zwei Arrays zurückgegeben, also verketten Sie sie zu einem.
hit_word = np.unique(np.append(hairetsu[0], hairetsu[1]))
#Gibt das von tfidf berechnete Wort aus.
for num in range(0, len(hit_word)):
print(feature[hit_word[num]])
Ausgabe.txt
1 Tag
ai
ar
C Sprache
exe
Google-Suche
Edel
Name
Junge
Freundin
Arita
Inari
Wie Sie dem Inhalt des Romans entnehmen können, erscheinen die Zeichen (Edel, Arita, Inari), sodass die Merkmale des Textes erläutert werden. Ich glaube, ich halte es gedrückt.
Ich habe es als eine bestimmte Prozedur geschrieben, aber da ich einen Kommentar im Quellcode geschrieben habe, denke ich, dass Sie ihn verstehen können, deshalb werde ich ihn nicht schreiben, um zu vermeiden, dass die Erklärung überflüssig wird.
Wenn ich es jedoch vorerst schreibe, ist der Schwellenwert der Schwellenwert, und wenn dieser Wert hoch ist, bedeutet dies, dass es sich um ein Wort handelt, das im Dokument eine wichtige Bedeutung hat. Danach denke ich, dass die Dokumente unter Verwendung einer Support-Vektor-Maschine oder dergleichen klassifiziert werden.
Ich werde es hinzufügen, weil es von vielen Menschen unerwartet gelesen wird. Dieses Mal wurde die Merkmalsmenge von tfidf extrahiert, es ist jedoch auch möglich, die Merkmalsmenge durch andere Techniken wie das Einbetten von Wörtern (word2vec, GloVe, fastText, Exponential Family Embeddings) zu extrahieren. Es sollte genauer sein als tf idf. Ich denke, es ist ein gutes Thema, da es einfach zu implementieren ist.
** Auch diesmal wird nur die Nomenklatur herausgenommen, aber ich denke, es ist besser zu diskutieren, ob es wirklich angemessen ist. ** **.
Recommended Posts