[PYTHON] [Einführung in Word Cloud] Einfache Verwendung mit Jetson-nano ♬

Ich glaube, ich habe WordCloud schon einmal gesehen, aber es war einfach, als ich es ausprobiert habe, also werde ich es in einen Artikel einfügen. Sie können so etwas machen.

Was ich getan habe

·Umgebung ・ Das einfachste Beispiel ・ Versuchen Sie es ein wenig ・ Denken Sie an die Verwendung

·Umgebung

Diesmal habe ich Jetson-Nano verwendet. Daher ist die Basisumgebung wie verknüpft, dh die Ubuntu-Umgebung. Normalerweise können Sie es wie folgt installieren.

$ pip3 install wordcloud

Ich habe jedoch einige Fehler erhalten und konnte es nicht installieren, also

$ sudo pip3 install wordcloud

Ich konnte es mit installieren. Im Fall von Japanisch ist es auch erforderlich, MeCab usw. zu installieren, um die Unterteilung und einen Teil des Wortes zu analysieren. Darüber hinaus wurde die japanische Schriftart wie in Referenz (2) unten gezeigt installiert. Laden Sie zunächst Von Link Noto Sans CJK JP herunter.

$ unzip NotoSansCJKjp-hinted.zip
$ mkdir -p ~/.fonts
$ cp *otf ~/.fonts
$ fc-cache -f -v # optional

【Referenz】 ①amueller/word_cloud ② [Hinweis] Erstellen einer japanischen Wortwolke

・ Das einfachste Beispiel

Mit Blick auf den folgenden Referenzcode scheint WordCloud eine Ausgabe durchzuführen, indem die Größe und Ausgaberichtung von Zeichen in einem bestimmten Bereich entsprechend der Zeichenfrequenz zufällig geändert wird. 【Referenz】 ・ Word_cloud / wordcloud / wordcloud.py Der einfachste Verwendungscode lautet also wie folgt.

from MeCab import Tagger
import matplotlib.pyplot as plt
from wordcloud import WordCloud

t = Tagger()

text = "Am 25. verlieh die Meijo-Universität (Nagoya City) Akira Yoshino (72), einem Professor derselben Universität, der den Nobelpreis für Chemie für die Entwicklung von Lithium-Ionen-Batterien erhielt, und einem Ehrenmitglied von Asahi Kasei den Titel "Special Honorary Professor". Herr Yoshino ist seit 2017 Professor an der Graduiertenschule für Wissenschaft und Technik und leitet einmal pro Woche die Vorlesungen. Laut der Meijo-Universität ist der besondere Ehrenprofessor ein Titel, um Lehrer zu ehren, die den Nobelpreis gewonnen haben. Es wurde 2014 gegründet, als Isamu Akasaki, ein lebenslanger Professor, und Hiroshi Amano, ein ehemaliger Professor, den Nobelpreis für Physik für die Entwicklung einer Blaulichtemissionsdiode (LED) erhielten."

splitted = " ".join([x.split("\t")[0] for x in t.parse(text).splitlines()[:-1]])
print("1",splitted)
wc = WordCloud(font_path="/home/muauan/.fonts/NotoSansCJKjp-Regular.otf")
wc.generate(splitted)
plt.axis("off")
plt.imshow(wc)
plt.pause(1)
plt.savefig('./output_images/yosino0_{}.png'.format(text[0])) 
plt.close()

Wenn Sie den Teil t = Tagger () dieses Codes ändern und verschieben, können Sie den Teil in der Spalte Word Cloud in der folgenden Tabelle generieren. Von oben entsprechen die gleichen Artikelnummern.

Artikelnummer	Wörterbuch	Trennen und Löschen von Teilwörtern	Word Cloud
０	default dictionary	Am 25. verlieh die Meijo-Universität (Nagoya City) Asahi Kasei-Ehrenmitglied Akira Yoshino (72), einem Professor an derselben Universität, der den Nobelpreis für Chemie für die Entwicklung von Lithium-Ionen-Batterien erhielt, den Titel "Special Honorary Professor". Herr Yoshino ist seit 2017 Professor an der Graduiertenschule für Wissenschaft und Technologie und leitet einmal pro Woche die Vorlesungen. Laut der Meijo-Universität ist der besondere Ehrenprofessor ein Titel, um die Fakultätsmitglieder zu ehren, die den Nobelpreis erhalten haben. Es wurde 2014 gegründet, als Isamu Akasaki, ein lebenslanger Professor, und Hiroshi Amano, ein ehemaliger Professor, den Nobelpreis für Physik für die Entwicklung einer Blaulichtemissionsdiode (LED) erhielten.
１	neologd	Am 25. verlieh die Meijo-Universität (Nagoya City) Asahi Kasei-Ehrenmitglied Akira Yoshino (72), einem Professor an derselben Universität, der den Nobelpreis für Chemie für die Entwicklung von Lithium-Ionen-Batterien erhielt, den Titel "Special Honorary Professor". Herr Yoshino ist seit 2017 Professor an der Graduiertenschule für Wissenschaft und Technik und leitet einmal pro Woche die Vorlesungen. Laut der Meijo-Universität ist der besondere Ehrenprofessor ein Titel zur Ehre der Fakultätsmitglieder, die den Nobelpreis erhalten haben. Es wurde 2014 gegründet, als Isamu Akasaki, ein lebenslanger Professor, und Hiroshi Amano, ein ehemaliger Professor, den Nobelpreis für Physik für die Entwicklung einer Blaulichtemissionsdiode (LED) erhielten.
２	neologd +Löschen Sie Hilfswörter, Hilfsverben usw.	Die Daijo University (Nagoya City) erhielt am 25. den Nobelpreis für Chemie für die Entwicklung von Lithium-Ionen-Batterien. Professor der gleichen Universität Asahi Kasei Honorary Fellow Akira Yoshino (72) verlieh den Titel "Special Honorary Professor". Herr Yoshino, 2017, Professor an der Graduiertenschule für Wissenschaft und Technik, hält einmal pro Woche Vorlesungen. Universität Meijo, Ehrenprofessor für Nobelpreisträger Titel für Fakultätsmitglied. Lebenszeitprofessor 2014 Isamu Akasaki Ehemaliger Professor Hiroshi Amano, Entwicklung der Blaulichtemissionsdiode (LED) Nobelpreisträger für Physik gegründet.

・ Versuchen Sie es ein wenig

Code

Vorerst habe ich den folgenden Code eingefügt, um WordCloud für den auf der Tastatur eingegebenen Text zu generieren. WordCloud/wc_input_original.py

Einführung von Stoppwörtern

Oben wurden unnötige Teile des Teils mit dem in Mecab geschriebenen Teil des Teils gelöscht. Selbst wenn jedoch nur die Zeichen extrahiert werden, die den Satz darstellen, ist dies immer noch unzureichend, und ich möchte die Zeichen weiter reduzieren und sie mit größerer Wirkung anzeigen. Daher werden wir ein Stoppwort einführen, um bestimmte Zeichen und Zeichenfolgen zu löschen. Die zu realisierende Funktion ist wie folgt. 【Referenz】 ③ Überprüfungstendenz hoch bewerteter Ramen-Shops in TF-IDF (Verarbeitung natürlicher Sprache, TF-IDF, Mecab, Wortwolke, morphologische Analyse, Teilen) / 14/142128 #% E3% 82% B9% E3% 83% 88% E3% 83% 83% E3% 83% 97% E3% 83% AF% E3% 83% BC% E3% 83% 89) ④ [slothlib --Revision 77: / CSharp / Version1 / SlothLib / NLP / Filter / StopWord / word Japanese.txt](http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/ Filter / StopWord / word /) Die Zeichenfolge, die Sie löschen möchten, kann mit der folgenden Funktion exclude_stopword () gelöscht werden, indem Sie die obige Japanese.txt in Dir einfügen und dieser Datei hinzufügen.

#Stoppwort-Lesefunktion
stop_words = []
if args.stop_words:
    for line in open(args.stop_words, "r", encoding="utf-8"):
        stop_words.append(line.strip())
    print(stop_words)

#Eine Funktion, die eine Liste in eine Zeichenfolge konvertiert
def join_list_str(list):
    return ' '.join(list)

#Stoppwort-Ausschlussfunktion
def exclude_stopword(text):
    changed_text = [token for token in text.lower().split(" ") if token != "" if token not in stop_words]
    #Wenn es wie oben belassen wird, liegt es im Listenformat vor. Konvertieren Sie es daher in eine durch Leerzeichen getrennte Zeichenfolge
    changed_text = join_list_str(changed_text)
    return changed_text

Entwickeln Sie WordCloud

Die Funktionen, die WordCloud generieren, sind wie folgt. Der folgende Code bezieht sich auf Referenz ⑤, Referenz ③ und Referenz ① unten. 【Referenz】 ⑤ Wordcloud mit maskiertem Bild erstellen Einfach gesagt ・ Definieren Sie zuerst die japanische Schriftart -Das Argument sk wird verwendet, um den Dateinamen zu identifizieren

• Bei Verwendung der Maskenfunktion ist das Argument imgpath der Dateipfad des Maskenbilds in diesem Argument. ・ Bei Verwendung einer Maske Führen Sie die erste if-Anweisung oder weniger aus ・ Wenn Sie keine Maske verwenden, führen Sie else oder weniger aus. Hier sind die Argumente von WordCloud fast defalt und können neu definiert werden (Erklärung für jeden Gegenstand wird als Bonus beschrieben)

fpath="/home/muauan/.fonts/NotoSansCJKjp-Regular.otf"

def get_wordcrowd_color_mask(sk, text, imgpath ):
    plt.figure(figsize=(6,6), dpi=200)
    if imgpath != "":
        img_color = np.array(Image.open( imgpath ))
        image_colors = ImageColorGenerator(img_color)
        wc = WordCloud(width=400,
                   height=300,
                   font_path=fpath,
                   mask=img_color,
                   collocations=False, #Dupliziere keine Wörter
                  ).generate( text )
        plt.imshow(wc.recolor(color_func=image_colors), #Verwenden Sie die Farbe des Originalbildes
               interpolation="bilinear")
    else:
        #wc = WordCloud(font_path=fpath, regexp="[\w']+").generate( text )
        wc = WordCloud(font_path=fpath, width=400, height=200, margin=2,
                 ranks_only=None, prefer_horizontal=.9, mask=None, scale=1,
                 color_func=None, max_words=200, min_font_size=4,
                 stopwords=None, random_state=None, background_color='black',
                 max_font_size=None, font_step=1, mode="RGB",
                 relative_scaling='auto', regexp=r"\w[\w']+" , collocations=True,
                 colormap=None, normalize_plurals=True, contour_width=0,
                 contour_color='black', repeat=False,
                 include_numbers=False, min_word_length=0).generate(text)
        plt.imshow(wc)
    # show
    plt.axis("off")
    plt.tight_layout()
    plt.pause(1)
    plt.savefig('./output_images/{}-yosino_{}.png'.format(sk,text[0])) 
    plt.close()

Generierungsergebnis

Generieren Sie mit dem folgenden Code mit der obigen Funktion. Ich habe beschlossen, den Text, den ich in WordCloud generieren möchte, in die Zeile zu kopieren. Eine dreistufige Verarbeitung wurde durchgeführt, um die Wirkung von Stoppwörtern und dergleichen zu sehen. Hier wird die letzte Verarbeitung unten beschrieben, und die anderen werden in Bonus 2 beschrieben, sodass der Effekt im Vergleich klar ist.

while True:
    line = input("> ")
    if not line:
        break
    splitted = " ".join([x.split("\t")[0] for x in t.parse(line).splitlines()[:-1] if x.split("\t")[1].split(",")[0] not in ["Partikel", "Hilfsverb", "Adverb", "Coalm","Verbindung","Verb","Symbol"]])
    splitted = exclude_stopword(splitted)
    print("2",splitted)
    get_wordcrowd_color_mask(4,splitted, '')
    get_wordcrowd_color_mask(5,splitted, './mask_images/alice_color.png')

Zusammenfassung

・ WordCloud konnte den Umriss des Textes anzeigen ・ Ich habe gesehen, dass sich die Genauigkeit des Umrisses abhängig von der Steuerung durch Stoppwörter und Teilwörter ändert. ・ Wenn Sie eine Maske verwenden, können Sie sehen, dass sie nur in einem bestimmten Bereich generiert werden kann. ・ Jetson-Nano kann auch in kurzer Zeit erzeugt werden

・ Ich möchte über effektive Nutzungsszenen und -dienste mit Echtzeitausgabe usw. nachdenken.

Bonus (Ausgabebeispiel)

$ python3 wc_input_original.py -d /usr/lib/aarch64-linux-gnu/mecab/dic/mecab-ipadic-neologd -s japanese.txt

Japanese.txt

['da drüben', 'Pro', 'Dort', 'Da drüben', 'nach', 'Loch', 'Lochた', 'Das', 'Wie viele', 'Wann', 'Jetzt', 'Unangenehm', 'verschiedene', 'Zuhause', 'Grob', 'Du', 'ich', 'Oh', 'Gai', 'Zeichnen', 'Gestalten', 'Wunder', 'Kayano', 'Von', 'Gara', 'Kam', 'Gewohnheit', 'Hier', 'Hier', 'Ding', 'Jeder', 'Hier', 'Durcheinander gebracht', 'Dies', 'Diesら', 'Um', 'Verschiedene', 'Linderung', 'Herr.', 'Wie man', 'Versuchen', 'Suka', 'Einer nach dem anderen', 'Schienbein', 'alles', 'Alles', 'damit', 'Dort', 'Dort', 'Da drüben', 'Sode', 'Es', 'Esぞれ', 'Esなり', 'たくHerr.', 'Etc.', 'Jedes Mal', 'Zum', 'Nicht gut', 'Cha', 'Chaん', 'Zehn', 'とOhり', 'Wann', 'Wo', 'Woか', 'Apropos', 'Welche', 'Irgendwo', 'Welche', 'welcher', 'Innerhalb', 'Innerhalbば', 'Ohne', 'Was', 'Eine solche', 'Was', 'Wasか', 'Zu', 'von', 'Start', 'Sollte sein', 'Haruka', 'Menschen', 'Menschenつ', 'Kleider', 'Erstes Mal', 'Betsu', 'Seltsam', 'Stift', 'Wie', 'Andere', 'Masa', 'Besser', 'Anständig', 'Wie es ist', 'will sehen', 'Drei', 'みなHerr.', 'Jedermann', 'Ursprünglich', 'もvon', 'Tor', 'Kerl', 'Yo', 'Draußen', 'Grund', 'ich', 'Ja', 'Oben', 'Während ~', 'unter', 'Charakter', 'Jahr', 'Mond', 'Tag', 'Zeit', 'Protokoll', 'Sekunden', 'Woche', 'Feuer', 'Wasser', 'Holz', 'Geld', 'Boden', 'Land', 'Hauptstadt', 'Straße', 'Präfektur', 'Präfektur', 'Stadt', 'Station', 'Stadt, Dorf', 'Dorf', 'jeder', 'Nein.', 'Einer', 'Was', 'Ziel', 'Jedes Mal', 'Satz', 'Person', 'Sex', 'Körper', 'Mann', 'andere', 'jetzt', 'Abteilung', 'Teilung', 'Verantwortliche Person', 'Draußen', 'Nett', 'Tatsu', 'Qi', 'Zimmer', 'Mund', 'Wer', 'zum', 'Welt', 'Treffen', 'Hals', 'Mann', 'Frau', 'Ein weiterer', 'Geschichte', 'ich', 'Geschäft', 'Geschäft', 'Haus', 'Platz', 'etc', 'Sie sehen', 'Wann', 'Aussicht', 'Schritt', 'Abkürzung', 'Beispiel', 'System', 'Theorie', 'bilden', 'während', 'Boden', 'Mitglied', 'Linie', 'Punkt', 'Buch', 'Waren', 'Leistung', 'Recht', 'Gefühl', 'Geschrieben', 'Ehemalige', 'Hand', 'Nummer', 'er', 'erFrau', 'Kind', 'Innerhalb', 'einfach', 'Freude', 'Wütend', 'Trauer', 'Ring', 'Um', 'Zu', 'Rand', 'mich', 'Kerl', 'Hoch', 'Schule', 'Frau', 'Schienbein', 'Ki', 'Zeitschrift', 'Les', 'Linie', 'Säule', 'Ding', 'Shishi', 'Stand', 'Sammlung', 'Herr', 'Platz', 'Geschichte', 'Schiff', 'Name', 'Emotion', 'Kommunizieren', 'jeder', 'Formel', 'Buch', 'Mal', 'Tier', 'Stücke', 'Sitz', 'bündeln', 'Alter', 'Auge', 'Kenner', 'Oberfläche', 'Kreis', 'Ball', 'Blatt', 'Bisherige', 'Rückseite', 'links', 'richtig', 'Nächster', 'Voraus', 'Frühling', 'Sommer-', 'Herbst', 'Winter', 'einer', 'zwei', 'drei', 'vier', 'Fünf', 'Sechs', 'Sieben', 'Acht', 'Neun', 'Zehn', 'hundert', 'tausend', 'Zehntausend', 'Milliarde', 'Billion', 'unter記', 'Oben記', 'Zeitwährend', 'jetztMal', 'BisherigeMal', 'Platz合', 'einerつ', 'Jahr生', '自Protokoll', 'ヶPlatz', 'ヵPlatz', 'カPlatz', '箇Platz', 'ヶMond', 'ヵMond', 'カMond', '箇Mond', 'NameBisherige', 'Wirklich', 'Bestimmt', 'ZeitPunkt', '全Abteilung', '関Verantwortliche Person', 'nahe', 'EinerRecht', 'wir', 'der Unterschied', 'Viele', 'Behandlung', 'Neu', 'そvonRückseite', 'Mitte', 'Nach alldem', 'Herr々', '以Bisherige', '以Rückseite', 'Oder später', 'Weniger als', '以Oben', '以unter', 'wie viele', 'jederTag', '自Körper', 'Da drüben', 'WasMann', 'HandSchritt', 'das Gleiche', 'Gefühlじ']

Eingang.

>Am 25. verlieh die Meijo-Universität (Nagoya City) Akira Yoshino (72), einem Professor derselben Universität, der den Nobelpreis für Chemie für die Entwicklung von Lithium-Ionen-Batterien erhielt, und einem Ehrenmitglied von Asahi Kasei den Titel "Special Honorary Professor". Herr Yoshino ist seit 2017 Professor an der Graduiertenschule für Wissenschaft und Technik und leitet einmal pro Woche die Vorlesungen. Laut der Meijo-Universität ist der besondere Ehrenprofessor ein Titel, um Lehrer zu ehren, die den Nobelpreis gewonnen haben. Es wurde 2014 gegründet, als Isamu Akasaki, ein lebenslanger Professor, und Hiroshi Amano, ein ehemaliger Professor, den Nobelpreis für Physik für die Entwicklung einer Blaulichtemissionsdiode (LED) erhielten.

    splitted = " ".join([x.split("\t")[0] for x in t.parse(line).splitlines()[:-1] if x.split("\t")[1].split(",")[0] not in [""]])
    print("0",splitted)
    get_wordcrowd_color_mask(0,splitted, '')
    get_wordcrowd_color_mask(1,splitted, './mask_images/alice_color.png') 

Ausgabe 0.

0 Am 25. verlieh die Meijo University (Nagoya City) Asahi Kasei Honorary Fellow Akira Yoshino (72), einem Professor an derselben Universität, der den Nobelpreis für Chemie für die Entwicklung von Lithium-Ionen-Batterien erhielt, den Titel "Special Honorary Professor". .. Herr Yoshino ist seit 2017 Professor an der Graduiertenschule für Wissenschaft und Technik und leitet einmal pro Woche die Vorlesungen. Laut der Meijo-Universität ist der besondere Ehrenprofessor ein Titel zur Ehre der Fakultätsmitglieder, die den Nobelpreis erhalten haben. Es wurde 2014 gegründet, als Isamu Akasaki, ein lebenslanger Professor, und Hiroshi Amano, ein ehemaliger Professor, den Nobelpreis für Physik für die Entwicklung einer Blaulichtemissionsdiode (LED) erhielten.

    splitted = " ".join([x.split("\t")[0] for x in t.parse(line).splitlines()[:-1] if x.split("\t")[1].split(",")[0] not in ["Partikel", "Hilfsverb", "Adverb", "Coalm","Verbindung","Verb","Symbol"]])
    print("1",splitted)
    get_wordcrowd_color_mask(2,splitted, '')
    get_wordcrowd_color_mask(3,splitted, './mask_images/alice_color.png') 

Ausgabe 1.

1 Meijo University Nagoya City 25. Lithium-Ionen-Batterieentwicklung Nobelpreis für Chemie Gewinner derselben Universität Professor Asahi Kasei Ehrenmitglied Akira Yoshino 72 Ehrenprofessor Yoshino 2017 Graduiertenschule für Wissenschaft und Technik Wöchentlicher Vortrag Meijo Universität Ehrenprofessor Nobelpreis Auszeichnung für Fakultätstitel 14 Jahre Lebenslanger Professor Isamu Akasaki Ehemaliger Professor Hiroshi Amano Blaue Leuchtdiode LED-Entwicklung Nobelpreis für Physik Gegründet

Ausgabe 2.

2 Meijo University Nagoya City 25. Lithium-Ionen-Batterieentwicklung Nobelchemie-Preisträger derselben Universität Professor Asahi Kasei Ehrenmitglied Akira Yoshino 72 Ehrenprofessor Yoshino 2017 Graduiertenschule für Wissenschaft und Technik Professor 1. Vorlesung Meijo-Universität Ehrenprofessor Nobelpreisträger Titel 14 Jahre Lebenszeit Professor Isamu Akasaki Professor Hiroshi Amano Blaulicht emittierende Diode führte Entwicklung Nobelpreis für Physik Ausgezeichnete Gründung

Bonus (Parameter)

WordCloud-Argumentliste (Referenz; aus der Erläuterung im folgenden Code) ・ Word_cloud / wordcloud / wordcloud.py