[PYTHON] Sofortige Visualisierung des Qiita Adventskalenders 2019

Sofortige Visualisierung des Qiita Adventskalenders 2019

Dieser Artikel ist der 20. Tagesartikel des All About Group (All About) Adventskalenders 2019. Es ist Weihnachten, wenn ich noch ein paar Mal schlafe. Jetzt, wo ich erwachsen bin, glaube ich, dass der Weihnachtsmann wirklich kommen wird.

Schön, Sie zum ersten Mal zu treffen, das ist Akidukin14. Normalerweise bin ich für das maschinelle Lernen des Werbeverteilungssystems von AllAbout und die Visualisierung der Analyseergebnisse verantwortlich.

Ich schreibe zum ersten Mal einen Adventskalender, also werde ich versuchen, was ich mir ausgedacht habe.

Was ich getan habe (Übersicht)

Lassen Sie uns die Artikeldaten in jedem Kalender des Qiita-Adventskalenders visualisieren (Nur für Artikel auf Qiita ...)

Inhalt (Themen)

--Hintergrund

• Was du getan hast (Bulletin) --Ergebnis
• Was du getan hast (Details)
• Extrahieren Sie den Artikeltext des Adventskalenders --Verarbeiten Sie den Artikeltext in natürlicher Sprache (separate Schrift)
• Mit WordCloud visualisiert --Referenz --Advent Calender Index

Hintergrund

(Stand 12 / n 2019) ** Anzahl der Kalender: 770 ** ** Teilnehmerzahl: 13.414 **

Ich nehme zum ersten Mal am Adventskalender teil, aber das erste, woran ich dachte, war.

Feld. Die Anzahl der Kalender. Teilnehmerbereich.

Wo ist der Kalender, den Sie genau bestimmen möchten ... ?? Ich dachte das wäre mein Motiv.

Was ich getan habe (Bulletin)

1. Extrahieren Sie den Artikeltext des Adventskalenders
2. Verarbeiten Sie den Artikelkörper in natürlicher Sprache (separate Schrift)
3. Visualisieren Sie mit WordCloud

Ergebnis

Ich werde das Ergebnis zuerst veröffentlichen. Wenn das Ergebnis ausreicht, überprüfen Sie bitte hier. (Ich habe so viel Licht gemacht, also denke ich, dass die Ergebnisse voreingenommen sind, tut mir leid ...)

Bild 1

Bild 2

Bild 3

Bild 4

Bild 5

Bild 6

Bild 7

Bild 8

Bild 9

Bild 10

Bild 11

Bild 12

Bild 13

Bild 14

Bild 15

Bild 16

Bild 17

Bild 18

Bild 19

Bild 20

Bild 21

Bild 22

Bild 23

Bild 24

Bild 25

Bild 26

Bild 27

Bild 28

Bild 29

Bild 30

Bild 31

Bild 32

1. Extrahieren Sie den Artikeltext des Adventskalenders

1. Klicken Sie in Python auf die Qiita-API, um Artikeldaten abzurufen

call_qiita_api

def call_qiita_api(header, per_page = None, query = None, page = None):
    ##API-Bezeichnung
    get_items_api = 'https://qiita.com/api/v2/items'
    params = {'per_page' : per_page
        , 'query' : query
        , 'page' : page}
    datas = requests.get(get_items_api, params = params, headers = header)
    return datas

2. Dies ist ein Adventskalender! Erfassen Sie Daten, indem Sie auf Artikel abzielen, die anscheinend vorhanden sind

regs_body_text

###Der Code ist wirklich schmutzig...
def regs_body_text(text):
    ##Normalisierungsmuster
    reg_pattern = re.compile('(\n|\t| |　|-|~|-|`|:|;|_|\*|\!|\?|！|？|\+|\$|#|\[|\])')
    tmp = re.sub(reg_pattern, '', text.lower())
    target_type = re.compile('(Adventskalender|adventcalendar)')
    if not re.search(target_type, tmp):
        return None, None
    calender_type = re.compile('(Dieser Beitrag)\w+?(adventcalendar2019)')
    if not re.search(calender_type, tmp):
        return None, None,
    url_strings = re.search(calender_type, tmp).group()
    get_calender_type = re.sub('(Dieser Beitrag|adventcalendar2019)', '', url_strings)
    return get_calender_type, tmp

2. Verarbeiten Sie den Artikelkörper in natürlicher Sprache (separate Schrift)

1. Geben Sie den Teil des Wortes mit MeCab an und teilen Sie ihn in Wörter

parse_text

mecab = MeCab.Tagger('-Owakati')
mecab.parse('')

def parse_text(text, parser = mecab):
    part = ['Substantiv','動Substantiv']
    parsed_text = []
    t = parser.parseToNode(text)
    while t:
        parts = t.feature.split(',')
        if parts[0] in part:
            parsed_text.append(t.surface)
        t = t.next
    return parsed_text

3. Visualisieren Sie mit WordCloud

1. Unterstützt jederzeit das Zeichnen im 9x9-Bereich

make_wordcloud

##Visualisieren Sie mit WordCloud
keys_len = len(dataset.keys())
plot_picture = int(keys_len / 9) + 1
plot_area = np.arange(0,9,1).reshape(3,3)
keys = sorted(dataset.keys())
fp = FontProperties(fname = fonts)
k = 0
for pp in range(plot_picture):
    fig,axes = plt.subplots(nrows = 3, ncols = 3, figsize = (10,10))
    for i in range(9):
        sys.stdout.write('\r {}/{}'.format(k, keys_len))
        target_key = keys[k]
        wc = wordcloud.WordCloud(
                font_path = fonts
                , prefer_horizontal = 1
                , max_words = 300
                , background_color = 'white'
                , colormap = 'RdYlBu'
                , contour_color='pink'
                , width = 750
                , height = 750)
        n,m = [x.item() for x in np.where(plot_area == i)]
        plot_data = ' '.join([y for x in dataset[target_key]['parsed_text'] for y in x if not check_word(y)])
        wc_gen = wc.generate(plot_data)
        axes[n,m].imshow(wc_gen, interpolation = 'bilinear')
        axes[n,m].set_title('AdventCalendar : {}'.format(target_key), FontProperties = fp, color = 'gray', fontsize = 10)
        axes[n,m].axis('off')
        k += 1
    plt.subplots_adjust(left=0.1, right=0.95, bottom=0.1, top=0.95)
    plt.savefig('{}_wordcloud.png'.format(pp))
    plt.close()

Referenz-URL

Verwenden der Qiita-API: https://qiita.com/arai-qiita/items/94902fc0e686e59cb8c5

AdventCalender Index

Dies ist die Art von Kalender, die ich dieses Mal verwendet habe. Ich habe es als Index vorbereitet.