[PYTHON] Visualisation instantanée du calendrier de l'Avent Qiita 2019

Visualisation instantanée du calendrier de l'Avent Qiita 2019

Cet article est l'article du 20e jour du calendrier de l'avent All About Group (All About) 2019. C'est Noël quand je dors encore quelques fois. Maintenant que je suis adulte, je crois que le Père Noël viendra vraiment.

Ravi de vous rencontrer pour la première fois, c'est Akidukin14. Je suis généralement en charge de l'apprentissage automatique du système de distribution publicitaire d'AllAbout et de la visualisation des résultats d'analyse.

C'est la première fois que j'écris un calendrier de l'Avent, je vais donc essayer ce que j'ai imaginé.

Ce que j'ai fait (aperçu)

Visualisons les données de l'article dans chaque calendrier du calendrier de l'Avent Qiita (Uniquement pour les articles publiés sur Qiita ...)

Sommaire (sujets)

--Contexte

• Ce que vous avez fait (bulletin) --Résultat
• Ce que vous avez fait (détails)
• Extraire le texte de l'article du Calendrier de l'Avent
• Traiter le texte de l'article en langage naturel (écriture séparée) --Visualisé avec WordCloud --Référence
• Index du calendrier de l'avent

Contexte

(Au 12 / n 2019) ** Nombre de calendriers: 770 ** ** Nombre de participants: 13414 **

C'est la première fois que je participe au calendrier de l'Avent, mais la première chose à laquelle j'ai pensé était.

Vitre. Le nombre de calendriers. Volet des participants.

Où est le calendrier que vous souhaitez localiser ... ?? Je pensais que c'était mon motif.

Ce que j'ai fait (bulletin)

1. Extrayez le texte de l'article du Calendrier de l'Avent
2. Traitez le corps de l'article en langage naturel (écriture séparée)
3. Visualisez avec WordCloud

résultat

Je publierai le résultat en premier. Si le résultat est suffisant, veuillez vérifier ici. (J'ai fait tellement de lumière, donc je pense que les résultats sont biaisés, je suis désolé ...)

Image 1

Image 2

Image 3

Image 4

Image 5

Image 6

Image 7

Image 8

Image 9

Image 10

Image 11

Image 12

Image 13

Image 14

Image 15

Image 16

Image 17

Image 18

Image 19

Image 20

Image 21

Image 22

Image 23

Image 24

Image 25

Image 26

Image 27

Image 28

Image 29

Image 30

Image 31

Image 32

1. Extrayez le texte de l'article du Calendrier de l'Avent

1. Appuyez sur l'API Qiita de Python pour obtenir des données d'article

call_qiita_api

def call_qiita_api(header, per_page = None, query = None, page = None):
    ##désignation API
    get_items_api = 'https://qiita.com/api/v2/items'
    params = {'per_page' : per_page
        , 'query' : query
        , 'page' : page}
    datas = requests.get(get_items_api, params = params, headers = header)
    return datas

2. Ceci est un calendrier de l'Avent! Acquérir des données en ciblant les articles qui semblent

regs_body_text

###Le code est vraiment sale...
def regs_body_text(text):
    ##Modèle de normalisation
    reg_pattern = re.compile('(\n|\t| |　|-|~|-|`|:|;|_|\*|\!|\?|！|？|\+|\$|#|\[|\])')
    tmp = re.sub(reg_pattern, '', text.lower())
    target_type = re.compile('(Calendrier de l'Avent|adventcalendar)')
    if not re.search(target_type, tmp):
        return None, None
    calender_type = re.compile('(Cet article)\w+?(adventcalendar2019)')
    if not re.search(calender_type, tmp):
        return None, None,
    url_strings = re.search(calender_type, tmp).group()
    get_calender_type = re.sub('(Cet article|adventcalendar2019)', '', url_strings)
    return get_calender_type, tmp

2. Traitez le corps de l'article en langage naturel (écriture séparée)

1. Spécifiez la partie du mot avec MeCab et divisez-la en mots

parse_text

mecab = MeCab.Tagger('-Owakati')
mecab.parse('')

def parse_text(text, parser = mecab):
    part = ['nom','動nom']
    parsed_text = []
    t = parser.parseToNode(text)
    while t:
        parts = t.feature.split(',')
        if parts[0] in part:
            parsed_text.append(t.surface)
        t = t.next
    return parsed_text

3. Visualisez avec WordCloud

1. Prend en charge le dessin dans la zone 9x9 à tout moment

make_wordcloud

##Visualisez avec WordCloud
keys_len = len(dataset.keys())
plot_picture = int(keys_len / 9) + 1
plot_area = np.arange(0,9,1).reshape(3,3)
keys = sorted(dataset.keys())
fp = FontProperties(fname = fonts)
k = 0
for pp in range(plot_picture):
    fig,axes = plt.subplots(nrows = 3, ncols = 3, figsize = (10,10))
    for i in range(9):
        sys.stdout.write('\r {}/{}'.format(k, keys_len))
        target_key = keys[k]
        wc = wordcloud.WordCloud(
                font_path = fonts
                , prefer_horizontal = 1
                , max_words = 300
                , background_color = 'white'
                , colormap = 'RdYlBu'
                , contour_color='pink'
                , width = 750
                , height = 750)
        n,m = [x.item() for x in np.where(plot_area == i)]
        plot_data = ' '.join([y for x in dataset[target_key]['parsed_text'] for y in x if not check_word(y)])
        wc_gen = wc.generate(plot_data)
        axes[n,m].imshow(wc_gen, interpolation = 'bilinear')
        axes[n,m].set_title('AdventCalendar : {}'.format(target_key), FontProperties = fp, color = 'gray', fontsize = 10)
        axes[n,m].axis('off')
        k += 1
    plt.subplots_adjust(left=0.1, right=0.95, bottom=0.1, top=0.95)
    plt.savefig('{}_wordcloud.png'.format(pp))
    plt.close()

URL de référence

Utilisation de l'API Qiita: https://qiita.com/arai-qiita/items/94902fc0e686e59cb8c5

Index AdventCalender

C'est le type de calendrier que j'ai utilisé cette fois. Je l'ai préparé comme index.