Une histoire qui visualise le présent de Qiita avec Qiita API + Elasticsearch + Kibana

Comment obtenir les données de base sur les publications

$ curl -XGET 'https://qiita.com/api/v2/items?page=3&per_page=20'

Si vous le faites, je pense que le résultat sera renvoyé pour le moment. La signification de cette commande est d'obtenir 20 éléments de données sur la 3ème page. En d'autres termes, notez que le nombre de données pouvant être obtenues est de 20 et non de 3 * 20.

Vous pouvez décider vous-même de la page et de la page par_page, mais il existe des restrictions. Il est résumé dans le tableau ci-dessous.

Si vous obtenez 100 données de publication sur chaque page, vous pouvez obtenir jusqu'à 10000 données de publication.

Code Python qui envoie les données de publication (format json) à Elasticsearch telles quelles

forward_json.py

# coding: utf-8
import json
import requests
from elasticsearch import Elasticsearch

#Adresse du serveur sur lequel Elasticsearch est installé
server_address = "xxx.xxx.xxx.xxx"
#S'il est installé et les paramètres standard, le port est 9200
port = str(9200)
#Créer une instance d'Elasticsearch
es = Elasticsearch("%s:%s" % (server_address, port))
#point final
endpoint = 'https://qiita.com/api/v2/items'
for p in range(1, 11): #Effectuez le traitement suivant de la page 1 à la page 10 de la même manière.
    payload = {'page': p, 'per_page': '100'} #Obtenez 100 données par page
    r =  requests.get(endpoint, params=payload).json() #Recevez le résultat au format json
    '''
    #Pour votre référence
    print type(r)
    # => <type 'list'>
    print r[0].keys() 
    # => [u'body', u'group', u'rendered_body', u'url', u'created_at', u'tags', u'updated_at', u'private', u'coediting', u'user', u'title', u'id']
    '''
    for it in r: #Parcourez la liste des résultats
        #Insérez toutes les données! !!
        #Cette fois j'ai essayé de nommer l'index qiita
        es.index(index='qiita', doc_type='qiita', id=it['id'], body=it)

Dans server_address, écrivez l'adresse du serveur sur lequel Elasticsearch et Kibana sont installés. L'exécution de ce code doit stocker un total de 1000 données de publication dans Elasticsearch.

Visualisation avec Kibana

Accédez à http //xxx.xxx.xxx.xxx:5601. J'ai récupéré 1000 données de publication depuis l'API Qiita et je les ai stockées dans Elasticsearch. Ceci est une image compressée avec des nombres et des descriptions de graphiques ajoutés en rouge. Pour le moment, le nom d'utilisateur était masqué.

Il y a des moments où le nombre de messages est extrêmement élevé, alors cliquez dessus.

Cliquez sur le cercle vert dans l'image ci-dessus pour changer de page.

Il semble que le nombre de messages au cours de cette période a augmenté en raison des messages en colère d'utilisateurs enthousiastes.

Résumé des résultats

• Vous pouvez voir qui a publié combien dans 1000 données de publication
• Vous pouvez obtenir diverses informations en suivant les personnes qui publient actuellement avec enthousiasme
• Le nombre de balises est de 1076, mais la balise japonaise n'a pas été bien obtenue, et la balise «apprentissage» a été considérée comme deux balises, «apprentissage» et «apprentissage». Tâches futures
• Le tableau ci-dessous résume les 1000 balises les plus populaires.

Le résultat était! Après tout, il existe de nombreuses balises de programmation! Je voulais vraiment connaître le classement des numéros de stock des étiquettes, mais j'ai arrêté d'obtenir le numéro de stock à partir des données affichées car c'était difficile sans authentification. Je voudrais contester quand j'ai le temps. Cette fois, j'ai trouvé qu'il y avait de nombreux articles avec des balises python, donc j'aimerais continuer à publier pour pouvoir ajouter des balises python.