[PYTHON] Ce que j'ai vérifié sur le post de Qiita

Ce que j'ai vérifié sur le post de Qiita

―― Dans quel fuseau horaire les gens publient-ils sur Qiita? ――Quel jour avez-vous beaucoup de messages ...

Je me suis demandé diverses choses telles que

Méthode et période d'enquête, etc.

• Par scraping Web, enregistrez le titre de l'article, l'URL et l'affiche de Tous les messages (j'ai remarqué l'existence de l'API plus tard)
• Obtenez des informations toutes les 10 minutes (s'il y a beaucoup de messages en 10 minutes, vous risquez de les manquer)
• Le langage utilisé est Python et Rasberry Pi est utilisé à la place du serveur. --La période d'enquête est du 29 mai au 4 juin 2016, du 13 juillet à nos jours.

L'histoire de la tarte aux râpes qui tombe

La page de tous les articles est-elle chargée dynamiquement avec JavaScript? Il semble que c'est fait, alors adoptez le sélénium

Connectez-vous comme ceci et obtenez le code source

display = Display(visible=0, size=(800, 600))
display.start()
driver = webdriver.Firefox()
driver.get("http://qiita.com/")
driver.find_element_by_id("identity").send_keys("mail address")
driver.find_element_by_id("password").send_keys("password")
driver.find_element_by_name("commit").send_keys(Keys.RETURN)
time.sleep(10)//Considération
driver.get("http://qiita.com/items")
source = driver.page_source.encode("sjis","ignore")
driver.close()
display.stop()

Si je l'exécutais comme test pendant quelques jours, la tarte à la râpe gelerait en 1 à 3 jours, et si je passais en revue le code source et pensais "Il n'y a pas d'arrêt!" Et écrivais display.stop (), il ne gèlerait pas. (# ^ Ω ^)

display.stop()//← Ce mec

Vous n'avez pas besoin d'un titre ou d'un code pour extraire l'affiche (´ ・ ω ・ ｀) J'aurais dû retirer l'étiquette aussi ... (Échec)

résultat

Premièrement, par fuseau horaire

Cela semble naturel, mais il semble que le fuseau horaire de 4 et 5 heures a le moins de messages, et le fuseau horaire de 23:00 et 0 heures est le plus affiché. Après tout, l'ingénieur semble être un type de nuit Est-ce à cause des pauses et des pauses que le nombre de messages augmente à 11h00 et 16h00 (rires)?

Suivant le jour

De façon inattendue, il y a beaucoup de mercredis ... J'ai personnellement pensé qu'il y avait beaucoup de dimanches. Est-ce l'effet de la période d'enquête? ??

De jour

Razpai est mort pour une raison quelconque les 22 et 23 juillet, et il est parti sans s'en apercevoir. Les 30 et 31 juillet, j'ai accidentellement coupé l'alimentation électrique de Razpai.

la fin

En fait, si vous n'excluez pas le jour où vous avez commis une erreur, vous n'obtiendrez pas un résultat précis, mais j'en ai eu marre et "poied" à Excel, alors ne faites pas trop confiance au résultat ... Comme je l'ai remarqué en chemin, si j'enregistrais aussi les tags, je pourrais les compter pour chaque tag ... Ceux qui ont été agrégés par tag