[PYTHON] J'ai essayé l'API du roman Naruro

Déclencheur

https://qiita.com/dely13/items/5e949a384161c961d8ce Si vous lisez cet article et que vous l'essayez vous-même après avoir pratiqué ~~ play ~~, le résultat sera différent → Cet article 2017 J'ai donc essayé de publier la dernière version (à 10h00 le 29 juin 2020)

La première moitié reste telle qu'elle est

J'utiliserai l'article de @ dely13 tel quel

dely13.py

import pandas as pd
import requests
import numpy as np
import seaborn as sns
from scipy import stats
import matplotlib.pyplot as plt
%matplotlib inline

url = "http://api.syosetu.com/novelapi/api/"
#Spécifiez les paramètres d'API dans le dictionnaire
#Dans cette condition, sortez les données au format json dans l'ordre de l'évaluation globale.
payload = {'of': 't-gp-gf', 'order': 'hyoka','out':'json'}

st = 1
lim = 500

data = []
while st < 2000:
    payload = {'of': 't-gp-gf-n', 'order': 'hyoka',
          'out':'json','lim':lim,'st':st}
    r = requests.get(url,params=payload)
    x = r.json()
    data.extend(x[1:])
    st = st + lim
df = pd.DataFrame(data)

#Prétraitement ('year'Ajouter une colonne,'title_len'Ajouter une colonne)
df['general_firstup'] = pd.to_datetime(df['general_firstup'])
df['year'] = df['general_firstup'].apply(lambda x:x.year)

df['title_len'] = df['title'].apply(len)

Veuillez lire l'article original pour plus de détails car il est vraiment tel qu'il est

Sujet principal

En 2017

Des chiffres intéressants. La valeur moyenne est de 17 caractères, ce qui équivaut au nombre de caractères dans le haïku. En d'autres termes, le titre de Naruro était Haiku! Le bruit des vieux étangs et des grenouilles sautant dans l'eau ...

On m'a dit, mais en 2020 ...?

df['title_len'].hist()

df['title_len'].describe()

Diagramme d'histogramme df ['title_len']. Hist () Données df ['title_len']. Describe ()

count 2000.000000 mean 24.179500 std 15.528356 min 2.000000 25% 12.000000 50% 21.000000 75% 32.000000 max 100.000000 Name: title_len, dtype: float64

Wwwwwww qui augmente de 7 caractères en moyenne

Et ce qui est vraiment intéressant c'est d'ici

per_year.py

title_by_year = df.groupby('year')['title_len'].agg(['mean','count','std']).reset_index()
#terrain
title_by_year.plot(x='year',y='mean') 
#Les données
title_by_year

Plot title_by_year.plot (x = 'year', y = 'mean') * mean = moyenne

Agréger title_by_year

• Les données 2020 sont jusqu'au 29/06

Conclusion

** Le titre de 2019 sera une courte chanson ** La personne que j'ai devinée dans l'article de 2017 est incroyable. C'est Don Pisha.

À part 1

Puisque c'est un gros problème, je vais essayer de trouver le maximum et le minimum

title_by_year = df.groupby('year')['title_len'].agg(['mean','min','max']).reset_index()
#terrain
title_by_year.plot(x='year')
#Les données
title_by_year.plot

Tracer title_by_year.plot (x = 'year')

Données title_by_year

Ces données de 100 caractères ne dépassent-elles pas le nombre de caractères ...?

max_100.py

df[['ncode','title','year','title_len']].set_index('ncode').query('title_len==100')

... ce n'est pas plus de 100 caractères ...?

Quand je l'ai recherché après avoir écrit l'article, c'était exactement 100 caractères

Y a-t-il une limite de caractères? C'est ce que je combat à la limite.

À part 2

Au contraire, je m'intéressais aux titres courts

mini_len.py

df.groupby('title_len')['title_len'].agg(['count']).head(9).T

Liste de correspondance entre le nombre de caractères et le nombre d'œuvres Depuis qu'il est devenu plus long, il est placé horizontalement

title2_4.py

df[['title','year','title_len']].set_index('title').sort_values('title_len').query('title_len<5')

4 personnages sont des extraits

Même quelques lettres sont célèbres. J'ai été impressionné par les anciens Moba qu'il y avait un «titre» dans les quatre lettres.

Impressions

Est-ce l'influence de l'animation des romans mobiles que de nombreux débutants entrent, sinon autant que Moba (actuellement Ebu)? J'ai été formé par Moba, donc même si c'est un peu difficile à lire, je vais le lire si le contenu est intéressant, mais quand même, le titre est long. Je suis accro à this et this sont également de longs titres. (Ebudato ce * Stemmer)

Je voulais essayer différentes choses car je peux affiner les conditions de recherche avec l'API Naro. Et si vous souhaitez extraire plus de 2000 éléments ...