[PYTHON] Comment gérer les données de séries chronologiques (mise en œuvre)

introduction

Je suis un M2 spécialisé en CS. Je me concentre généralement sur le traitement d'images, mais comme j'ai eu l'occasion de gérer les futures données de date et de série chronologique, je vais le laisser sous forme de mémorandum. J'espère qu'il servira de référence à ceux qui souhaitent traiter des données chronologiques. ** J'omets des formules, donc je pense que c'est pour ceux qui veulent en avoir une idée **. De plus, si vous avez des erreurs, veuillez nous en informer.

Que sont les données de séries chronologiques?

Les données chronologiques sont ** «un ensemble de résultats mesurés à intervalles réguliers» **. En plus des informations sur les changements de température, les précipitations et les ventes en magasin, il s'agit d'une image qui contient des informations sur le temps mesuré sous forme d'ensemble.

Modèles + termes pouvant être utilisés pour les données de séries chronologiques

Modèle AR (modèle à retour automatique)

• Le futur y est expliqué par le passé y
• Utilisez vos données passées comme variable explicative --Représenter les données d'intérêt en combinant plusieurs données passées multipliées par un coefficient
• Un processus constant est une condition préalable

Modèle MA (modèle de moyenne mobile)

• L'avenir est expliqué par des erreurs passées
• La valeur de prévision future est déterminée par l'erreur entre la valeur de prévision passée et la valeur réelle
• (Exemple) Si le volume des ventes de ce mois est supérieur au volume des ventes d'origine, le volume des ventes du mois prochain augmentera. ――Exprimer la relation en ayant un terme commun aux données d'intérêt et aux données passées
• Un processus constant est une condition préalable

Modèle ARMA (modèle de moyenne mobile à retour automatique)

• Processus AR + MA, selon la propriété la plus forte
• Par conséquent, l'autocorrélation et l'autocorrélation partielle diminuent en fonction de la taille du retard. --Le modèle ARMA estime et prédit sous la constance de la série de données, mais les données réelles sont souvent non stationnaires.
• Un processus constant est une condition préalable

Modèle ARIMA (modèle de moyenne mobile à somme à retour automatique)

• La différence avec le modèle ARMA est qu'il incorpore un processus de différence. ―― Accordé à l'ARMA combien de différences de plancher devraient être considérées comme stables -Le processus par lequel la série de différences d'ordre d-ème suit le processus ARMA (p, q) stable et inversible

Modèle SARIMA (modèle de moyenne mobile saisonnière à somme auto-retour)

――La différence avec ARIMA est de savoir s'il faut tenir compte de la saisonnalité? --En plus de ARIMA (p, d, q) dans le sens de la série chronologique, ARIMA (P, D, Q) dans le sens de la différence saisonnière, et la période s

Processus racine d'unité

--Les données sont créées en ajoutant les valeurs.

• Les données avec des racines unitaires sont appelées "processus racine unitaire" --ex) Marche aléatoire (somme cumulée du bruit blanc)
• Bruit blanc: juste "bruit" selon une distribution normale sans autocorrélation

Test ADF

• Étant donné que de nombreux modèles de séries chronologiques supposent un processus stationnaire, il arrive souvent que la racine unitaire soit confirmée en premier pour la série chronologique.
• Hypothèse nulle: ** Processus racine unitaire **, hypothèse d'opposition: ** Processus constant **
• Si la valeur P est de 0,05 ou moins, l'hypothèse nulle est rejetée et le processus devient un processus stable. ――En général, si vous prenez une «série de différences» ou une «conversion logariale», la série a tendance à avoir une constance.

Fonction d'autocorrélation (ACF)

―― Dans quelle mesure la valeur passée affecte-t-elle les données actuelles?

• Le nombre d'étapes de données mal alignées est appelé décalage.

Fonction d'autocorrélation partielle (PACF)

--Autocorrélation obtenue en supprimant l'influence du temps du coefficient d'autocorrélation

import numpy as np
import pandas as pd 

pd.date_range('2020-1-1', freq='D', periods=3)

'''
DatetimeIndex(['2020-01-01', '2020-01-02', '2020-01-03'], dtype='datetime64[ns]', freq='D')
'''

df = pd.Series(np.arange(3))
df.index = pd.date_range('2020-1-1', freq='D', periods=3)
df

'''
2020-01-01    0
2020-01-02    1
2020-01-03    2
Freq: D, dtype: int64
'''

idx = pd.date_range('2020-1-1',freq='D',periods=365)
df = pd.DataFrame({'- En utilisant l'autocorrélation partielle, vous pouvez examiner la relation entre aujourd'hui et il y a 2 jours, en excluant l'effet d'il y a 1 jour - Analyse de retard + autocorrélation Produit de traitement de date A' : np.random.randint(100, size=365),
                   'Produit B' : np.random.randint(100, size=365)},
                   index=idx)
df     

'''

Produit A Produit B
2020-01-01	99	23
2020-01-02	73	98
2020-01-03	86	85
2020-01-04	44	37
2020-01-05	67	63
...	...	...
2020-12-26	23	25
2020-12-27	91	35
2020-12-28	3	23
2020-12-29	92	47
2020-12-30	55	84
365 rows × 2 columns
'''      

#Acquisition de données pour une date précise
df.loc['2020-2-3']

'''
Produit A 51
Produit B 46
Name: 2020-02-03 00:00:00, dtype: int64
'''

#Acquisition de données par découpage
df.loc[:'2020-1-4']

'''
Produit A Produit B
2020-01-01	99	23
2020-01-02	73	98
2020-01-03	86	85
2020-01-04	44	37
'''

df.loc['2020-1-4':'2020-1-7']
'''
Produit A Produit B
2020-01-04	44	37
2020-01-05	67	63
2020-01-06	6	94
2020-01-07	47	11
'''

df.loc['2020-1']

'''
### ``Afficher toutes les données pour janvier(réduction)
'''

#Obtenez le mois
df.index.month

'''
Int64Index([ 1,  1,  1,  1,  1,  1,  1,  1,  1,  1,
            ...
            12, 12, 12, 12, 12, 12, 12, 12, 12, 12],
           dtype='int64', length=365)
'''

Analyse simple des données

Cette fois, nous utiliserons l'ensemble de données des «passagers aériens», qui est célèbre pour ses séries chronologiques.

Chargement et affichage des données

import pandas as pd 
import numpy as np 
import matplotlib.pyplot as plt 
data = pd.read_csv('AirPassengers.csv', index_col=0, parse_dates=[0])
plt.plot(data)

Décomposer en tendance, saisonnière, résiduelle à l'aide de statsmodels

import statsmodels.api as sm 
res = sm.tsa.seasonal_decompose(data)
fig = res.plot()

Affichage de l'autocorrélation et de l'autocorrélation partielle

fig, axes = plt.subplots(1,2, figsize=(15,5))
sm.tsa.graphics.plot_acf(data, ax=axes[0])
sm.tsa.graphics.plot_pacf(data, ax=axes[1])

Suppression des tendances

plt.figure(figsize=(15,5))
plt.plot(data.diff(1))

Test ADF

Puisque la valeur est retournée par le taple, le premier élément de celle-ci est la valeur P. L'hypothèse nulle peut être rejetée si la valeur P est inférieure ou égale à 0,05.

#données brutes
sm.tsa.adfuller(data)[1]
0.991880243437641

#Conversion de journal
ldata = np.log(data)
sm.tsa.adfuller(ldata)[1]
0.42236677477039125

#Conversion de journal+Différence de sol
sm.tsa.adfuller(ldata.diff().dropna())[1]
0.0711205481508595

Estimation du modèle SARIMA

Définissez les paramètres avec ʻorder et season_order. Apprenez le modèle avec fit ()`. Les prévisions en dehors de la plage d'apprentissage sont «prévisions ()» La prédiction des points contenant des données d'entraînement est «predict ()» Le réglage des paramètres doit être calculé à tour de rôle. (Vous ne trouvez pas le meilleur modèle pour une fonction sans statsmodels?)

model = sm.tsa.SARIMAX(ldata, order=(1,1,1),seasonal_order=(0,1,2,12))
res_model = model.fit()
pred = res_model.forecast(36)
plt.plot(ldata, label='Original')
plt.plot(pred, label='Pred')

Création de fonctionnalités dans les données de séries chronologiques

Informations susceptibles d'être une quantité de caractéristiques dans les séries chronologiques

• Mois --Journée --Nombre de semaines
• Drapeau du week-end
• jour férié --Vacances --La météo
• Drapeau de vacances consécutives
• Combien de jours de vacances consécutives etc ...

#Création de table facile
df = pd.DataFrame(np.arange(6).reshape(6, 1),columns=['values'])

#Différence
df['diff_1'] = df['values'].diff(1)
#Différence pour 2 fois
df['diff_2'] = df['values'].diff(2)
#Changez simplement la valeur
df['shift'] = df['values'].shift(1)
#Taux de changement
df['ch'] = df['values'].pct_change(1)
#Moyenne mobile avec fonction fenêtre
df['rolling_mean'] = df['values'].rolling(2).mean()
df['rolling_max'] = df['values'].rolling(2).max()

Autres notes

• Les fonctionnalités peuvent être créées avec une bibliothèque appelée tsfresh
• Vous pouvez CV avec TimeSeries Split de sklearn ―― Étant donné que le modèle du système d'apprentissage automatique est en cours de processus régulier, n'est-il pas préférable d'utiliser un modèle statistique?
• Le modèle SARIMA ne peut pas gérer nan

Les références

• Traitement des données chronologiques par les pandas
• Explication approfondie du modèle ARIMA et du modèle SARIMA apparaissant dans l'analyse des séries chronologiques
• Blog d'un data scientist travaillant devant la gare de Shibuya

À la fin

C'est facile, mais j'ai résumé la série chronologique. Ce qui est inquiétant, c'est d'adopter un modèle d'apprentissage automatique ou un modèle statistique. Personnellement, j'estime que le modèle statistique est meilleur en conséquence (pas ces données, mais ...).