PyTimeTK

La détection d’anomalies dans l’analyse de séries chronologiques est un processus crucial pour identifier des modèles inhabituels qui s’écartent du comportement attendu. Ces anomalies peuvent signifier des événements critiques, souvent imprévus, dans les données de séries chronologiques. Une détection efficace des anomalies contribue à maintenir la qualité et la fiabilité des données, garantissant ainsi des prévisions et une prise de décision précises.

Le défi consiste à faire la distinction entre les véritables anomalies et les fluctuations naturelles, ce qui nécessite des techniques analytiques sophistiquées et une compréhension approfondie des modèles sous-jacents des séries chronologiques. Par conséquent, la détection des anomalies est un élément essentiel de l’analyse des séries chronologiques, favorisant la gestion proactive des risques et des opportunités dans des environnements dynamiques.

Pytimetk utilise les méthodes suivantes pour déterminer les anomalies dans les données de séries chronologiques :

1- Décomposition des séries chronologiques :

• La première étape consiste à décomposer la série chronologique en plusieurs composantes. Généralement, cela inclut les composants de tendance, de saisonnalité et de reste (ou résiduel).
• La tendance représente le modèle ou la direction sous-jacente des données au fil du temps. La saisonnalité capture des modèles ou des cycles récurrents sur une période spécifique, par exemple quotidienne, hebdomadaire, mensuelle, etc.
• Le reste (ou résiduel) est ce qui reste une fois que la tendance et les composantes saisonnières ont été supprimées de la série chronologique d’origine.

2- Générer des restes :

• Après décomposition, le composant restant est extrait. Cette composante reflète la partie de la série chronologique qui ne peut être expliquée par les composantes tendancielles et saisonnières.
• L’idée est que si la tendance et la saisonnalité représentent des modèles prévisibles et donc « normaux », le reste est celui où les anomalies sont les plus susceptibles de se manifester.

Il existe 2 techniques courantes de décomposition saisonnière ; STL et Twitter ;

• STL (Seasonal and Trend Decomposition) est une méthode polyvalente et robuste pour décomposer des séries chronologiques. STL fonctionne très bien dans des circonstances où une tendance à long terme est présente. L’algorithme de Loess fait généralement un très bon travail pour détecter la tendance. Cependant, dans les cas où la composante saisonnière est plus dominante que la tendance, Twitter a tendance à mieux performer.
• La méthode Twitter est une méthode de décomposition similaire à celle utilisée dans le package AnomalyDetection de Twitter. La méthode Twitter fonctionne de manière identique à STL pour supprimer le composant saisonnier. La principale différence réside dans la suppression de la tendance, qui s’effectue en supprimant la médiane des données plutôt qu’en ajustant un lissage. La médiane fonctionne bien lorsqu’une tendance à long terme est moins dominante que la composante saisonnière à court terme. En effet, le lissage a tendance à surajuster les anomalies.

Anamolize — Détecte les anomalies dans les données de séries chronologiques, soit pour une seule série chronologique, soit pour plusieurs séries chronologiques regroupées par une colonne spécifique. Cette fonction utilise le traitement parallèle pour accélérer le calcul pour les grands ensembles de données comportant de nombreux groupes de séries chronologiques. Le traitement parallèle entraîne une surcharge et peut ne pas être plus rapide sur de petits ensembles de données. Pour utiliser le traitement parallèle, définissez threads = -1 pour utiliser tous les processeurs disponibles.

# Anomalize the data 
anomalize_df = tk.anomalize(
df, "date", "value",method = "twitter",
iqr_alpha = 0.10, # To determine the threshold for detecting outliers.
clean_alpha = 0.75, # To determine the threshold for cleaning the outliers  
clean = "min_max", # specifies the method used to clean the anomalies     
verbose = True, # To display additional info and progress during the execution )

Cette fonction renvoie une trame de données avec les colonnes mentionnées ci-dessous où recomposed_l1 et l2 sont les limites de niveau inférieur et supérieur de la série chronologique recomposée.

Plot_Anomalies — Crée un tracé d’anomalies dans les données de séries chronologiques à l’aide de Plotly, Matplotlib.

anomalize_df.plot_anomalies(date_column = « date »,engine = « plotly »))

Plot_Anomalies_decomp — Cette fonction récupère les données de la fonction anomalize() et renvoie un tracé de la décomposition des anomalies. Il renvoie un graphique des tendances observées, saisonnières et restantes. Nous pouvons également utiliser Groupby pour le tracer par catégorie.

anomalize_df.plot_anomalies_decomp(« date », engine = ‘plotly’)

Plot_Anomalies_cleaned — Cette fonction récupère les données de la fonction anomalize() et renvoie un tracé des anomalies nettoyées, ce qui signifie que nous pouvons visualiser les données avant et après la suppression des anomalies.

anomalize_df.plot_anomalies_cleaned(« date »)