Nettoyage des données

Les deux méthodes précédentes peuvent être appliquées à n’importe quel ensemble de données structurées et sont déterministes : les résultats seront les mêmes à chaque fois pour un seuil donné. La méthode suivante est conçue uniquement pour les problèmes d’apprentissage automatique supervisé où nous avons des étiquettes pour former un modèle et est non déterministe. La fonction identify_zero_importance recherche les fonctionnalités qui n’ont aucune importance selon un modèle d’apprentissage de la machine à gradient boostant (GBM).

Avec des modèles d’apprentissage automatique basés sur des arborescences, comme un ensemble de boosting, nous pouvons trouver l’importance des fonctionnalités. La valeur absolue de l’importance n’est pas aussi importante que les valeurs relatives, que nous pouvons utiliser pour déterminer les caractéristiques les plus pertinentes pour une tâche. Nous pouvons également utiliser les importances des fonctionnalités pour la sélection des fonctionnalités en supprimant les fonctionnalités d’importance nulle. Dans un modèle basé sur une arborescence, les fonctionnalités sans importance ne sont pas utilisées pour diviser les nœuds, et nous pouvons donc les supprimer sans affecter les performances du modèle.

Le FeatureSelector trouve les importances des fonctionnalités à l’aide de la machine de renforcement de gradient de la bibliothèque LightGBM. Les importances des caractéristiques sont moyennées sur 10 exécutions de formation du GBM afin de réduire la variance. En outre, le modèle est entraîné à l’aide d’un arrêt précoce avec un ensemble de validation (il existe une option pour désactiver cette option) pour éviter le surajustement des données d’entraînement.

Le code ci-dessous appelle la méthode et extrait les caractéristiques d’importance nulle :

# Pass in the appropriate parameters
fs.identify_zero_importance(task = 'classification', 
                            eval_metric = 'auc', 
                            n_iterations = 10, 
                             early_stopping = True)# list of zero importance features
zero_importance_features = fs.ops['zero_importance']63 features with zero importance after one-hot encoding.

Les paramètres que nous passons sont les suivants :

• task : soit « classification » soit « régression » correspondant à notre problème
• eval_metric: métrique à utiliser pour l’arrêt anticipé (inutile si l’arrêt anticipé est désactivé)
• n_iterations : nombre d’exécutions d’entraînement pour faire la moyenne des importances des fonctionnalités
• early_stopping: si oui ou non utiliser l’arrêt précoce pour la formation du modèle

Cette fois, nous obtenons deux graphiques avec plot_feature_importances :

# plot the feature importances
fs.plot_feature_importances(threshold = 0.99, plot_n = 12)124 features required for 0.99 of cumulative importance

En haut, nous avons les caractéristiques les plus importantes de plot_n (tracées en termes d’importance normalisée où le total est égal à 1).

En bas, nous avons l’importance cumulée par rapport au nombre de fonctionnalités. La ligne verticale est tracée au seuil de l’importance cumulée, dans ce cas 99 %.

Deux notes sont bonnes à retenir pour les méthodes basées sur l’importance :

• L’entraînement de la machine d’amplification de gradient est stochastique, ce qui signifie que l’importance des fonctionnalités changera à chaque exécution du modèle

Cela ne devrait pas avoir d’impact majeur (les fonctionnalités les plus importantes ne deviendront pas soudainement les moindres) mais cela modifiera l’ordre de certaines fonctionnalités. Cela peut également affecter le nombre de caractéristiques d’importance nulle identifiées. Ne soyez pas surpris si l’importance des fonctionnalités change à chaque fois !

• Pour entraîner le modèle d’apprentissage automatique, les fonctionnalités sont d’abord encodées à chaud. Cela signifie que certaines des fonctionnalités identifiées comme ayant une importance de 0 peuvent être des fonctionnalités codées à chaud ajoutées lors de la modélisation.