Les techniques de réduction de dimension

L’idée de l’analyse en composantes principales (ACP) est de réduire la dimensionnalité d’un ensemble de données composé d’un grand nombre de variables liées tout en conservant autant de variance dans les données que possible. L’ACP trouve un ensemble de nouvelles variables dont les variables d’origine ne sont que leurs combinaisons linéaires. Les nouvelles variables sont appelées composantes principales (PC). Ces composantes principales sont orthogonales : dans un cas 3D, les composantes principales sont perpendiculaires entre elles. X ne peut pas être représenté par Y ou Y ne peut pas être représenté par Z.

La figure suivante montre l’intuition de l’ACP : elle « fait pivoter » les axes pour mieux s’aligner avec vos données. La première composante principale captera la majeure partie de la variance des données, suivie de la deuxième, de la troisième, etc. Par conséquent, les nouvelles données auront moins de dimensions.

Let’s use the iris dataset to illustrate PCA:

# Use the iris dataset to illustrate PCA:
import pandas as pd
url = “https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"
# load dataset into Pandas DataFrame
df = pd.read_csv(url, names=[‘sepal length’,’sepal width’,’petal length’,’petal width’,’target’])
df.head()

Notez que cet ensemble de données IRIS est fourni avec la variable cible. Dans PCA, vous ne transformez que les variables X sans la variable Y cible.

Toutes les variables doivent être sur la même échelle avant d’appliquer l’ACP, sinon, une caractéristique avec de grandes valeurs dominera le résultat.

Ci-dessous, j’utilise StandardScaler dans scikit-learn pour standardiser les caractéristiques de l’ensemble de données sur l’échelle unitaire (moyenne = 0 et variance = 1).

from sklearn.preprocessing import StandardScaler
variables = [‘sepal length’, ‘sepal width’, ‘petal length’, ‘petal width’]
x = df.loc[:, variables].values
y = df.loc[:,[‘target’]].values
x = StandardScaler().fit_transform(x)
x = pd.DataFrame(x)

Il y a quatre caractéristiques dans les données d’origine. PCA fournira donc le même nombre de composants principaux.

from sklearn.decomposition import PCA
pca = PCA()
x_pca = pca.fit_transform(x)
x_pca = pd.DataFrame(x_pca)
x_pca.head()

Quelles sont les variances expliquées par chacune des composantes principales ? Utilisez pca.explained_variance_ratio_ pour renvoyer un vecteur de la variance :

explained_variance = pca.explained_variance_ratio_
explained_variancearray([0.72770452, 0.23030523, 0.03683832, 0.00515193])

Il montre que la première composante principale représente une variance de 72,22 %, les deuxième, troisième et quatrième représentent respectivement une variance de 23,9 %, 3,68 % et 0,51 %. Nous pouvons dire que 72,22 + 23,9 = 96,21% de l’information est capturée par les première et deuxième composantes principales.

Nous voulons souvent ne garder que les fonctionnalités significatives et supprimer les insignifiantes. Une règle empirique consiste à conserver les principales composantes principales qui captent une variance importante et à ignorer les petites.

Nous pouvons tracer les résultats en utilisant les deux premières composantes. Ajoutons la variable cible y aux nouvelles données x_pca :

x_pca[‘target’]=y
x_pca.columns = [‘PC1’,’PC2',’PC3',’PC4',’target’]
x_pca.head()

Le résultat montre que les données sont séparables dans le nouvel espace.

import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(1,1,1) 
ax.set_xlabel(‘Principal Component 1’) 
ax.set_ylabel(‘Principal Component 2’) 
ax.set_title(‘2 component PCA’) 
targets = [‘Iris-setosa’, ‘Iris-versicolor’, ‘Iris-virginica’]
colors = [‘r’, ‘g’, ‘b’]
for target, color in zip(targets,colors):
 indicesToKeep = x_pca[‘target’] == target
 ax.scatter(x_pca.loc[indicesToKeep, ‘PC1’]
 , x_pca.loc[indicesToKeep, ‘PC2’]
 , c = color
 , s = 50)
ax.legend(targets)
ax.grid()

Comment utilisons-nous l’ACP pour détecter les valeurs aberrantes ? Laissez-moi vous donner l’intuition. Après la transformation, les points de données « normaux » s’aligneront le long des vecteurs propres (nouveaux axes) avec de petites valeurs propres. Les valeurs aberrantes sont éloignées des vecteurs propres avec de grandes valeurs propres. Par conséquent, les distances entre chaque point de données et les vecteurs propres deviennent une mesure de la valeur aberrante. Une grande distance indique une anomalie.