[PYTHON] Dies und das der Hauptkomponentenanalyse

Dies und das der Hauptkomponentenanalyse

Vergleich der probabilistischen Hauptkomponentenanalyse, der Bayes'schen Hauptkomponentenanalyse und der Kernel-Hauptkomponentenanalyse, die Erweiterungen der Hauptkomponentenanalyse sind.

Hauptkomponentenanalyse (PCA)

So reduzieren Sie hochdimensionale Daten auf niedrigdimensionale Daten Es gibt verschiedene Möglichkeiten, es zu erhalten, aber es ist schnell als Singularwertzerlegung zu interpretieren.

• $ X $: Originaldaten der Anzahl der Proben x Anzahl der Dimensionen
• $ U $: × Einheitliche Matrix der Anzahl der Dimensionen
• $ D $: Diagonale Matrix aus Anzahl der Dimensionen x Anzahl der Dimensionen (diagonale Komponenten sind Eigenwerte)
• $ V ^ T $: Eigenvektormatrix der Anzahl der Dimensionen x Anzahl der Dimensionen (Eigenvektor mit einer Zeile)

Weiterer Dimensionsreduktionsvektor

Kann mit erhalten werden. $ V_ {pca} $ wird jedoch aus der Anzahl der Dimensionen erstellt, die aus der Matrix V reduziert wurden. (Wenn die Dimension auf 2 Dimensionen reduziert wird, ist $ V_ {pca} = V [:, [0,1]] $)

Probabilistische PCA

Probabilistische Dimensionsreduktion unter Verwendung der Gaußschen Verteilung Es gibt mehrere Möglichkeiten, es zu finden, aber wenn Sie es mit dem EM-Algorithmus finden, Im E-Schritt

M = W^TW+\sigma^2I \\
E[z_n] = M^{-1}W^T(x_n-\bar{x}) \\
E[z_{n}z_{n}^T]=\sigma^2M^{-1}+E[z_n]E[z_n]^T

Jedoch,

• $ M $: Anzahl der Dimensionen nach der Reduktion x Anzahl der Dimensionen nach der Reduktion
• $ W $: Ursprüngliche Dimensionsnummer x Matrix mit reduzierter Dimensionsnummer (zufällig initialisiert)
• $ \ sigma ^ 2 $: Skalar
• $ I $: Einheitenmatrix
• $ E [z_n] $: Vektor nach Dimensionsreduktion der n-ten Daten
• $ x_n $: Vektor vor Dimensionsreduktion der n-ten Daten
• $ \ bar {x} $: Durchschnittlicher Datenvektor vor der Dimensionsreduzierung
• $ E [z_nz_n ^ T] $: Matrix der Anzahl der Dimensionen nach der Reduktion x Anzahl der Dimensionen nach der Reduktion

Im M-Schritt

W = \bigl[\sum_{n=1}^{N}(x_n-\bar{x})E[z_n]^T\bigr]\bigl[\sum_{n=1}^{N}E[z_nz_n^T]\bigr]^{-1}\\
\sigma^{2} = \frac{1}{ND}\sum_{n=1}^{N}\bigl\{||x_n-\bar{x}||^2 - 2E[z_n]^TW^T(x_n-\bar{x}) + Tr(E[z_nz_n^T]W^TW)\bigr\}

Jedoch,

• N: Anzahl der Daten
• D: Ursprüngliche Anzahl der Abmessungen

Kann mit erhalten werden.

Bayes PCA

Die Bayes'sche Schätzung wird durchgeführt, indem Hyperparameter in die Gaußsche Verteilung eingeführt werden.

Im Vergleich zum Fall der probabilistischen PCA ist der M-Schritt anders,

\alpha_i = \frac{D}{w_i^Tw_i} \\
W = \bigl[\sum_{n=1}^{N}(x_n-\bar{x})E[z_n]^T\bigr]\bigl[\sum_{n=1}^{N}E[z_nz_n^T] + \sigma^2A \bigr]^{-1}\\
\sigma^{2} = \frac{1}{ND}\sum_{n=1}^{N}\bigl\{||x_n-\bar{x}||^2 - 2E[z_n]^TW^T(x_n-\bar{x}) + Tr(E[z_nz_n^T]W^TW)\bigr\}

Jedoch,

• $ w_i $: Vektor in Zeile i der Matrix W.
• A: diag(\alpha_i)

Ist.

Kernel-Hauptkomponentenanalyse

Nach dem Konvertieren der Matrix Anzahl der Daten x Anzahl der Dimensionen in die Anzahl der Daten x Anzahl der Datenmatrix durch den Kernel wird die Hauptkomponentenanalyse durchgeführt.

Jedoch,

• $ K : Eine Matrix, deren i- und j-Komponenten Kernel sind ( x_i $, $ x_j $)
• 1_ {N}: Anzahl der Daten mit allen Komponenten $ 1 / N $ x Anzahl der Daten

Für $ \ tilde {K} $, das auf diese Weise erhalten wird, wird eine Dimensionsreduktion durchgeführt, indem der Eigenwert und der Eigenvektor wie im Fall der Hauptkomponentenanalyse erhalten werden.

Experiment

Die Dimensionsreduktion wird unter Verwendung der Hauptkomponentenanalyse (PCA), der probabilistischen Hauptkomponentenanalyse (PPCA), der Bayes'schen Hauptkomponentenanalyse (BPCA) und der Kernel-Hauptkomponentenanalyse (KPCA) durchgeführt.

Die verwendeten Daten sind Irisdaten (Daten von 3 Pflanzentypen werden durch 4-dimensionale Vektoren dargestellt, und es gibt 50 Daten für jeden Typ).

Code hier https://github.com/kenchin110100/machine_learning

Die folgende Abbildung ist dargestellt, nachdem die Abmessungen auf zwei Dimensionen reduziert wurden.

• PCA

• PPCA

• BPCA

• KPCA

Die Grenzen zwischen den Typen sind in PPCA und BPCA deutlicher zu erkennen als in PCA. KPCA fühlt sich anders an, hat aber sicherlich Diagramme für jeden Typ.

Am Ende

Es wurden vier Arten von Hauptkomponentenanalysen durchgeführt, und es scheint einfach zu sein, pro BPCA zu verwenden Es gibt zwei Achsen als Methode zum Erweitern von PCA: Wahrscheinlichkeitsberechnung oder Verwendung des Kernels. Es scheint die stärkste Hauptkomponentenanalyse zu geben, die sie kombiniert ...