Überblick

Implementierte einige der anderen Anwendungen in Kapitel 15 der Sparse Modeling.

Trennung von Strichzeichnung und Textur
Inpainting
Entfernung von Impulsgeräuschen

Notizbuch ch15-02.ipynb ch15-04.ipynb ch15-05.ipynb

Ergebnis

_ K-SVD Trennung von Strichzeichnung und Textur durch lokale Analyse morphologischer Komponenten (MCA) unter Verwendung eines Wörterbuchs _

_ Interpolieren Sie fehlende Pixel mit lokaler Inpainting mit redundantem DCT-Wörterbuch_

Die Zahlen sind [Spitzensignal-Rausch-Verhältnis (PSNR)](https://ja.wikipedia.org/wiki/peak Signal-Rausch-Verhältnis)

_ K-Interpoliere fehlende Pixel durch lokales Inpainting mit dem SVD-Wörterbuch_

Bei einer Verlustrate von 25% und 50% wurde das PSNR im Vergleich zum Inpainting mit einem redundanten DCT-Wörterbuch verbessert.

Entfernung von Impulsrauschen

Estimated mask ist die Schwellenwertverarbeitung der Differenz zwischen dem verrauschten Bild und dem vom Medianfilter verarbeiteten Bild.
PSNR wurde verbessert, indem nur Rauschen von den von der Schätzmaske erfassten Pixeln entfernt wurde.
PSNR hat sich ein wenig verbessert, als der Medianfilter durch lokales Inpainting mit einem redundanten DCT-Wörterbuch ersetzt wurde.

Methode

Lokales MCA von K-SVD Wörterbuch

Barbara wurde weißes Rauschen mit einer Standardabweichung von 10 hinzugefügt, um ein Testbild zu erstellen.

Ich habe ein Wörterbuch mit K-SVD gelernt. Die Patchgröße beträgt $ 8 \ mal 8 $. Die Anzahl der Atome wurde auf 256 eingestellt. Die Stoppbedingungen für die Verfolgung des orthogonalen Matchings (OMP) wurden auf die Anzahl der Atome $ k_ {0} = 4 $ und die Toleranz $ \ epsilon = 8 ^ {2} \ mal 20 ^ {2} $ eingestellt. Die Anzahl der Wiederholungen von K-SVD wurde auf 25 eingestellt.

Die Gesamtzahl der aus dem Bild extrahierten Patches betrug 255.025. Aufgrund von Speichermangel wurde die Anzahl der für eine Iteration von K-SVD verwendeten Patches auf 1/10 reduziert. Die für K-SVD verwendeten Patches wurden bei jeder Iteration zufällig extrahiert.

K-SVD Wörterbuch

Die Aktivität des Atoms wurde wie folgt berechnet. $ Activity(\mathbf{a}) = \Sigma_{i=2}^{n} \Sigma_{j=1}^{n} |a[i, j] - a[i-1, j]| + \Sigma_{i=1}^{n} \Sigma_{j=2}^{n} |a[i, j] - a[i, j-1]| $Der maximale Aktivitätswert wurde auf 1 standardisiert. Atome mit hoher Aktivität waren Texturen, und Atome mit niedriger Aktivität waren Strichzeichnungsatome.

Atomaktivität (0 für Schwarz, 1 für Weiß) Atome mit einer Aktivität von weniger als 0,3 waren Strichzeichnungen und die anderen waren Texturen. Dunkelgrau ist das Strichzeichnungsatom und Hellgrau ist das Texturatom.

Das Strichzeichnungsbild kann aus dem Strichzeichnungsatom und dem Koeffizienten seines spärlichen Ausdrucks erhalten werden. Das Bild der Textur kann aus dem Atom der Textur und dem Koeffizienten ihres spärlichen Ausdrucks erhalten werden.

Bildverunreinigung und Entfernung von Impulsrauschen

Weißes Rauschen mit einer Standardabweichung von 20 zu Paprika hinzugefügt. 25%, 50% und 75% der Pixel wurden zufällig auf 0 gelöscht und als Testbild verwendet. Die Position des fehlenden Pixels war bekannt.

Lokales Inpainting mit redundantem DCT-Wörterbuch

Die Patchgröße beträgt $ 8 \ mal 8 $. Die Anzahl der Atome wurde auf 256 eingestellt. OMP wurde geändert, um fehlende Pixel zu maskieren und eine spärliche Darstellung zu finden. Die OMP-Stoppbedingungen sind $ k_ {0} = 4 $ und $ \ epsilon = (8 ^ {2} -p) \ mal 20 ^ {2} \ mal 1,1 $. $ p $ ist die Anzahl der fehlenden Pixel im Patch. Das Bild kann aus dem gewünschten spärlichen Ausdruck wiederhergestellt werden.

Lokale Inpainting mit K-SVD-Wörterbuch

Die K-SVD wurde wie folgt modifiziert.

Ändern Sie den OMP, um die fehlenden Pixel zu maskieren, und fordern Sie eine spärliche Darstellung an. Die OMP-Stoppbedingung war dieselbe wie beim lokalen Inpainting mit einem redundanten DCT-Wörterbuch.
Nach dem Interpolieren der fehlenden Pixel unter Verwendung der obigen spärlichen Darstellung wurden die Atom- und spärlichen Darstellungen mit K-SVD aktualisiert.
Wiederholen Sie 2 und 3.

Der Anfangswert von K-SVD war ein redundantes DCT-Wörterbuch. Die Anzahl der Wiederholungen betrug 15. 12.800 zufällig ausgewählte Patches wurden für eine Iteration von K-SVD verwendet.

K-SVD-Wörterbuch aus Bildern mit 25% Verlust

K-SVD-Wörterbuch aus Bildern mit 50% Verlust

K-SVD-Wörterbuch aus Bildern, bei denen 75% fehlen

Bei einem Mangel von 75% hat sich das Lernen aus dem redundanten DCT-Wörterbuch nicht wesentlich verbessert. In der ersten Iteration werden die Atom- und Sparse-Darstellungen aus dem Patch aktualisiert, der durch OMP-Rauschentfernung durch redundante DCT interpoliert wurde. Bei einem Verlust von 75% scheint das Lernen von dort aus nicht fortgesetzt worden zu sein.

Entfernung von Impulsgeräuschen

Der Pixelwert von 10% der Pixel wurde zufällig um +50 oder -50 erhöht, um ein Testbild zu erhalten. Der Pixelwert wurde auf ein Maximum von 255 und ein Minimum von 0 gekürzt. Der Unterschied zum Inpainting besteht darin, dass die Position des fehlenden Pixels nicht bekannt ist.

Das Impulsrauschen wurde mit einem Medianfilter entfernt. Die Kernelgröße des Medianfilters beträgt $ 3 \ times 3 $. Pixel, bei denen der Absolutwert der Differenz zwischen dem verrauschten Bild und dem vom Medianfilter entfernten Bild größer als 27 war, wurden als mit Impulsrauschen kontaminierte Pixel definiert.

Das PSNR wurde verbessert, indem ein Medianfilter nur auf die von der Schätzmaske erfassten Pixel angewendet wurde. Gleiches gilt für die Entfernung von OMP-Rauschen unter Verwendung eines redundanten DCT-Wörterbuchs. Die Patchgröße für die Entfernung von OMP-Rauschen durch ein redundantes DCT-Wörterbuch beträgt $ 8 \ mal 8 $, die Anzahl der Atome beträgt 256, die OMP-Stoppbedingung beträgt $ k_ {0} = 256 $, $ \ epsilon = (8 ^ {2} -p) \ mal 5 ^ {2} \ mal 1.1 $.

Nicht implementierte Anwendung

Globale MCA mit Wavelet-Transformation
Höhere Auflösung durch Wörterbuchlernen (Superauflösung)

Zusammenfassung

Lokale MCA mit K-SVD-Wörterbuch funktionierte recht gut. Ich möchte die Curvelet-Konvertierung untersuchen, da sie in der Praxis anwendbar zu sein scheint.
Inpainting scheint in der Lage zu sein, die Genauigkeit durch Einbeziehung von K-SVD zu verbessern, wenn die Fehlerrate niedrig ist.
Reicht ein Medianfilter aus, um Impulsrauschen zu entfernen?
Eine höhere Auflösung durch Wörterbuchlernen konnte nicht implementiert werden ... Es mag besser sein, dies durch tiefes Lernen zu tun, aber da es schwarz (Kästchen) ist, ist das Lernen von grauen Wörterbüchern auch attraktiv.

[PYTHON] Andere Anwendungen des Wörterbuchlernens