[PYTHON] Ich habe den Super-Resolution-Algorithmus "PULSE" in einer Windows-Umgebung ausprobiert

Probieren Sie den beim diesjährigen CVPR angekündigten Hochleistungs-Superauflösungsalgorithmus "PULSE: Selbstüberwachtes Foto-Upsampling durch Latent Space Exploration generativer Modelle" aus. Ich tat. Es ist ein beliebtes "Lernen mit dem Selbstlehrer".

• Über den Inhalt des Papiers weggelassen (vielleicht schreibe ich eines Tages einen Kommentarartikel ?!)

Punkte von "PULSE"

――Bewertungspunkte sind anders als zuvor

• Vergleichen Sie mit dem verkleinerten Bild nach der Superauflösung, nicht mit dem Bild nach der Superauflösung
• Super Auflösung ist möglich als herkömmliche Methoden
• Die Superauflösung selbst verwendet StyleGAN (gelernt mit CelebA-HQ).

Dieses GIF ist leicht zu erfassen.

Quellcode

Der Quellcode ist auf [Github] verfügbar (https://github.com/krantirk/Self-Supervised-photo). Dieses Mal werde ich dies so verwenden, wie es ist.

Installation

Ich habe die folgenden Module auf Python 3.7 installiert.

--Installation über die GUI von Anaconda Navigator - matplotlib - numpy - pandas - pillow - scipy - requests --Installation über die Kommandozeile - pytorch - torchvision --cudatoolkit (diesmal wird 100.2 verwendet)

Umgebung

Bereiten Sie einen Ordner vor, in dem die Bilder gespeichert werden sollen, für die Sie eine hohe Auflösung wünschen. Nennen wir es hier vorerst "Eingabe".

Platzieren Sie das gewünschte Bild dort in Superauflösung. (Sie können mehr als eine setzen) Das Bild hat einige Einschränkungen.

• Die vertikalen und horizontalen Größen sind gleich
• Größe ist ein Bruchteil von 1.024 --Format ist PNG (RGB)

Lauf

> python run.py

Laufen Sie mit.

Fehlerbehandlung

Die meisten Bilder geben den folgenden Fehler aus:

Loading Synthesis Network
Optimizing
BEST (100) | L2: 0.0058 | GEOCROSS: 4.3057 | TOTAL: 0.7981 | time: 10.0 | it/s: 9.98 | batchsize: 1
Could not find a face that downscales correctly within epsilon

Im obigen Beispiel ist der Mindestwert von L2 "0,0058", aber der Standardschwellenwert ist "0,002", und ein Fehler tritt auf, wenn er nicht näher als dieser liegt.

Ändern Sie als Gegenmaßnahme den Schwellenwert mit dem Argument "eps".

> python run.py -eps 0.005

Ausführungsergebnis

Das Ausführungsergebnis wird im Ordner "Läufe" gespeichert. Das ausgegebene hochauflösende Bild ist 1.024 x 1.024 png.

Ausländerbias ist schrecklich. .. .. Es scheint auch nutzlos zu sein, wenn es keine Vorderseite ist.

Impressionen

Es ist einfach zu tun, aber es gibt eine Menge Dinge, die Sie tun müssen, um es tatsächlich zu verwenden.