[PYTHON] Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [1]. (Die Tiefe kann jetzt in PNG bearbeitet werden.)
Überblick
** Ein Foto ** ** Hochpräzises 3D-Bild ↓ Einfache Erstellung **.
(↓ Es macht keinen Sinn, aber diese Pizza ist eine scharfe Verarbeitung des Tiefen-PNG. Es gibt einen Teil, in dem das Bild gezogen wird, aber ich frage mich, ob es eine Pizza ist ...)
Unten sind die Papiere und Github.
https://arxiv.org/pdf/2004.04727.pdf Artikel "3D-Fotografie mit kontextsensitivem Layered Depth Inpainting" Meng-Li Shih1 und andere
Github ist unten. https://github.com/vt-vl-lab/3d-photo-inpainting
Papier Zusammenfassung (Google Übersetzung Mutter)
738/5000 Wir empfehlen, ein einzelnes RGB-D-Eingabebild in ein 3D-Foto zu konvertieren. Dies ist eine neue mehrschichtige Darstellung der Ansichtskomposition, die illusionäre Farb- und Tiefenstrukturen in Bereichen enthält, die von der ursprünglichen Ansicht blockiert werden. Unter Verwendung eines geschichteten Tiefenbildes mit expliziten Pixelverbindungen als grundlegende Darstellung präsentieren wir ein lernbasiertes Reparaturmodell, das neue lokale Farb- und Tiefeninhalte räumlich kontextsensitiv in einem geschlossenen Bereich zusammenfasst. .. Das resultierende 3D-Foto kann mithilfe einer Standardgrafik-Engine effizient in Bewegungsparalux gerendert werden. Überprüfen Sie die Wirksamkeit der Methode in einer Vielzahl herausfordernder Alltagssituationen und reduzieren Sie Artefakte im Vergleich zum Stand der Technik.
Es wird eine zusätzliche Anmerkung sein, 2020/05/23 ** Vor ungefähr 3 Tagen konnte die Tiefe in PNG bearbeitet werden. ** ** ** Ich versuchte es.
Ich habe es versucht (Arbeit)
(Der Github-Code funktionierte problemlos in meiner Windows-Umgebung. Möglicherweise benötige ich eine GPU. Ich benötige keine gute GPU. Die Verarbeitungszeit betrug ein oder zwei Minuten.)
Als Erstellungsverfahren Legen Sie das Bild, das Sie verarbeiten möchten, in den Bildordner Geben Sie einfach den folgenden Befehl ein.
python main.py --config argument.yml
Zur Veröffentlichung hier ist das Originalfoto "High Quality Free Image Material" https://pixabay.com/ja/ Erhalten von. (Ähnlich wie King Kong in der Übersicht)
Einige Objekte von einem Foto verschieben? Da es (zittert) ist, gibt es natürlich einen Teil, in dem es keine Informationen gibt **, aber es scheint, dass sie gewaltsam erzeugt werden. groß.
** Es tut mir leid, die Anzeige kann ca. 30 Sekunden dauern. .. .. ** ** **
** Alle Eingaben sind ein Standbild ** ** 1 Blatt! **
Ich habe es versucht (zusätzliche Arbeit)
** Metropolitan Museum ** Verwenden Sie die Gemälde in der Sammlung.
Ich habe es versucht (Fehler, CG-Arbeit usw.)
Auch hier ist das Originalfoto "High Quality Free Image Material" https://pixabay.com/ja/ Erhalten von.
↓ ** Fehler? **. (Eher auch wenn Computer nicht kompatibel sind ...)
↓ ** Fehler **. ** Eschersystem . Auch der Ballon ist schwierig. Sie können es " Ballonproblem **" nennen. Das Bild ist jedoch wunderschön. .. ..
↓ Irgendwie die Textur. .. .. Fehler.
↓ Normaler Fehler.
(2020/05/23) Vor ungefähr 3 Tagen konnte die Tiefe in PNG bearbeitet werden.
Ich habe die Tiefe bearbeitet.
Schritt 1: In argument.yml Ändern Sie das Tiefenformat in PNG und führen Sie es aus.
・ ・ ・ depth_format: '.png' ・ ・ ・
Dann wird die Tiefe als PNG gespeichert. (Ich möchte dieses PNG ↓ überhaupt nicht in einer großen Größe anzeigen, aber ... Es wird wahrscheinlich in einer großen Größe entlang der Straße angezeigt ...)
Schritt 2:
PNG bearbeiten.
(Machen Sie am unteren Ende des Autos den Teil, an dem die Tiefe flach ist, tiefer (= schwarz).)
Sehen Sie sich die unten gezeigten Ergebnisse an, um festzustellen, ob eine solche grobe Bearbeitung in Ordnung ist.
Schritt 3:
require_Setzen Sie midas auf False, damit das bearbeitete PNG verwendet wird.
require_midas: False
Führen Sie dann die Konvertierung erneut aus.
Wie beabsichtigt ist die Tiefe am Boden des Autos tiefer. Es sieht jedoch aus wie PNG,
Grobe PNG-Bearbeitung hat es nicht aufgeräumt.
Wenn Sie normal lackieren können, ist das in Ordnung. Ich kann nicht Mit einem Pinsel
Ich habe es richtig gemalt. .. ..
Möglicherweise können Sie nicht sagen, was Sie getan haben, weil die Arbeit kompliziert ist. Wenn Sie jedoch mit der automatisch erkannten Tiefe nicht zufrieden sind, können Sie die als PNG ausgedrückte Tiefe als Bild bearbeiten.
#Informationen, die nützlich sein können
・ GFORCE GTX1050Ti (dedizierter GPU-Speicher 4).0GB)Dann
**Es funktioniert möglicherweise nicht, weil der GPU-Speicher nicht ausreicht**。
das ist,**Anstatt sich auf die Bildgröße zu verlassen**、
Vielleicht hängt es mit der Menge an Speicher zusammen, die erforderlich ist, um 3D im Inhalt des Bildes oder so etwas darzustellen.
Ich habe keine Lösung gefunden. Es kann möglich sein, durch Ändern von Parametern zu verwalten.
Rotes Auto, also dedizierter GPU-Speicher 3.Über 4 GB, weiß ist 2.Es wurden ca. 7 GB verwendet.
Verwenden Sie für dieses Speicherproblem vorerst Google Colab.
-Ich habe Informationen zur Bearbeitungstiefe mit PNG angezeigt, aber die Standardeinstellung ist sicherlich numpy?。
Diese Daten(numpy)Wenn Sie mit dem Rasseln umgehen können, können Sie es bearbeiten.
#Zusammenfassung
Ich verstehe nicht, wie großartig es technisch ist.
Ich frage mich jedoch, ob es sich wie eine Kraft anfühlt.
(Erstens ist die Wahrnehmung der Menschen beim Betrachten des Bildes auch gewaltsam, also ...)
Ich werde Technologie studieren.
(Im Moment verstehe ich die Gewohnheit der Verarbeitung, daher denke ich, dass ich ein bisschen mehr Spaß an der Arbeit haben kann.)
Zu diesem Zeitpunkt habe ich keine Ahnung, wofür es verwendet werden kann.
**Bitte versuchen Sie es selbst. "Indoor Selbstporträt" wird empfohlen**
#Zusammenfassung 2
Beschrieben nach "Ich habe es versucht (zusätzliche Arbeit)".
Unglücklicherweise,**Ich hatte es satt, es in kürzester Zeit zu sehen. .. .. ..**
Es ist schwierig, wenn Sie keinen Zweck und keine Ausgabe dafür haben. .. .. ..
bloß**bewirken**Ich meine. .. .. Dann wirst du es leid. Darüber hinaus erwarten wir das nächste technologische Niveau.
Ich habe es satt, aber ich interessiere mich für Technologie, obwohl ich es noch nicht verstehe. .. ..
Es war einfach, die Tiefe zu bearbeiten.
#von jetzt an
Ich denke, es ist besser, den Namen des Autors von pixabay separat anzuzeigen.
Gibt es eine andere Möglichkeit, das verarbeitete Bild anzuzeigen? ?? ?? Ich finde es einfach.
Wenn Sie Kommentare haben, bitte.
Referenz.
[Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [2].(Versuchen Sie die Verarbeitungstiefe mit Numpy)](https://qiita.com/torinokaijyu/items/e761c00c87d6a00b8c30)
[Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [3]. Nur Tiefe ohne Erlaubnis feat. intel-von isl.](https://qiita.com/torinokaijyu/items/6889598b732851c2e8fd)
Recommended Posts