[PYTHON] Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [-1]. (Ist der versteckte Bereich wirklich sichtbar?)

Überblick

** Ein Foto ** ** Hochpräzises 3D-Bild ↓ Einfache Erstellung ** Github ist unten. https://github.com/vt-vl-lab/3d-photo-inpainting

Artikel "3D-Fotografie mit kontextsensitivem Layered Depth Inpainting" Meng-Li Shih1 und andere sind wie folgt. https://arxiv.org/pdf/2004.04727.pdf

Nach der Zusammenfassung des folgenden Auszugs

** Neue Ansichtskomposition mit illusionärer Farb- und Tiefenstruktur in Bereichen, die durch die ursprüngliche Ansicht blockiert sind **

Es ist geworden.

Papier Zusammenfassung (Google Übersetzung Mutter)

738/5000 Wir empfehlen, ein einzelnes RGB-D-Eingabebild in ein 3D-Foto zu konvertieren. Dies ist eine neue mehrschichtige Darstellung der Ansichtskomposition, die illusionäre Farb- und Tiefenstrukturen in Bereichen enthält, die von der ursprünglichen Ansicht blockiert werden. Unter Verwendung eines geschichteten Tiefenbildes mit expliziten Pixelverbindungen als grundlegende Darstellung präsentieren wir ein lernbasiertes Reparaturmodell, das neue lokale Farb- und Tiefeninhalte räumlich kontextsensitiv in einem geschlossenen Bereich zusammenfasst. .. Das resultierende 3D-Foto kann mithilfe einer Standardgrafik-Engine effizient in Bewegungsparalux gerendert werden. Überprüfen Sie die Wirksamkeit der Methode in einer Vielzahl herausfordernder Alltagssituationen und reduzieren Sie Artefakte im Vergleich zum Stand der Technik.

↓ ** Das Thema dieses Artikels ist nur der folgende Punkt. ** **.

Kannst du den versteckten Bereich wirklich sehen?

In Bezug auf "Ist der verborgene Bereich wirklich sichtbar?" Muss nicht überprüft werden, ob er ohne spezielle Restaurationstechnologie nicht sichtbar ist. Die aktuelle Situation ist unten dargestellt. Hier ist ein Beispiel, das ** nicht funktioniert **.

(Original ein Bild) (Original ein Bild) (Original ein Bild)

⇒ Es gibt keine besondere Meinung. Wie fühlen Sie sich normalerweise, wenn es Fälle wie diesen gibt, die nicht funktionieren? ?? Wann.

Der Titel "** Kannst du den versteckten Bereich wirklich sehen?" ** ” ⇒ ** Natürlich kann ich es nicht sehen. ** **. ⇒ Es handelt sich um eine umfassende Technologie, mit der Sie sehen können, was Sie nicht sehen können. Ich kann mir vorstellen, dass es in Zukunft verallgemeinert wird. (Ist es eine Technologie oder eine Schnittstelle?)

Zusammenfassung

Ich bin mir nicht sicher, wie ich mit der Technologie umgehen soll, bei der ein solcher Fall nicht funktioniert. Ich habe es in dem Artikel klar gemacht. (Vielleicht mögen manche Leute diese Art von Veranstaltung nicht und kommen ihr nicht nahe?)

** Wenn Sie Kommentare haben, lassen Sie es uns bitte wissen. ** **.

Referenz. Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [1]. (Die Tiefe kann jetzt in PNG bearbeitet werden.)

Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [2]. (Versuchen Sie die Verarbeitungstiefe mit numpy)

Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [3]. Nur willkürliche Tiefe Eine andere Methode (MiDaS von Intel-Isl usw.).

: star2: Ich habe versucht, mit einem Foto einfach ein hochpräzises 3D-Bild zu erstellen [0]. (Ich habe bestätigt, wie der Raum erfasst wird)

Informationen, die nützlich sein können (eine Reihe von Artikeln [-1] bis [3] umfassend)

【1】 ・ Mit GFORCE GTX1050Ti (dedizierter GPU-Speicher 4,0 GB) ** Funktioniert möglicherweise nicht, da kein GPU-Speicher vorhanden ist **. Dies ist ** nicht abhängig von der Bildgröße **, Vielleicht hängt es mit der Menge an Speicher zusammen, die erforderlich ist, um 3D im Inhalt des Bildes oder so etwas darzustellen. Ich habe keine Lösung gefunden. Es kann möglich sein, durch Ändern von Parametern zu verwalten. Da es sich um ein rotes Auto handelt, wurden etwa 3,4 GB dedizierter GPU-Speicher und etwa 2,7 GB weißer GPU-Speicher verwendet. Verwenden Sie für dieses Speicherproblem vorerst Google Colab. -Ich habe Informationen zur Bearbeitungstiefe mit PNG angezeigt, aber die Standardeinstellung ist sicherlich numpy? Wenn Sie mit den Daten (numpy) rasselnd umgehen können, können Sie sie bearbeiten. -Ich habe das Gefühl, dass die in PNG ausgedrückten Tiefeninformationen irgendwo normalisiert sind. PNG-Tiefenbereich Ich habe das Gefühl, dass das Ergebnis das gleiche war, auch wenn ich es geändert habe. : star:

【3】 ・ Wenn die gesamte Oberfläche ein wandähnliches Bild ist, kann die vertikale Oberfläche meiner Meinung nach nicht gut erkannt werden. (Ich denke, es ist einfach, also seltsam.) Ich habe einige Tiefenmethoden ausprobiert. Ich habe bisher keine guten gefunden.