[PYTHON] J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [-1]. (La zone cachée est-elle vraiment visible?)

Aperçu

** Une photo ** ** Image 3D haute précision ↓ Création facile ** github est ci-dessous. https://github.com/vt-vl-lab/3d-photo-inpainting

Papier "Photographie 3D utilisant la peinture en profondeur en couches sensible au contexte" Meng-Li Shih1 et d'autres sont les suivants. https://arxiv.org/pdf/2004.04727.pdf

D'après le résumé de l'extrait ci-dessous

** Nouvelle composition de vue avec une couleur et une structure de profondeur illusoires dans les zones bloquées par la vue d'origine **

Il est devenu.

Résumé de l'article (maman de traduction Google)

738/5000 Nous suggérons comment convertir une seule image d'entrée RVB-D en photo 3D. Il s'agit d'une nouvelle représentation multicouche de composition de vue qui comprend des structures de couleur et de profondeur illusoires dans les zones bloquées par la vue d'origine. En utilisant une image de profondeur en couches avec des connexions de pixels explicites comme représentation de base, nous présentons un modèle de réparation basé sur l'apprentissage qui synthétise de nouveaux contenus de couleur et de profondeur locaux dans une zone fermée d'une manière sensible au contexte spatial. .. La photo 3D résultante peut être efficacement rendue en mouvement paralux à l'aide d'un moteur graphique standard. Vérifiez l'efficacité de la méthode dans une variété de situations quotidiennes difficiles et réduisez les artefacts par rapport à la technologie de pointe.

↓ ** Le thème de cet article n'est que le point suivant. ** **

Pouvez-vous vraiment voir la zone cachée?

Quant à "La zone cachée est-elle vraiment visible?", Il est inutile de vérifier qu'elle ne peut pas être vue sans une technologie de restauration spéciale. La situation réelle est illustrée ci-dessous. Voici un exemple qui ** ne fonctionne pas **.

(Original une image) (Original une image) (Original une image)

⇒Il n'y a pas d'avis spécial. Comment vous sentez-vous habituellement quand il y a des cas comme celui-ci qui ne fonctionnent pas? ?? Quand.

Le titre "** Pouvez-vous vraiment voir la zone cachée?" ** " ⇒ ** Bien sûr, je ne peux pas le voir. ** ** ⇒ C'est une technologie complète qui permet de voir ce que vous ne pouvez pas voir. J'imagine que ce sera généralisé à l'avenir. (Est-ce une technologie ou une interface?)

Résumé

Je ne sais pas comment gérer la technologie qui a un si mauvais cas, Je l'ai précisé dans l'article. (Peut-être que certaines personnes n'aiment pas ce genre d'événement et ne s'en approchent pas?)

** Si vous avez des commentaires, veuillez nous le faire savoir. ** **

référence. J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [1]. (La profondeur peut maintenant être modifiée en PNG.)

J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [2]. (Essayez de traiter la profondeur avec numpy)

J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [3]. Arbitrairement profondeur seulement Une autre méthode (MiDaS d'Intel-isl etc.).

: star2: J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [0]. (J'ai confirmé comment capturer l'espace)

Informations qui peuvent être utiles (une série d'articles [-1] à [3] complets)

【1】 ・ Avec GFORCE GTX1050Ti (mémoire GPU dédiée de 4,0 Go) ** Peut ne pas fonctionner en raison d'un manque de mémoire GPU **. Cela ne dépend ** pas de la taille de l'image **, Peut-être quelque chose lié à la quantité de mémoire nécessaire pour représenter la 3D dans le contenu de l'image. Je n'ai pas trouvé de solution. Il peut être possible de gérer en modifiant les paramètres. Comme il s'agit d'une voiture rouge, environ 3,4 Go de mémoire GPU dédiée ont été utilisés et environ 2,7 Go de mémoire blanche ont été utilisés. Pour ce problème de mémoire, pourquoi ne pas utiliser Google Colab pour le moment? -J'ai montré l'édition des informations de profondeur avec PNG, mais la valeur par défaut est sûrement numpy?. Si vous pouvez gérer les données (numpy) avec cliquetis, vous pouvez les modifier. -Je sens que les informations de profondeur exprimées en PNG sont normalisées quelque part. Plage de profondeur PNG J'ai l'impression que le résultat était le même même si je l'ai changé. : étoile:

【3】 ・ Si toute la surface est une image de type mur, j'estime que la surface verticale ne peut pas être bien détectée. (Je pense que c'est facile, donc c'est étrange.) J'ai essayé des méthodes de profondeur, Je n'en ai pas rencontré de bons jusqu'à présent.