[PYTHON] J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [-1]. (La zone cachée est-elle vraiment visible?)

Aperçu

** Une photo ** ** Image 3D haute précision ↓ Création facile ** github est ci-dessous. https://github.com/vt-vl-lab/3d-photo-inpainting

Papier "Photographie 3D utilisant la peinture en profondeur en couches sensible au contexte" Meng-Li Shih1 et d'autres sont les suivants. https://arxiv.org/pdf/2004.04727.pdf

D'après le résumé de l'extrait ci-dessous

** Nouvelle composition de vue avec une couleur et une structure de profondeur illusoires dans les zones bloquées par la vue d'origine **

Il est devenu.

Résumé de l'article (maman de traduction Google)

738/5000 Nous suggérons comment convertir une seule image d'entrée RVB-D en photo 3D. Il s'agit d'une nouvelle représentation multicouche de composition de vue qui comprend des structures de couleur et de profondeur illusoires dans les zones bloquées par la vue d'origine. En utilisant une image de profondeur en couches avec des connexions de pixels explicites comme représentation de base, nous présentons un modèle de réparation basé sur l'apprentissage qui synthétise de nouveaux contenus de couleur et de profondeur locaux dans une zone fermée d'une manière sensible au contexte spatial. .. La photo 3D résultante peut être efficacement rendue en mouvement paralux à l'aide d'un moteur graphique standard. Vérifiez l'efficacité de la méthode dans une variété de situations quotidiennes difficiles et réduisez les artefacts par rapport à la technologie de pointe.

↓ ** Le thème de cet article n'est que le point suivant. ** **

Pouvez-vous vraiment voir la zone cachée?

Quant à "La zone cachée est-elle vraiment visible?", Il est inutile de vérifier qu'elle ne peut pas être vue sans une technologie de restauration spéciale. La situation réelle est illustrée ci-dessous. Voici un exemple qui ** ne fonctionne pas **.

(Original une image) (Original une image) (Original une image)

⇒Il n'y a pas d'avis spécial. Comment vous sentez-vous habituellement quand il y a des cas comme celui-ci qui ne fonctionnent pas? ?? Quand.

Le titre "** Pouvez-vous vraiment voir la zone cachée?" ** " ⇒ ** Bien sûr, je ne peux pas le voir. ** ** ⇒ C'est une technologie complète qui permet de voir ce que vous ne pouvez pas voir. J'imagine que ce sera généralisé à l'avenir. (Est-ce une technologie ou une interface?)

Résumé

Je ne sais pas comment gérer la technologie qui a un si mauvais cas, Je l'ai précisé dans l'article. (Peut-être que certaines personnes n'aiment pas ce genre d'événement et ne s'en approchent pas?)

** Si vous avez des commentaires, veuillez nous le faire savoir. ** **

référence. J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [1]. (La profondeur peut maintenant être modifiée en PNG.)

J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [2]. (Essayez de traiter la profondeur avec numpy)

J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [3]. Arbitrairement profondeur seulement Une autre méthode (MiDaS d'Intel-isl etc.).

: star2: J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [0]. (J'ai confirmé comment capturer l'espace)

Informations qui peuvent être utiles (une série d'articles [-1] à [3] complets)

【1】 ・ Avec GFORCE GTX1050Ti (mémoire GPU dédiée de 4,0 Go) ** Peut ne pas fonctionner en raison d'un manque de mémoire GPU **. Cela ne dépend ** pas de la taille de l'image **, Peut-être quelque chose lié à la quantité de mémoire nécessaire pour représenter la 3D dans le contenu de l'image. Je n'ai pas trouvé de solution. Il peut être possible de gérer en modifiant les paramètres. Comme il s'agit d'une voiture rouge, environ 3,4 Go de mémoire GPU dédiée ont été utilisés et environ 2,7 Go de mémoire blanche ont été utilisés. Pour ce problème de mémoire, pourquoi ne pas utiliser Google Colab pour le moment? -J'ai montré l'édition des informations de profondeur avec PNG, mais la valeur par défaut est sûrement numpy?. Si vous pouvez gérer les données (numpy) avec cliquetis, vous pouvez les modifier. -Je sens que les informations de profondeur exprimées en PNG sont normalisées quelque part. Plage de profondeur PNG J'ai l'impression que le résultat était le même même si je l'ai changé. : étoile:

【3】 ・ Si toute la surface est une image de type mur, j'estime que la surface verticale ne peut pas être bien détectée. (Je pense que c'est facile, donc c'est étrange.) J'ai essayé des méthodes de profondeur, Je n'en ai pas rencontré de bons jusqu'à présent.

Recommended Posts

J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [-1]. (La zone cachée est-elle vraiment visible?)
J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [2]. (Essayez de traiter la profondeur avec numpy)
J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [0]. (Confirmé comment capturer l'espace, l'ombre)
J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [1]. (La profondeur peut maintenant être modifiée en PNG.)
J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [3]. MiDaS de feat. Intel-isl seulement profondeur sans permission.
J'ai essayé de créer facilement un système de présence entièrement automatique avec Selenium + Python
J'ai essayé de créer un modèle avec l'exemple d'Amazon SageMaker Autopilot
J'ai trouvé un moyen de créer un modèle 3D à partir d'une photo Partie 02 Chargement d'images et dessin de sommets
Créer facilement une image 3D très précise avec une seule photo! (Vous pouvez désormais modifier la profondeur en PNG.) [1-E]
J'ai essayé de créer automatiquement un rapport avec la chaîne de Markov
J'ai trouvé un moyen de créer un modèle 3D à partir d'une photo Partie 04 Générer des polygones
J'ai essayé d'utiliser PI Fu pour générer un modèle 3D d'une personne à partir d'une image
J'ai essayé de créer une liste de nombres premiers avec python
J'ai essayé de traiter l'image en "style croquis" avec OpenCV
Je voulais résoudre le problème ABC164 A ~ D avec Python
J'ai essayé de créer des taureaux et des vaches avec un programme shell
J'ai essayé de traiter l'image dans un "style de dessin au crayon" avec OpenCV
J'ai essayé de couper une image fixe de la vidéo
J'ai trouvé un moyen de créer un modèle 3D à partir de photos Partie 01 Créer un environnement
Comment créer facilement une image CG comme une photo de jouet "Ubuntu / Linux" ・ Rendu photo réaliste avec LeoCAD & Blender
J'ai essayé d'analyser les émotions si Hinatazaka 46 est vraiment une "aura heureuse"
J'ai essayé de créer un linebot (préparation)
J'ai essayé de créer un programme qui convertit les nombres hexadécimaux en nombres décimaux avec python
J'ai trouvé un moyen de créer un modèle 3D à partir d'une photo.
J'ai essayé de créer un plug-in avec HULFT IoT Edge Streaming [Development] (2/3)
J'ai essayé de créer un plug-in avec HULFT IoT Edge Streaming [Execution] (3/3)
J'ai essayé de jouer avec l'image avec Pillow
[Outlook] J'ai essayé de créer automatiquement un e-mail de rapport quotidien avec Python
J'ai essayé de créer un plug-in avec HULFT IoT Edge Streaming [Setup] (1/3)
J'ai essayé de confirmer si l'estimation impartiale de l'écart-type était vraiment impartiale en "jetant des pièces 10 000 fois"
J'ai essayé de déplacer le modèle 3D en faisant quelque chose comme la capture de mouvement avec juste un ordinateur portable + une caméra Web
J'ai essayé de créer une classe qui peut facilement sérialiser Json en Python
J'ai essayé d'expliquer à quoi sert le générateur Python aussi facilement que possible.
Quand j'ai essayé de créer un environnement virtuel avec Python, cela n'a pas fonctionné
J'ai essayé de visualiser facilement les tweets de JAWS DAYS 2017 avec Python + ELK
J'ai essayé d'extraire le dessin au trait de l'image avec Deep Learning
J'ai essayé de créer un bouton pour Slack avec Raspeye + Tact Switch
J'ai essayé de créer une API de reconnaissance d'image simple avec Fast API et Tensorflow
J'ai essayé de "lisser" l'image avec Python + OpenCV
Je souhaite créer facilement un modèle de bruit
J'ai essayé de "différencier" l'image avec Python + OpenCV
J'ai essayé de sauvegarder les données avec discorde
J'ai essayé de corriger la forme trapézoïdale de l'image
J'ai essayé de "binariser" l'image avec Python + OpenCV
J'ai essayé de faire quelque chose comme un chatbot avec le modèle Seq2Seq de TensorFlow
J'ai essayé de créer un environnement d'apprentissage amélioré pour Othello avec Open AI gym
J'ai trouvé un moyen de créer un modèle 3D à partir d'une photo.0 Projection vers l'espace 3D
[Python] J'ai essayé de créer automatiquement un rapport quotidien de YWT avec la messagerie Outlook
J'ai essayé de créer une classe pour rechercher des fichiers avec la méthode Glob de Python dans VBA
J'ai essayé de créer un cadre de données pandas en grattant les informations de rappel d'aliments avec Python
J'ai essayé d'entraîner la fonction péché avec chainer
J'ai essayé de détecter l'iris à partir de l'image de la caméra
Comment créer un sous-menu avec le plug-in [Blender]
J'ai essayé de toucher un fichier CSV avec Python
J'ai essayé de résoudre Soma Cube avec python
Je souhaite créer manuellement une légende avec matplotlib