[PYTHON] [Titan Craft] J'ai créé un outil pour invoquer un géant sur Minecraft

Qu'est-ce que TitanCraft?

Un fichier .schematic Minecraft est généré à partir d'une seule image du corps entier prise avec un smartphone, etc. via un objet 3D. Vous pouvez invoquer un géant en chargeant le fichier «.schematic» généré dans le monde de Micra en utilisant un «mod» tel que WorldEdit. Je vais.

Le code source est disponible ici

Tu peux le faire

• Ce jour-là, l'humanité s'est souvenue *

• La peur qu'ils dominaient ... *
• L'humiliation qui était piégée dans la cage à oiseaux ... *

Flux de processus

Suivons le déroulement du processus en utilisant l'image ci-dessous. (L'image est tirée de ici: prier_tone1 :)

1. Extrayez le premier plan de l'image d'entrée

J'utilise un référentiel appelé remove_bg que j'ai créé pour extraire le premier plan. À ce moment-là, une image de masque est requise pour PI Fu dans le processus suivant, alors créez-la ensemble. Dans remove_bg, appliquez d'abord Semantic Segmentation à l'image d'entrée pour extraire l'objet cible. Après cela, une image ternaire appelée trimap est générée et entrée dans FBA_Matting avec l'image d'entrée pour extraire le premier plan.

** [Résultat du traitement] **

Ce n'est pas très approprié car l'image échantillon n'a presque pas de fond, mais vous pouvez voir que la personne est bien découpée. (Il y a des endroits où l'arrière-plan reste, comme près de l'entrejambe et du cou.) Je pensais qu'il serait plus précis d'utiliser API de remove.bg, mais il y avait des frais. Donc je ne l'ai pas utilisé cette fois.

2. Générez un objet 3D à partir d'une image avec PIFu

Créez un objet 3D à partir d'une image en utilisant une technique appelée PIFu. Ce processus déduit non seulement la forme 3D, mais également la texture des vêtements et des coiffures qui ne sont pas montrés dans l'image. Je ne sais pas grand-chose sur PLFu, mais vous pouvez le trouver un peu plus en détail, comme dans cet article.

** [Résultat du traitement] ** (Visualisé avec * meshlab * *)

Les parties arrière et bout à bout qui ne sont pas représentées dans l'image d'entrée sont également bien reproduites. C'est incroyable. À l'heure actuelle, il peut être un peu difficile de l'utiliser comme un objet 3D tel quel, mais il semble qu'il ne faudra pas longtemps avant qu'un bel objet 3D puisse être généré à partir d'une image si la technologie avance plus loin dans le futur: ok_hand_tone2:

3. Générez un fichier .schematic pour Minecraft à partir d'un objet 3D

En utilisant le référentiel que j'ai créé obj2schematic, j'ai utilisé le fichier .obj généré par [2.](# 2.-Générer un objet 3D à partir d'une image avec PIFu) pour créer un.schematic pour Minecraft.Créez un fichier. Il lit le fichier .obj généré par PIFu, analyse le contenu et le convertit en un bloc de Micra. Vous pouvez invoquer un géant en chargeant le fichier «.schematic» généré dans le monde avec un «mod» tel que WorldEdit!

** [Résultat du traitement] **

Et à propos de ça? Je pense que c'est bien fait: smile_cat:

Ci-dessous, la galerie des géants invoqués.

• Des géants et des villageois imposants veillent sur *

• Géant du coucher du soleil *

• Géant en trois pièces *

• Tenez-vous sur l'épaule du géant *

• Le contenu est creux *

• Omae Omiterzo *

Résumé

J'ai créé un outil pour invoquer un géant dans Minecraft à partir d'une image. J'ai rendu possible son exécution sur Google Colab, veuillez donc l'utiliser.

Si vous souhaitez l'exécuter localement, vous avez besoin d'un environnement python, mais si vous pouvez l'effacer, vous pouvez l'utiliser immédiatement. Même dans mon environnement sans GPU (MacBook Pro (2019)), une image (512x512) peut être traitée en 2 à 3 minutes.

Je l'ai fait parce que je voulais que mon fils dise "Wow!", Mais je suis heureux d'avoir pu le faire comme je l'imaginais: joy_cat: Cette fois, j'ai créé un objet 3D à partir d'une image de tout le corps, mais je pense que je peux faire diverses autres choses en changeant le modèle à utiliser. Si vous avez des idées, n'hésitez pas à nous en faire part dans les commentaires, etc.: rolling_eyes:

De plus, j'utilise des modèles publics tels que PIFu et FBA_Matting, mais il est étonnant qu'il soit dans un état où il peut être utilisé sans comprendre les détails de chaque méthode. Je l'ai ressenti à nouveau.