[PYTHON] [Titan Craft] Ich habe ein Werkzeug gemacht, um einen Riesen nach Minecraft zu rufen

Was ist TitanCraft?

Eine Minecraft .schematic-Datei wird aus einem einzelnen Ganzkörperbild generiert, das mit einem Smartphone usw. über ein 3D-Objekt aufgenommen wurde. Sie können einen Riesen beschwören, indem Sie die generierte ".schematic" -Datei mit "mod" wie WorldEdit in die Welt von Micra laden. Ich werde.

Der Quellcode ist [hier] verfügbar (https://github.com/takecx/TitanCraft)

Du kannst das

• An diesem Tag erinnerte sich die Menschheit *

• Die Angst, die von ihnen dominiert wurde ... *
• Die Demütigung, die im Vogelkäfig gefangen war ... *

Prozessablauf

Verfolgen wir den Prozessablauf anhand des folgenden Bildes. (Das Bild wurde von [hier] aufgenommen (https://publicdomainq.net/business-man-portrait-0040715/): pray_tone1 :)

1. Extrahieren Sie den Vordergrund aus dem Eingabebild

Ich verwende ein Repository namens remove_bg, das ich erstellt habe, um den Vordergrund zu extrahieren. Zu diesem Zeitpunkt ist im nächsten Prozess ein Maskenbild für "PI Fu" erforderlich. Erstellen Sie es daher zusammen. Wenden Sie in remove_bg zuerst "Semantische Segmentierung" auf das Eingabebild an, um das Zielobjekt zu extrahieren. Danach wird ein ternäres Bild namens "Trimap" generiert und zusammen mit dem Eingabebild in FBA_Matting eingegeben, um den Vordergrund zu extrahieren.

** [Verarbeitungsergebnis] **

Es ist nicht sehr geeignet, da das Beispielbild fast keinen Hintergrund hat, aber Sie können sehen, dass die Person gut ausgeschnitten ist. (Es gibt einige Stellen, an denen der Hintergrund erhalten bleibt, z. B. in der Nähe von Schritt und Hals.) Ich dachte, es wäre genauer, wenn ich API von remove.bg verwenden würde, aber es gab eine Gebühr. Also habe ich es diesmal nicht benutzt.

2. Generieren Sie mit PIFu ein 3D-Objekt aus einem Bild

Erstellen Sie ein 3D-Objekt aus einem Bild mit einer Technik namens PIFu. Dieser Prozess leitet nicht nur die 3D-Form ab, sondern auch die Textur von Kleidung und Frisuren, die im Bild nicht angezeigt werden. Ich verstehe die Details von "PLFu" nicht wirklich, aber Sie können sie in diesem Artikel etwas detaillierter finden.

** [Verarbeitungsergebnis] ** (Visualisiert mit * meshlab * *)

Die Rücken- und Po-Teile, die im Eingabebild nicht angezeigt werden, werden ebenfalls gut reproduziert. Es ist wunderbar. Gegenwärtig mag es ein wenig schwierig sein, es als 3D-Objekt zu verwenden, aber es scheint nicht lange zu dauern, bis ein schönes 3D-Objekt aus einem Bild generiert werden kann, wenn die Technologie in Zukunft weiter voranschreitet: ok_hand_tone2:

3. Generieren Sie aus einem 3D-Objekt eine ".schematic" -Datei für Minecraft

Unter Verwendung des von mir erstellten Repositorys obj2schematic habe ich die von [2.](# 2.-Generieren eines 3D-Objekts aus einem Bild mit "PIFu") generierte ".obj" -Datei verwendet, um ein ".schematic" für Minecraft zu erstellen. `Erstellen Sie eine Datei. Es liest die von PIFu erzeugte .obj-Datei, analysiert den Inhalt und konvertiert ihn in einen Micra-Block. Sie können einen Riesen beschwören, indem Sie die generierte ".schematic" -Datei mit "mod" wie WorldEdit in die Welt laden!

** [Verarbeitungsergebnis] **

Wie wär es damit⁉ Ich denke, es ist gut gemacht: smile_cat:

Unten ist die Galerie der herbeigerufenen Riesen.

• Hoch aufragende Riesen und Dorfbewohner wachen über *

• Sonnenuntergangsriese *

• Dreiteiliger Riese *

• Stell dich auf die Schulter des Riesen *

• Der Inhalt ist hohl *

• Omae Omiterzo *

Zusammenfassung

Ich habe ein Werkzeug erstellt, um einen Riesen in Minecraft aus einem Bild zu beschwören. Ich habe es möglich gemacht, es auf Google Colab auszuführen. Bitte verwenden Sie es.

Wenn Sie es lokal ausführen möchten, benötigen Sie eine Python-Umgebung. Wenn Sie es jedoch löschen können, können Sie es sofort verwenden. Selbst in meiner Umgebung ohne GPU (MacBook Pro (2019)) kann ein Bild (512 x 512) in 2 bis 3 Minuten verarbeitet werden.

Ich habe es geschafft, weil ich wollte, dass mein Sohn "Wow!" Sagt, aber ich bin froh, dass ich es so machen konnte, wie ich es mir vorgestellt hatte: joy_cat: Dieses Mal habe ich ein 3D-Objekt aus einem Ganzkörperbild erstellt, aber ich denke, dass ich verschiedene andere Dinge tun kann, indem ich das zu verwendende Modell wechsle. Wenn Sie Ideen haben, teilen Sie uns dies bitte in den Kommentaren usw .: rolling_eyes:

Ich verwende auch öffentliche Modelle wie "PIFu" und "FBA_Matting", aber es ist erstaunlich, dass es sich in einem Zustand befindet, in dem es verwendet werden kann, ohne die Details jeder Methode zu verstehen. Ich fühlte es wieder.