[PYTHON] Papier: Maschinelles Lernpapier, das Bilder im Gehirn reproduziert (Tiefenbildrekonstruktion aus menschlicher Gehirnaktivität)

Original Papier

https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1006633

Was ist das für ein Papier? Wie würden Sie es in Ihren eigenen Worten zusammenfassen?

→ Visualisiere das Bild, das du in deinem Gehirn siehst! Das Papier. Als ich das Ergebnis sah, dachte ich, dass es unerwartet vage war. (Natürlich scheint es eine schlechte Genauigkeit zu geben)

Im Detail

Messen Sie zunächst beim Betrachten des Bildes die Reaktion von fMRT. In diesem Messzustand gibt es einen, der die fMRI → Bildmerkmalsmenge erzeugt. Das heißt, das Bild ist ursprünglich → Merkmalsmenge, aber es ist fMRI → Merkmalsmenge. In dieser Hinsicht ist es unvermeidlich, dass die Genauigkeit geringer ist als die Bild → Merkmalsmenge. Vielmehr besteht hier Mehrdeutigkeit und kann für die Kreativitätsforschung nützlich sein. Dann kann aus dem Ergebnis die Merkmalsmenge des Bildes erhalten werden. Dies ist wahrscheinlich wie bei einem CNN, und ich denke, Sie können Funktionen in mehreren Ebenen erhalten. Mit anderen Worten wird angenommen, dass die flache Schicht die Betonform erfasst und die tiefe Schicht die abstrakte Form beibehält. Es wird durch ein zweites Netzwerk geleitet, das mehrere Ebenen von Funktionen für diese Bilder erfolgreich kombiniert. Das heißt, es wird ein Netzwerkmodell namens DGN verwendet, das die Umkehrung von CNN ist und aus Features ein Bild generiert. Infolgedessen funktionierten geometrische Strukturen wie Alphabete gut. Ich bat sie jedoch, sich ein Bild in einem komplizierten Zustand vorzustellen → Das Ergebnis war, dass es äußerst schwierig war, es abzubilden. Die Ursache mag im Netzwerk liegen, aber wahrscheinlich der Punkt, den die menschliche Vorstellungskraft nicht so detailliert zeichnen kann.

Gedanken / Interessen

Ich möchte die Innenseite eines professionellen Schachmannkopfes zeichnen. Ich frage mich, wie detailliert das Bild gezeichnet werden kann, wenn ich es versuche. Es ist möglich, dass jede Person anders ist. Ich möchte auch Shun Miyazaki sehen. Ein Konvertierungsnetzwerk namens fMRI → Bildfunktionen. Zu diesem Zeitpunkt fand ein ziemlich logischer Sprung statt, und ich fragte mich, ob die Genauigkeit gering war. Natürlich denke ich, dass die Genauigkeit von DGN, dh die Anzahl der Bildmerkmale → Bilderzeugung, ebenfalls gering ist. Es scheint eine verbreitete Erkenntnis zu sein, dass es erheblich verringert wird, wenn zwei Filter mit geringer Genauigkeit durchlaufen werden. Trotz seiner geringen Genauigkeit fand ich es erstaunlich, Bilder mit Alphabeten erzeugen zu können.

Recommended Posts

Papier: Maschinelles Lernpapier, das Bilder im Gehirn reproduziert (Tiefenbildrekonstruktion aus menschlicher Gehirnaktivität)
[Teil 1] Verwenden Sie Deep Learning, um das Wetter anhand von Wetterbildern vorherzusagen
[Teil 3] Verwenden Sie Deep Learning, um das Wetter anhand von Wetterbildern vorherzusagen
[Teil 2] Verwenden Sie Deep Learning, um das Wetter anhand von Wetterbildern vorherzusagen
Menschen merken sich gelerntes Wissen im Gehirn, wie man gelerntes Wissen im maschinellen Lernen auswendig lernt
Papier: Intrazerebrale Verarbeitung von Musik
Erstellen eines Gesichtsbilddatensatzes für maschinelles Lernen (3: Gesichtsbildgenerierung aus Kandidatenbildern Teil 1)
Bilderkennungsmodell mit Deep Learning im Jahr 2016
Bildausrichtung: von SIFT bis Deep Learning
"Deep Learning von Grund auf neu" mit Haskell (unvollendet)
Einfacher Code, der in Kaggles Titanic: Maschinelles Lernen aus Katastrophen eine Punktzahl von 0,81339 ergibt