[PYTHON] Papier: Papier d'apprentissage automatique qui reproduit des images dans le cerveau, (reconstruction d'image profonde à partir de l'activité cérébrale humaine)

Papier original

https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1006633

De quel genre de papier s'agit-il? Comment résumeriez-vous cela dans vos propres mots?

→ Visualisez l'image que vous voyez dans votre cerveau! Le papier. Quand j'ai vu le résultat, j'ai pensé qu'il était imprévisible. (Bien sûr, il semble y avoir une faible précision)

En détail

Tout d'abord, tout en regardant l'image, mesurez la réaction de l'IRMf. Dans cet état de mesure, il y en a un qui génère fMRI → quantité de caractéristiques d'image. Autrement dit, à l'origine, l'image est → quantité de caractéristiques, mais c'est fMRI → quantité de caractéristiques. À cet égard, il est inévitable que la précision soit inférieure à la quantité d'image → caractéristique. C'est plutôt ici que l'ambiguïté existe et peut être utile pour la recherche sur la créativité. Ensuite, à partir du résultat, la quantité de caractéristiques de l'image peut être obtenue. C'est probablement comme un CNN, et je pense que vous pouvez obtenir des fonctionnalités en plusieurs couches. En d'autres termes, on considère que la couche peu profonde capture la forme du béton et la couche profonde conserve la forme abstraite. Il est transmis à un deuxième réseau qui combine avec succès plusieurs couches de fonctionnalités pour ces images. Autrement dit, il utilise un modèle de réseau appelé DGN, qui est l'inverse de CNN, qui génère une image à partir d'entités. En conséquence, les structures géométriques telles que les alphabets fonctionnaient bien. Cependant, je leur ai demandé d'imaginer une image dans un état compliqué → Le résultat était qu'il était extrêmement difficile de l'imaginer. La cause peut être dans le réseau, mais probablement le point que l'imagination humaine ne peut pas dessiner avec autant de détails.

Réflexions / intérêts

Je veux dessiner l'intérieur de la tête d'un joueur d'échecs professionnel. Je me demande à quel point l'image peut être détaillée si je l'essaye. Il est possible que chaque personne soit différente. Je veux aussi voir Shun Miyazaki. Un réseau de conversion appelé fMRI → fonctionnalités d'image. À ce stade, un saut assez logique était en cours et je me demandais si la précision était faible. Bien sûr, je pense que la précision du DGN, qui est la quantité de caractéristiques d'image → génération d'image, est également faible. Il semble être une reconnaissance commune qu'il est considérablement abaissé en passant à travers deux filtres avec une précision médiocre. Cependant, même avec sa faible précision, j'ai pensé que c'était incroyable de pouvoir générer des images avec des alphabets.

Recommended Posts

Papier: Papier d'apprentissage automatique qui reproduit des images dans le cerveau, (reconstruction d'image profonde à partir de l'activité cérébrale humaine)
[Partie 1] Utilisez le Deep Learning pour prévoir la météo à partir d'images météorologiques
[Partie 3] Utilisez le Deep Learning pour prévoir la météo à partir d'images météorologiques
[Partie 2] Utilisez le Deep Learning pour prévoir la météo à partir d'images météorologiques
Les gens mémorisent les connaissances acquises dans le cerveau, comment mémoriser les connaissances acquises dans l'apprentissage automatique
Papier: Traitement intracérébral de la musique
Comment créer un ensemble de données d'image de visage utilisé dans l'apprentissage automatique (3: Génération d'images de visage à partir d'images candidates, partie 1)
Modèle de reconnaissance d'image utilisant l'apprentissage profond en 2016
Alignement d'image: du SIFT au deep learning
"Deep Learning from scratch" avec Haskell (inachevé)
Code simple qui donne un score de 0,81339 dans Kaggle's Titanic: Machine Learning from Disaster