[PYTHON] Thèse: Encodage et décodage neuronaux avec Deep Learning pour Dynamic Natural Vision, qui utilise l'apprentissage profond pour générer des nerfs pour des paysages naturels dynamiques.

De quel genre de papier s'agit-il? Grossièrement

L'apprentissage automatique (Neural Network, CNN) a imité le cerveau humain. En l'utilisant, il est devenu possible de reproduire la réaction cérébrale (IRM) lors de la visualisation de l'image à partir de là! Et maintenant, vous pouvez faire l'inverse! En d'autres termes, le contraire est vrai, la quantité de caractéristiques d'une certaine image peut être prédite à partir du résultat de la réaction de l'IRM! C'est.

Jusqu'à présent, on disait que c'était une imitation, mais je sentais que c'était un article qui prouvait que ce n'était pas une métaphore mais qui était imité avec une très grande précision!

https://academic.oup.com/cercor/article/28/12/4136/4560155

Résumé et résumé personnel

On a dit que le réseau neuronal convolutif imitait le mécanisme de traitement d'image du cerveau, mais il est devenu clair. En d'autres termes, des recherches récentes ont montré que → l'IRMf peut être créée à partir des fonctionnalités de CNN, et vice versa! C'est incroyable que CNN apprenne même s'il ne considère pas la série chronologique! Je me suis demandé si de bout en bout était quelque chose comme ça. Un article qui renforce la bidirectionnalité entre CNN et fMRI. De plus, CNN a fait un bon travail de prédiction non seulement du côté du ventre (que j'avais déjà parfaitement prédit), mais aussi du côté arrière de l'IRMf! Bien que le degré soit faible. En décodant directement le signal IRMf, nous avons pu estimer les représentations caractéristiques de l'espace visuel et de l'espace sémantique, et effectuer une reconstruction visuelle et une classification sémantique. Mon avis: Ceci est juste une histoire qui a atteint le même niveau que l'IRMf, et l'IRMf ne doit pas être complètement comprise. Il semble que ce ne soit qu'une explication que la méthode A et la méthode B n'ont pas été incompatibles l'une avec l'autre. Ça y est, le réseau de neurones convolutifs est incroyable! Je ne peux pas dire ça. Il y a cependant une possibilité.

résultat

Résultats sur la relation entre CNN et IRMf. Le CNN et le champ visuel partagent des représentations similaires de caractéristiques visuelles de bas niveau (par exemple, topi rétinien) et de caractéristiques sémantiques de haut niveau (par exemple, visage), ainsi que de multiples niveaux intermédiaires d'abstraction élevée. Il partage également une représentation hiérarchique des informations visuelles (Fig. 2). Résultats et pertinence pour recréer les nerfs. À partir du résultat de CNN, j'ai essayé de savoir quelle région du cerveau est activée par un modèle de régression linéaire. Classer par étiquetage.

Recommended Posts

Thèse: Encodage et décodage neuronaux avec Deep Learning pour Dynamic Natural Vision, qui utilise l'apprentissage profond pour générer des nerfs pour des paysages naturels dynamiques.
Réaliser la construction d'environnement pour "Deep Learning from scratch" avec docker et Vagrant
Essayez de créer un réseau de neurones / d'apprentissage en profondeur avec scratch
[Evangelion] Essayez de générer automatiquement des lignes de type Asuka avec Deep Learning
Créez un environnement pour "Deep Learning from scratch" avec Docker