Soudain, j'ai commencé à étudier "Deep Learning from scratch - la théorie et l'implémentation du deep learning appris avec Python". C'est un mémo du voyage.
L'environnement d'exécution est macOS Mojave + Anaconda 2019.10. Pour plus de détails, reportez-vous au Chapitre 1 de ce mémo.
(Vers d'autres chapitres de ce mémo: Chapitre 1 / Chapitre 2 / Chapitre 3 ) / Chapitre 4 / Chapitre 5 / [Chapitre 6](https: / /qiita.com/segavvy/items/ca4ac4c9ee1a126bff41) / Chapitre 7 / Chapitre 8 / Résumé)
Ce chapitre décrit Perceptron.
Je n'avais pas de pierres d'achoppement particulières, mais pourquoi les appeler neurones? J'ai pensé qu'il serait plus intéressant d'avoir un peu plus de fond comme, donc je vais le compléter un peu pour autant que je puisse comprendre.
En 1943, le neurophysiologiste / chirurgien McCulloch et le logicologue / mathématicien Pitts se sont associés pour créer un modèle qui réalise les cellules nerveuses dans le cerveau avec un ordinateur [^ 1]. Si vous étudiez le mécanisme du cerveau et le gérez avec un ordinateur, vous devriez être en mesure de compléter une IA capable de penser comme un être humain! C'est une approche tellement étrange.
Dans le cerveau humain, on sait que plusieurs cellules nerveuses sont intimement connectées pour former un réseau. Ces cellules nerveuses individuelles sont appelées neurone en anglais, et l'un des modèles qui ont tenté de réaliser ces cellules nerveuses sur un ordinateur est Perceptron (neurone artificiel, simple Perceptron). C'est pourquoi le mot neurone apparaît dans la description de Perceptron.
Une cellule nerveuse reçoit un signal électrique d'une autre cellule nerveuse, et lorsqu'elle dépasse une certaine quantité, elle devient un état de déclenchement (état excité) pendant un moment et le transmet à une autre cellule nerveuse. Le mécanisme de Perceptron exprime exactement cela. Les signaux d'entrée $ x_1 $ et $ x_2 $ indiquent l'entrée d'autres cellules nerveuses, les poids $ w_1 $ et $ w_2 $ indiquent la facilité de transmission de l'état de déclenchement à partir d'autres cellules nerveuses, et le seuil $ \ theta $ est Il montre combien de signaux vos cellules nerveuses ont besoin pour se déclencher.
De plus, le réseau neuronal qui apparaîtra dans le chapitre suivant est une tentative de réaliser un réseau de multiples cellules nerveuses (neurones) sur un ordinateur afin de réaliser le cerveau humain.
L'approche consistant à imiter le cerveau humain est intéressante, n'est-ce pas? Le mécanisme du cerveau humain n'ayant pas encore été clarifié, les algorithmes du monde ne reproduisent pas fidèlement le cerveau humain et les chercheurs en IA devraient également reproduire fidèlement le cerveau humain. Je ne semble pas être particulier à ce sujet.
Vous ne pouvez pas faire grand-chose avec un seul neurone, mais vous pouvez réaliser trois types de calculs: ET, OU et NAND en modifiant simplement les paramètres $ w_1 $, $ w_2 $ et $ \ theta $ sans changer la logique. Est intéressant.
L'apparence du biais $ b $ est un peu déroutante, mais c'est la même chose que $ \ theta $ en ce sens qu'il montre la facilité de se déclencher, alors procédons sans trop réfléchir car l'expression est différente. ..
Comme vous pouvez le voir dans le livre, les XOR ◯ et △ ne peuvent pas être réalisés en ligne droite, quels que soient vos efforts. C'est la limite pour Perceptron avec un neurone.
De plus, il semble que les mots linéaire et non linéaire doivent être avancés en sachant qu'ils peuvent / ne peuvent pas être divisés par des lignes droites comme dans le livre.
Il s'avère qu'il y a plus de choses à faire, tout comme XOR était possible avec plusieurs couches.
Je n'ai pas compris l'histoire selon laquelle un ordinateur ne peut être fabriqué qu'avec NAND, mais le livre "From NAND to Tetris" qui est présenté semble le résoudre. Je ne peux pas me permettre de le faire maintenant, mais j'aimerais le lire si j'en ai l'occasion.
Je n'ai pas non plus trébuché sur le chapitre 2.
C'est tout pour ce chapitre. Si vous avez des erreurs, je vous serais reconnaissant de bien vouloir les signaler. (Vers d'autres chapitres de ce mémo: Chapitre 1 / Chapitre 2 / Chapitre 3 ) / Chapitre 4 / Chapitre 5 / [Chapitre 6](https: / /qiita.com/segavvy/items/ca4ac4c9ee1a126bff41) / Chapitre 7 / Chapitre 8 / Résumé)
[^ 1]: [Wikipédia: Neuron formel](https://ja.wikipedia.org/wiki/%E5%BD%A2%E5%BC%8F%E3%83%8B%E3%83%A5%E3 À partir de% 83% BC% E3% 83% AD% E3% 83% B3)