[PYTHON] [PyTorch] CPU vs GPU vs TPU [Réglage fin]

Contexte

[Apprenez en faisant! Développement Deep Learning par PyTorch](https://www.amazon.co.jp/%E3%81%A4%E3%81%8F%E3%82%8A%E3%81%AA%E3%81%8C% E3% 82% 89% E5% AD% A6% E3% 81% B6% EF% BC% 81PyTorch% E3% 81% AB% E3% 82% 88% E3% 82% 8B% E7% 99% BA% E5% B1% 95% E3% 83% 87% E3% 82% A3% E3% 83% BC% E3% 83% 97% E3% 83% A9% E3% 83% BC% E3% 83% 8B% E3% 83% 1 du livre B3% E3% 82% B0-% E5% B0% 8F% E5% B7% 9D-% E9% 9B% 84% E5% A4% AA% E9% 83% 8E-ebook / dp / B07VPDVNKW) J'ai essayé un réglage fin de -5 avec Google Colaboratory. (Vous pouvez voir tout le code sur Author GitHub)

point important

Résultat d'exécution

CPU cpu.png Cela a pris environ 10 minutes.

GPU gpu.png Cela ne prend pas 20 secondes.

TPU tpu.png Cela a également pris environ 10 minutes.

commentaire

―― Le GPU était extrêmement rapide. Cependant, le processeur n'a pas pris beaucoup de temps que prévu. La cause de l'échec est que le TPU a été traité comme un processeur. Des recherches ultérieures ont révélé que si vous vouliez utiliser TPU avec PyTorch, vous auriez besoin d'écrire du code pour le rendre possible. Je vais l'essayer la prochaine fois.

Recommended Posts

[PyTorch] CPU vs GPU vs TPU [Réglage fin]
Commutez automatiquement TPU / GPU / CPU avec le modèle Tensorflow.Keras
[Pytorch] torch.zeros contre torch.zeros_like
Réglage fin BigTransfer (BiT)