Cette série est écrite comme un résumé de l'apprentissage de PyTorch, le cadre d'apprentissage automatique de Python. Cette fois, j'ai écrit un résumé des bases de PyTorch. Cela peut être difficile à lire comme matériel de lecture parce que j'essaie d'écrire les points principaux plutôt que de les transmettre, mais j'espère que vous pourrez l'utiliser pour comprendre les points.
Comme mentionné précédemment, PyTorch est le cadre d'apprentissage automatique de Python. En parlant de frameworks d'apprentissage automatique, il existe TensorFlow développé par Google, Keras ou chainer. La subjectivité personnelle est incluse, mais si vous les divisez grossièrement, cela ressemble à ce qui suit.
| Cadre | Principales caractéristiques |
|---|---|
| TensorFlow, Keras | Pour l'industrie |
| PyTorch, Chainer | Pour la recherche (hautement personnalisable) |
De plus, je pense que la plupart des gens viendront de TensorFlow lorsqu'ils voudront commencer l'apprentissage automatique, mais une règle légèrement inhabituelle qui décrit la définition et l'exécution de la structure de données définir et exécuter '' séparément. Pour cette raison, je pense que certaines personnes peuvent ne pas être familières avec cela et disparaître. D'un autre côté, PyTorch et Chainer utilisent define by run '', donc vous pouvez le coder de la même manière que le code Python que vous codez normalement, donc c'est familier (bien que je l'aime bien). Est une fonctionnalité.
Cependant, le mécanisme `` définir et exécuter '', qui est un peu difficile à comprendre, semble avoir des avantages tels qu'une optimisation facile et une vitesse de calcul plus rapide du montant défini précédemment. Il y a des avantages et des inconvénients.
Jetons un coup d'œil au contenu de PyTorch.
PyTorch a la structure suivante.
| Contenu | La description |
|---|---|
| torch | Tensor et diverses fonctions mathématiques sont inclus dans ce package dans l'espace de noms principal.Il imite la structure de NumPy |
| torch.autograd | Contient des fonctions de différenciation automatique. Différenciation automatique sur/Activer le gestionnaire de contexte pour contrôler_grad/no_Inclut grad et Function, qui est la classe de base utilisée lors de la définition de fonctions différenciables uniques. |
| torch.nn | Différentes structures de données et couches pour la construction d'un réseau neuronal sont définies. Par exemple, des fonctions d'activation telles que Convolution, LSTM et ReLU et des fonctions de perte telles que MSELoss sont également incluses. |
| torch.optim | Un algorithme d'optimisation des paramètres centré sur la descente de gradient probabiliste (SGD) est implémenté |
| torch.utils.data | Contient des fonctions utilitaires pour créer un mini-lot lors de la rotation de calculs itératifs SGD |
| torch.onnx | ONNX(Open Neural Network Exchange)[^1]Utilisé pour exporter le modèle au format. |
[^ 1]: Format de partage de modèles entre différents frameworks d'apprentissage profond
Il existe plusieurs façons de générer un Tensor.
Génération de Tensor
import numpy as np
import torch
#Créé en passant une liste imbriquée
t = torch.tensor([[1, 2], [3, 4]])
#Créer un Tensor sur GPU en spécifiant un appareil
t = torch.tensor([[1, 2], [3, 4]], device = "cuda:0")
#Créer un Tensor double précision en spécifiant dtype
t = torch.tensor([[1, 2], [3, 4]], dtype = "torch.float64")
# 0~Tensor unidimensionnel initialisé avec un nombre de 9
t = torch.arange(0, 10)
#Créez un Tensor 100x100 avec toutes les valeurs 0 et transférez-le sur le GPU avec la méthode to
t = torch.zeros(100,100).to("cuda:0")
#100x100 Tenseur aléatoire
t = torch.random(100, 100)
Tensor peut être facilement converti en ndarray de NumPy. Cependant, Tensor sur GPU ne peut pas être converti tel quel et il est nécessaire de le déplacer une fois vers le processeur.
conversion de tenseur
#Convertir en ndarray en utilisant la méthode numpy
t = torch.tensor([[1, 2], [3, 4]])
nd_arr = t.numpy()
#Déplacer Tensor du GPU vers le CPU
t = torch.tensor([[1, 2], [3, 4]], device = "cuda: 0")
t_cpu = t.to("cpu")
nd_arr = t_cpu.numpy()
#Continuez à remplir ce qui précède
t = torch.tensor([[1, 2], [3, 4]], device = "cuda: 0")
nd_arr = t.to("cpu").numpy()
Comme ndarray, Tensor prend également en charge l'opération d'indexation [^ 2]. Les méthodes qui peuvent être spécifiées sont les suivantes.
[^ 2]: pour obtenir ou modifier la valeur d'un tableau en spécifiant un indice
[^ 3]: un tableau de la même taille que le tableau d'origine, avec chaque élément du tableau défini sur True / False.
Opération d'indexation Tensor
t = torch.tensor([[1, 2, 3], [4, 5, 6]])
#Spécifié par un indice scalaire
t[0, 2] # tensor(3)
#Spécifié par tranche
t[:, :2] # tensor([[1, 2], [4, 5]])
#Spécifié dans la liste des indices
t[:, [1, 2]] # tensor([[2, 3], [5, 6]])
#Utilisez la matrice de masques pour sélectionner uniquement les parties supérieures à 3
t[t > 3] # tensor([4, 5, 6])
# [0, 1]Remplacer l'élément par 100
t[0, 1] = 100 # tensor([[1, 100, 3], [4, 5, 6]])
#Affectation groupée à l'aide de tranches
t[:, 1] = 200 # tensor([[1, 200, 3], [4, 200, 6]])
#Remplacer uniquement les éléments par des conditions spécifiques à l'aide d'un tableau de masques
t[t > 10] = 20 # tensor([[1, 2, 3], [4, 5, 6]])
Tensor peut effectuer des opérations à quatre règles, des fonctions mathématiques, des calculs algébriques linéaires, etc. Bien que cela puisse être fait avec ndarray, les calculs algébriques linéaires tels que le produit matriciel et la décomposition de valeurs singulières [^ 4] ont de meilleures performances que l'utilisation de NumPy / SciPy, en particulier pour les données à grande échelle, car le GPU peut être utilisé. Il y a beaucoup de.
[^ 4]: La décomposition en valeurs singulières (SVD) est un calcul souvent utilisé en algèbre linéaire, qui décompose la matrice A en le produit de trois matrices comme USV.
U et V sont des matrices orthogonales, et S est une matrice carrée avec seulement des composantes diagonales, qui sont utilisées pour résoudre la méthode du carré minimum et pour l'approximation / compression de matrice.
La disponibilité des quatre règles de Tensor est la suivante.
| Tensor | Tensor(Du même type) | 〇 |
| Tensor | Tensor(Type différent) | ✕ |
| Tensor | Scalaire Python | 〇 |
| Tensor | ndarray | ✕ |
Il est à noter que les quatre règles de fonctionnement entre Tensors doivent être du même type. Lors de l'exécution d'opérations à quatre règles, les dimensions sont automatiquement complétées par des opérations scalaires vectorielles et des opérations matrice-vecteur (Broadcast. user / basics.broadcasting.html)).
Les quatre règles de Tensor
#vecteur
v = torch.tensor([1, 2, 3])
w = torch.tensor([4, 5, 6])
#queue
m = torch.tensor([[0, 1, 2], [10, 20, 30]])
n = torch.tensor([[3, 4, 5], [40, 50, 60]])
#vecteur-scalaire
v_pl = v + 10 # tensor([11, 12, 13])
v_mi = v - 10 # tensor([-9, -8, -7])
v_mu = v * 10 # tensor([10, 20, 30])
v_di = v / 10 # tensor([0, 0, 0])
#vecteur-vecteur
v_pl = v + w # tensor([5, 7, 9])
v_mi = v - w # tensor([-3, -3, -3])
v_mu = v * w # tensor([4, 10, 18])
v_di = v / w # tensor([0, 0, 0])
#Matrice et vecteur
v_pl = m + v # tensor([[ 1, 3, 5], [11, 22, 33]])
v_mi = m - v # tensor([[-1, -1, -1], [ 9, 18, 27]])
v_mu = m * v # tensor([[ 0, 2, 6], [10, 40, 90]])
v_di = m / v # tensor([[ 0, 0, 0], [10, 10, 10]])
#Matrice et matrice
v_pl = m + n # tensor([[3, 5, 7], [50, 70, 90]])
v_mi = m - n # tensor([[-3, -3, -3], [-30, -30, -30]])
v_mu = m * n # tensor([[0, 4, 10], [400, 1000, 1800]])
v_di = m / n # tensor([[0, 0, 0], [0, 0, 0]])
Il y a un endroit où la sortie devient 0 lors de la division. Comme vous pouvez le voir, même si le résultat de l'opération affiche une valeur après la virgule décimale, le type de tenseur est int. Si vous voulez l'éviter, spécifiez float etc. à l'avance.
PyTorch fournit diverses fonctions mathématiques pour Tensor.
** Fonctions mathématiques qui affectent chaque valeur de Tensor **
| Nom de la fonction | Aperçu |
|---|---|
| abs | Valeur absolue |
| sin | sinus |
| cos | cosinus |
| exp | Exponentiel |
| log | Fonction logarithmique |
| sqrt | racine carrée |
** Fonction d'agrégation **
| une fonction | Aperçu |
|---|---|
| sum | Somme des valeurs en tenseur |
| max | Valeur maximale en tenseur |
| min | Valeur minimale en tenseur |
| mean | Valeur moyenne en tenseur |
| std | Écart type des valeurs en tenseur |
| une fonction | Aperçu |
|---|---|
| dot | Produit intérieur des vecteurs |
| mv | Produit de matrice et de vecteur |
| mm | Produit de matrice et de matrice |
| matmul | Sélectionnez automatiquement point, mv, mm en fonction du type d'argument et exécutez |
| gesv | Résolution d'équations simultanées par décomposition LU |
| eig, symeig | Décomposition de valeur unique. symeig est pour la matrice cible |
| svd | Décomposition de singularité |
Voyons quel sera le résultat (je ne l'ai pas montré car le résultat est assez long).
Arithmétique de l'algèbre linéaire
m = torch.randn(100, 10) #Créer des données de test matricielles 100x10
v = torch.randn(10)
#produit intérieur
torch.dot(v, v)
#Produit de matrice et de vecteur
torch.mv(m, v)
#Produit matriciel
torch.mm(m.t(), m)
#Décomposition de singularité
u, s, v = torch.svd(m)
| Nom de la fonction | Aperçu |
|---|---|
| view | Changer la dimension de Tensor |
| cat, stack | Rejoignez Tensors ensemble |
| transpose | Swap dimensions |
Si vous définissez requires_grad de Tensor sur `` `` True, l'indicateur de différenciation automatique sera activé. Cet indicateur est activé pour tous les paramètres et données lorsqu'il s'agit de réseaux neuronaux.
En empilant diverses opérations sur Tensor avec requires_grad '' 'activé, un graphe de calcul est construit et en appelant la méthode arrière, il est automatiquement différencié de ces informations.
Cette fois, j'ai principalement résumé Tensor, indispensable pour gérer la configuration PyTorch et l'apprentissage automatique. Merci à tous ceux qui ont lu jusqu'au bout. À partir de la prochaine fois, je construirai petit à petit un réseau de neurones, donc si vous êtes intéressé, jetez un œil.
Morisebashi (2018) "Peut être utilisé sur le terrain! Introduction au développement PyTorch Création d'un modèle d'apprentissage en profondeur et mise en œuvre dans les applications »
Recommended Posts