Wenn Sie den Artikel lesen und Vorschläge haben, können Sie sich gerne an uns wenden. Es wird ermutigend sein, wenn Sie ein "Gefällt mir" bekommen können.

Was ist einsum?

--einsum ist Einsteins Abkürzungsnotation, die in numpy und pytorch implementiert ist. (Ich wusste nicht, wie ich es auf Japanisch so nennen sollte.) ――Es ermöglicht es, komplizierte Tensorproduktoperationen sehr absichtlich durchzuführen.

Hintergrund

Bis Sie einsum verwendet haben, haben Sie torch.bmm oder torch.matmul (nur die, die Sie gerade erfunden haben) als Methode zur Berechnung des Tensorprodukts in pytorch verwendet. ――Die Abmessungen des Tensors werden jedoch in der oben genannten Produktberechnungsmethode vorgegeben. (Zum Beispiel 3D-Tensor x 2D-Tensor, 2D-Tensor x 1D-Tensor usw.) ――In diesem Fall war es schwierig, das Dokument einzeln zu überprüfen und die Funktion (Methode) entsprechend der Dimension zu verwenden.

Kommentar

Muster 1

Berechnungen, die dazu neigen, tief zu lernen

import torch as t
X = t.rand(3,10,5)
Y = t.rand(3,20,5)

--Mini Batch ist $ 3 $

Die Größe der Matrix X beträgt $ 10 \ times5 $
Die Größe der Matrix Y beträgt $ 20 \ times5 $

In einem solchen Fall möchte ich das Produkt jeder Matrix in der Mini-Charge berechnen und die Matrix mit der Größe von $ 10 \ times20 $ berechnen. Und Sie können es als Stapel zurückgeben.

Mit anderen Worten, ich möchte, dass Sie den Tensor $ 3 \ times10 \ times20 $ als Ergebnis der XY-Berechnung zurückgeben.
Als Ergebnis können Sie wie folgt berechnen

t.einsum('bnm,bkm->bnk',X,Y).size()                      
>> torch.Size([3, 10, 20])

Übrigens, wenn Sie $ 3 \ times20 \ times10 $ anstelle von $ 3 \ times10 \ times20 $ zurückgeben möchten
'bnm, bkm-> bkn' Achten Sie hier auf den Unterschied

t.einsum('bnm,bkm->bkn',X,Y).size()                      
>> torch.Size([3, 20, 10])

Muster 2

Sie können auch das Produkt einer Matrix und eines Vektors berechnen. einfach.

X = t.rand(3,10,5)                                       
Y = t.rand(3,5)                                          
t.einsum('bnm,bm->bn',X,Y).size()                        
>> torch.Size([3, 10])

Zusammenfassung

Mit einsum können Sie das Produkt komplexer Tensoren sehr einfach ausdrücken. Dies ist ein Abschied von denen, die die Abmessungen zwangsweise mit "torch.transpose", "torch.view", "torch.squeeze" usw. abgeglichen haben.