[PYTHON] Beschleunigen Sie Deep Learning mit der Rasperry Pi 4-CPU
Wir sind eine Gruppe von Freiwilligen, die sich zum Ziel gesetzt haben, mit der ** eingebetteten SW-Optimierungstechnologie ** als Kernkompetenz zu beginnen, um die HW-Leistung der ** Multi-Core-CPU ** und ** SIMD-Architektur ** herauszustellen.
Ich frage mich, wie viel Deep Learning mit ** nur CPU ** von Raspberry Pi 3/4 beschleunigt werden kann.
Früher haben wir Frameworks wie Chainer und Darknet ins Visier genommen, jetzt versuchen wir, die ONNX-Laufzeit zu beschleunigen.
Die Ergebnisse zu diesem Zeitpunkt sind wie folgt.
@onnxruntime on RPi4(CPU Only)
— Project-RAIZIN (@ProjectRaizin) September 8, 2020
MobileNetV3(Image clasification)
MobileNetV2-SSDLite(Image detection)
Original vs. Accelerated#RaspberryPi #Python #DeepLearninghttps://t.co/wvBLn9Tfes
Ursprünglich bewerben Microsoft und Facebook das Projekt, daher ist es schwierig, es mehrmals zu beschleunigen, aber ich habe es geschafft, die Leistung durch Optimierung von im2col, gemm, Aktivierungsfunktion usw. zu verdoppeln.
Darüber hinaus haben wir Demo-Videos verschiedener Modelle veröffentlicht. Youtube-Kanal
Unsere Engagementpunkte
- 1. Führen Sie Deep Learning nur mit der Raspberry Pi-CPU
- durch
- 2. Verwenden der 32-Bit-Version Rasbian
- durch
- Noch nicht kompatibel mit 64-Bit-Raspbian ...
- 3. Verwenden Sie das vorhandene Modell so wie es ist
- Wir reduzieren kein Gewicht wie Quantisierung / Beschneiden / Destillieren (kann überhaupt nicht durchgeführt werden ...)
- 4. Ändern Sie die Berechnungsgenauigkeit nicht so weit wie möglich
Beschleunigungsansatz
Der Beschleunigungsansatz ist wie unten gezeigt üblich.
- a. Codeoptimierung
- b. Mehrkernparallelisierung
- c. SIMD-Vektorisierung
- d. Software-Pipeline
- e. Speichereffizienz
- b. Mehrkernparallelisierung
Ich denke, dass es ein Merkmal von uns ist, dass es keine andere Einstellung gibt, um die leeren Lumpen zu quetschen, während man ein Profil macht und ** ein bisschen schneller und ein bisschen schneller **.
Am Ende des Artikels
Dieses Mal habe ich nur die Ergebnisse vorgestellt, möchte aber technisches Material für jeden Artikel als Memorandum sammeln und bei Bedarf veröffentlichen.
Recommended Posts