[PYTHON] So installieren Sie Fast.ai auf einer Alibaba Cloud-GPU und führen es auf einem Jupyter-Notebook aus

Dieses Mal werde ich Ihnen zeigen, wie Sie die fast.ai-Bibliothek auf dem Alibaba Cloud Elastic ** GPU ** -Dienst installieren und wie Sie mit ** Jupyter ** Notebook darauf zugreifen.

• Dieser Blog ist eine Übersetzung aus der englischen Version. Sie können das Original von [hier] überprüfen (https://www.alibabacloud.com/blog/installing-fast-ai-in-alibaba-cloud-gpu-and-running-it-on-jupyter-notebook_594619). Einige maschinelle Übersetzungen werden verwendet. Wir würden uns freuen, wenn Sie auf Übersetzungsfehler hinweisen könnten. * *

Warum GPU?

Insbesondere Deep Learning erfordert viel Matrixmultiplikation. Es wurde festgestellt, dass dieser Prozess auf der GPU (Graphical Processing Unit) im Vergleich zur Central Processing Unit (CPU) außergewöhnlich gut ausgeführt werden kann. Vor dem Boom des Deep Learning wurden GPUs hauptsächlich für Spiele und andere Grafik-Renderings verwendet. Heutzutage wird es häufig für Modelltraining und Argumentation beim Deep Learning verwendet. Allerdings sind nicht alle GPUs für diese Aufgabe geeignet, und Deep-Learning-Anwender verwenden normalerweise NVIDIA-GPUs, da die CUDA-Bibliothek und die GPU-Karten von NVIDIA für Deep-Learning optimiert sind. Ich werde.

Um eine GPU selbst zu haben, muss eine Maschine mit einer GPU und einem geeigneten Betriebssystem eingerichtet werden, sodass sie nicht bereit ist, Deep-Learning-Probleme zu lösen. Derzeit verwenden Deep-Learning-Praktiker hauptsächlich Ubuntu, um ihre Experimente durchzuführen. Das Einrichten einer lokalen GPU-Maschinenbox sowie aller Abhängigkeiten, Treiber und Softwareinstallationen erfordert Zeit und Kenntnisse im Hardware-Design. Ein effizienterer Ansatz besteht stattdessen darin, eine GPU-Instanz über einen Cloud-Anbieter wie Alibaba Cloud zu mieten.

Alibaba Cloud-GPU-Instanzen werden entsprechend der tatsächlichen Nutzung abgerechnet, wodurch Sie beim Testen der GPU Geld sparen. Sie müssen sich auch nicht um Hardwareeinstellungen oder Softwareinstallationen kümmern, da Alibaba Cloud diese Einstellungen bereits vorgenommen hat.

Funktionen von Fast.ai

Fast.ai bietet die folgenden Funktionen.

1. Die integrierte CUDA-Bibliothek muss sich um die Installation des NVIDIA-Treibers kümmern. Um zu sehen, wie der NVIDIA-Treiber funktioniert, geben Sie den folgenden Befehl ein: nvidia-smi
2. Einfach über conda oder pip zu installieren.
3. Out-of-Box-Unterstützung für Computer Vision, Verarbeitung natürlicher Sprache, Tabellendaten und kollaborative Filtermodelle.

Im Folgenden wird beschrieben, wie Sie die Fast.ai-Bibliothek auf dem Alibaba Cloud Elastic GPU-Dienst unter Ubuntu 16.04 installieren und auf dem Jupyter Notebook ausführen.

Bedarf

1. Neue Alibaba Cloud Ubuntu 16.04-Instanz mit mindestens 10 GB RAM NVIDIA-GPU.
2. Legen Sie das Root-Passwort auf dem Server fest

Starten Sie die Alibaba Cloud ECS-Instanz

Um eine Alibaba Cloud Elastic GPU Service-Instanz zu erwerben, müssen Sie sich zuerst bei der Alibaba Cloud ECS-Konsole anmelden. Erstellen Sie eine neue ECS-Instanz und wählen Sie Ubuntu 16.04 als Betriebssystem mit mindestens 10 GB RAM GPU NVIDIA. Wählen Sie eine NVIDIA-GPU-Karte anstelle von AMD, wie im folgenden Screenshot gezeigt. Einige Standorte bieten keine GPU-Instanzen an. Wählen Sie daher einen Standort in der Nähe Ihrer GPU-Instanz oder den günstigsten.

Stellen Sie nach Auswahl des Instanztyps sicher, dass Sie Ubuntu 16.04 64bit als Betriebssystem auswählen, die automatische Installationsoption des GPU-Treibers aktivieren und den neuesten Treiber auswählen. Diese Option installiert automatisch die CUDA- und GPU-Treiber, wenn Sie die Instanz erstellen.

Stellen Sie dann eine Verbindung zur ECS-Instanz (https://www.alibabacloud.com/help/ja/doc-detail/25434.htm) her und melden Sie sich als Root an.

Anaconda Installation

Der beste Weg, um mit der fast.ai-Bibliothek und anderen Bibliotheken, die Python verwenden, zu arbeiten, besteht darin, diese Umgebung über Anaconda zu erstellen und andere Dinge, die wir auf dem Computer getan haben, nicht zu verwirren. ..

Zunächst müssen Sie Anaconda für Linux von folgender URL herunterladen: [https://www.anaconda.com/download/#linux](https://www.anaconda.com/download?spm=a2c65.11461447.0. 0.1a843ce9ZkXyNF # linux)

Klicken Sie auf die Schaltfläche zum Herunterladen von Python 3.7, klicken Sie mit der rechten Maustaste und kopieren Sie den Link.

Fügen Sie danach den Link in das Terminal ein und laden Sie ihn mit dem folgenden Befehl herunter.

curl –o https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh

Sobald der Download abgeschlossen ist, ist die Überprüfung der Integrität der Daten mit der kryptografischen Hash-Überprüfung der SHA-256-Prüfsumme optional. Geben Sie jedoch den folgenden Befehl ein:

sha256-sum Anaconda3-5.3.0-Linux-x86_64.sh

Für den Ausgabe-Hash müssen Sie auf der Anaconda-Seite nach der richtigen Anaconda-Version suchen. Wenn die Hash-Ausgabe identisch ist, wurde sie überprüft.

Sie können Anaconda sofort nach Abschluss des Downloads mit dem folgenden Befehl installieren.

bash Anaconda3-5.3.0-Linux-x86_64.sh

Ausgabe:

Welcome to Anaconda3 5.3.0 (by Continuum Analytics, Inc.)

In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue

Drücken Sie die Eingabetaste, um den Installationsvorgang fortzusetzen, und halten Sie die Eingabetaste gedrückt, um die Lizenzinformationen zu laden. Sie müssen die Lizenz wie in Ausgabe unten gezeigt genehmigen.

Ausgabe:

Do you approve the license terms? [yes|no]

Geben Sie "Ja" ein, um die Anaconda-Installation zu genehmigen und zu starten.

Jetzt müssen Sie den Speicherort auswählen, an dem Sie Anaconda installieren möchten. Wenn der Standardinstallationsort ausreicht, drücken Sie die Eingabetaste oder geben Sie einen anderen Ort an, an dem Sie Anaconda installieren möchten.

Ausgabe:

Anaconda3 will now be installed into this location:
/root/anaconda3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

[/root/anaconda3] >>> 

Die Installationsarbeiten werden nun gestartet. Dieser Vorgang kann zeitaufwändig sein, da Anaconda Hunderte von Python-Paketen packt. Einige dieser Pakete werden von Ihnen während des gesamten Tages des Lernens von maschinellem Lernen und tiefem Lernen verwendet.

Wenn der Installationsvorgang abgeschlossen ist, sollte eine Ausgabe ähnlich der folgenden angezeigt werden:

Ausgabe:

...
installation finished.
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /root/.bashrc ? [yes|no]
[no] >>>

Wenn Sie in diesem Schritt "Ja" eingeben, können Sie den Befehl "conda" später verwenden.

Ausgabe:

Prepending PATH=/root/anaconda3/bin to PATH in /home/sammy/.bashrc
A backup will be made to: /root/.bashrc-anaconda3.bak
...

Um Anaconda zu starten, müssen Sie die bashrc-Datei mit dem folgenden Befehl erstellen:

source ~/.bashrc

Nach diesem Schritt können Sie Ihre Anaconda-Installation mit dem folgenden Befehl überprüfen:

conda list

Dieser Befehl listet alle von Anaconda installierten Python-Pakete auf.

In diesem Beispiel erstellen wir eine virtuelle Umgebung mit dem Namen "fast.ai" und geben diesen Befehl ein.

conda create --name fast.ai python=3

Die Ausgabe dieses Befehls listet alle Pakete auf, die installiert werden sollen. Geben Sie also "y" ein, wenn Sie damit einverstanden sind.

Wenn der Vorgang abgeschlossen ist, starten Sie die Umgebung mit dem folgenden Befehl, um mit der Arbeit zu beginnen.

source activate fast.ai

Ausgabe:

(fast.ai) root@ubuntu:~$

Wenn Sie mit der Arbeit in der fast.ai-Umgebung fertig sind, schließen Sie sie mit dem folgenden Befehl.

source deactivate

Installieren Sie Fast.ai

Die Fast.ai-Bibliothek finden Sie unter https://github.com/fastai. Der Installationsvorgang ist einfach und unkompliziert. Es bietet sowohl die GPU-Version als auch die CPU-Version, aber dieses Mal bin ich an Deep Learning interessiert, daher werde ich die GPU-Version fast.ai installieren.

Geben Sie zunächst den folgenden Befehl ein, um die Pytorch-Software zu installieren. Da fast.ai eine Softwarebibliothek ist, die mit Pytorch-Software ausgeführt wird, müssen Sie zuerst Pytorch installieren, um fast.ai zu installieren. Vergessen Sie nicht, die fast.ai-Umgebung zu aktivieren.

source activate fast.ai
conda install -c pytorch pytorch-nightly cuda92

Dies druckt eine Liste von Sotoware, die conda in der fast.ai-Umgebung installiert. Geben Sie "y" ein, wenn Sie damit einverstanden sind.

Geben Sie dann den folgenden Befehl ein, um die Brennersicht-Software zu installieren.

conda install -c fast.ai torchvision-nightly

Wenn Sie die Ausgabe der Softwareliste sehen, geben Sie "y" ein, um zuzustimmen.

Geben Sie zum Installieren von fast.ai den folgenden Befehl ein:

conda install -c fast.ai fast.ai

Wenn Sie die Ausgabe der Softwareliste sehen, geben Sie "y" ein, um zuzustimmen.

Zu diesem Zeitpunkt haben wir fast.ai erfolgreich installiert und sind bereit, mit Deep Learning zu experimentieren.

Versuchen Sie Fast.ai mit dem Jupyter-Beispiel

Der beste Weg, um Ihre fast.ai-Installation zu testen, besteht darin, mit sofort einsatzbereiten Beispielen für Computer Vision, Verarbeitung natürlicher Sprache, Tabellendaten und Co-Filter-Modelle zu arbeiten.

Lassen Sie uns diesmal das Beispiel der Computer Vision verwenden.

Geben Sie den folgenden Befehl ein, um die Beispieldaten von fast.ai zu kopieren.

git clone https://github.com/fast.ai/fast.ai/tree/master/examples

Jetzt ist der Ordner in ~ / examples

Führen Sie den folgenden Befehl aus.

jupyter notebook –-ip=0.0.0.0 –allow-root

Dadurch wird ein laufendes Jupyter-Notizbuch mit einem solchen Token für den erstmaligen Zugriff ausgegeben.

http://(your-ip-address)/tree?token=f79ec772e0e53d30a221ecb18d447761e0f5a9d223c20175

Öffnen Sie ein anderes Terminal und geben Sie den folgenden Befehl ein:

ssh –L localhost:8888:localhost:8888 root@(your-ip-address)

Geben Sie Ihr Passwort ein und klicken Sie auf Enter.

Öffnen Sie einen Webbrowser und fügen Sie das obige Token in die URL-Adressleiste ein.

http://localhost:8888/tree?token=f79ec772e0e53d30a221ecb18d447761e0f5a9d223c22017

Dieser Befehl öffnet das Jupyter-Notizbuch in der URL, öffnet dann den Ordner "~ / examples" und klickt auf "dog_cats.ipyb", um das Jupyter-Notizbuch wie unten gezeigt anzuzeigen.

Um die fast.ai-Bibliothek zu testen, geben Sie einfach Umschalt + Eingabetaste ein und führen Sie alle Befehle aus. Sie können sehen, wie der Deep-Learning-Prozess durchgeführt wird. Weitere Informationen zu dieser Software finden Sie unter http://docs.fast.ai/. Bitte finden Sie das Material.

• Alibaba Cloud ist der Cloud-Infrastrukturbetreiber Nr. 1 (2019 Gartner) im asiatisch-pazifischen Raum mit zwei Rechenzentren in Japan und mehr als 60 Verfügbarkeitszonen weltweit. Klicken Sie hier, um weitere Informationen zu Alibaba Cloud zu erhalten. Offizielle Seite von Alibaba Cloud Japan *