[PYTHON] [Einführung in Azure für Kaggle-Benutzer] Vergleich zum Starten und Verwenden von Azure Notebooks und Azure Notebooks VM

das Ziel

Für diejenigen, die die Grenzen ihrer Computerressourcen spüren, aber nicht wissen, wie Cloud-Ressourcen verwendet werden, finden Sie hier eine Zusammenfassung der Verwendung von Azure Notebooks und Azure Notebooks VM. Für Details werde ich das offizielle Azure-Lernprogramm vorstellen, aber ich möchte nachvollziehen, was und wie viel als Computerressource verwendet werden kann.

Zielperson

• Konkurrenzfähige Benutzer wie kaggle, die die Umgebung wie GPU-Nutzung und Speicherzuwachs in der Cloud nutzen möchten
• Diejenigen, die der Meinung sind, dass die vorhandene Berechnungsumgebung für Unternehmen usw. nicht ausreicht.

Voraussetzungen

• E-Mail-Konten wie "hotmail.com" und "Outlook.com" (für den privaten Gebrauch)
• Azure-Abonnement (kostenlose Version ist ebenfalls verfügbar)
• Erstellen eines Azure ML-Arbeitsbereichs (Sie können ihn gemäß dem verknüpften Handbuch erstellen)

Wie benutzt man

1. Azure Notebooks Free compute
2. Azure Notebooks VM
3. Kombinierte Verwendung der beiden oben genannten

1. Verwenden Sie Azure Notebooks Free Compute

Spezifikation

• Nutzungsmenge: Kostenlos
• Maschinenspezifikationen: CPU 1 Kern, 4 GB RAM, 7 GB Speicher
• Sprache: R, Python

Vorteile

• Sie können die Jupyternote-Umgebung mit Azure-bezogenen Paketen (Tensorflow, Keras, Pytorch natürlich) kostenlos installieren.
• Startet schnell und kann sofort gestartet werden

Nachteile

• Umgebung mit niedrigeren Spezifikationen als der durchschnittliche PC heutzutage
• Wenn Sie gelegentlich einfrieren oder wiederholt auf Ausführen klicken, werden Sie aus Sicherheitsgründen für mehrere Stunden vom System ausgeschlossen. Daher ist es besser, die Datei lokal herunterzuladen oder den Code lokal zu bearbeiten.
• R-Benutzer arbeiten auch in der Jupyter-Umgebung und sind im vertrauten R-Studio nicht verfügbar

Wie man anfängt

• Melden Sie sich unter [Offizieller Link] an (https://notebooks.azure.com/)
• Wenn Sie sich zum ersten Mal anmelden, werden Sie gefragt, ob Sie die IPynb-Datei des AzureML-Lernprogramms von Github kopieren und das Projekt starten möchten (das Lernprogramm ist nur Python Ver).
• Es gibt eine unbekannte Einheit namens Project, aber es ist zunächst kein Problem, sie als bloßes Verzeichnis zu betrachten.
• • Taste → Notizbuch → Wählen Sie zum Starten [R] oder [Python]

2. Verwenden Sie die Azure Notebooks-VM

Spezifikation

• Nutzungsmenge: https://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/windows/
• Maschinenspezifikationen: Wählen Sie frei aus dem obigen Link
• Sprache: R, Python

Vorteile

• Jupyternote-Umgebung mit installierten Azure-bezogenen Paketen (natürlich Tensorflow, Keras, Pytorch) ist verfügbar
• Sie können Spezifikationen wie GPU-Nutzung und RAM mit großer Kapazität frei wählen
• R-Benutzer können auch die R-Studio-Umgebung auswählen

Nachteile

• Wenn Sie gelegentlich einfrieren oder wiederholt auf Ausführen klicken, werden Sie aus Sicherheitsgründen für mehrere Stunden vom System ausgeschlossen. Daher ist es besser, die Datei lokal herunterzuladen oder den Code lokal zu bearbeiten.

Wie man anfängt

• Melden Sie sich bei Azure Portal an und wechseln Sie zum Arbeitsbereichsbildschirm, der mit den Voraussetzungen erstellt wurde. → Wählen Sie in der linken Symbolleiste [Berechnen] → [Notebook-VMs ] Erstellen Sie, indem Sie den Namen und die Spezifikationen unter Neu auswählen

• Die Erstellung dauert ca. 10 Minuten
• Status: Wählen Sie beim Ausführen JupyterLab, Jupyter, R-Studio aus der angrenzenden Anwendungs-URL aus und führen Sie es aus

3. Kombinierte Verwendung von Free Compute und VM

Spezifikation

• Nutzungsmenge: https://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/windows/
• Maschinenspezifikationen: Wählen Sie frei aus dem obigen Link
• Sprache: R, Python

Vorteile

• Die Datenvorverarbeitung ist Free Compute, und Deep Learning Learning usw. verwendet die GPU-Umgebung usw. Sie können Kosten senken, indem Sie VMs verwenden, für die nur die Teile erforderlich sind, für die Spezifikationen erforderlich sind.
• Azure AutoML ist verfügbar, sodass Sie automatisch das beste Modell für die Modellierung verschiedener Methoden und Ensembles (Durchschnitt, Stapelung) auswählen können.

Nachteile

• Wenn Sie gelegentlich einfrieren oder wiederholt auf Ausführen klicken, werden Sie aus Sicherheitsgründen für mehrere Stunden vom System ausgeschlossen. Daher ist es besser, die Datei lokal herunterzuladen oder den Code lokal zu bearbeiten.
• Es gibt eine dedizierte Codierung, und es ist schwierig, sich daran zu erinnern
• Die Vorverarbeitung ist zeitlich oft nicht sehr kosteneffektiv, daher halte ich es für ausreichend, sie von Anfang bis Ende mit VM durchzuführen.

Wie man anfängt

• Python : https://docs.microsoft.com/ja-jp/azure/machine-learning/service/tutorial-1st-experiment-sdk-setup
• R : https://docs.microsoft.com/ja-jp/azure/machine-learning/service/tutorial-1st-r-experiment