[PYTHON] [Introduction à Azure pour les utilisateurs de kaggle] Comparaison du démarrage et de l'utilisation de la machine virtuelle Azure Notebooks et Azure Notebooks

le but

Pour ceux qui ressentent les limites de leurs ressources informatiques mais ne savent pas comment utiliser les ressources cloud, voici un résumé de l'utilisation de la machine virtuelle Azure Notebooks et Azure Notebooks. Pour plus de détails, je présenterai le didacticiel officiel Azure, mais j'aimerais savoir quoi et combien peut être utilisé comme ressource informatique.

Personne cible

• Les utilisateurs compétitifs tels que kaggle qui souhaitent utiliser l'environnement tels que l'utilisation du GPU et l'augmentation de la mémoire dans le cloud
• Ceux qui estiment que l'environnement de calcul actuel est insuffisant pour les entreprises, etc.

Conditions préalables

• Comptes de messagerie tels que hotmail.com et ʻoutlook.com` (pour un usage privé)
• Abonnement Azure (une version gratuite est également disponible)
• Création d'un espace de travail Azure ML (vous pouvez le créer selon le manuel lié)

Comment utiliser

1. Azure Notebooks Free compute
2. Azure Notebooks VM
3. Utilisation combinée des deux

1. Utilisez le calcul gratuit Azure Notebooks

spécification

• Montant d'utilisation: gratuit
• Spécifications de la machine: CPU 1 core, 4 Go de RAM, 7 Go de stockage
• Langue: R, Python

Avantages

• Vous pouvez utiliser l'environnement Jupyternote avec les packages liés à Azure (tensorflow, Keras, Pytorch, bien sûr) installés gratuitement.
• Démarre rapidement et peut être démarré immédiatement

Désavantages

• Environnement avec des spécifications inférieures à celles du PC moyen de nos jours
• Parfois, si vous bloquez ou appuyez sur Exécuter à plusieurs reprises, vous serez banni du système pendant plusieurs heures pour des raisons de sécurité, il semble donc préférable de télécharger le fichier localement ou de modifier le code localement.
• Les utilisateurs de R travaillent également dans l'environnement Jupyter et ne sont pas disponibles dans le R-Studio familier

Comment commencer

• Connectez-vous sur Lien officiel
• Lorsque vous vous connectez pour la première fois, il vous sera demandé si vous souhaitez copier le fichier .ipynb du didacticiel AzureML depuis Github et démarrer le projet (le didacticiel est Python Ver uniquement).
• Il existe une unité inconnue appelée Project, mais il n'y a pas de problème au début à la considérer comme un simple répertoire.
• Bouton + → Notebook → Sélectionnez [R] ou [Python] pour démarrer

2. Utiliser la machine virtuelle Azure Notebooks

spécification

• Montant d'utilisation: https://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/windows/
• Spécifications de la machine: sélectionnez librement à partir du lien ci-dessus
• Langue: R, Python

Avantages

• L'environnement Jupyternote avec les packages liés à Azure (bien sûr tensorflow, Keras, Pytorch) installés est disponible
• Vous pouvez choisir librement des spécifications telles que l'utilisation du GPU et la RAM de grande capacité
• Les utilisateurs R peuvent également choisir l'environnement R-Studio

Désavantages

• Parfois, si vous bloquez ou appuyez sur Exécuter à plusieurs reprises, vous serez banni du système pendant plusieurs heures pour des raisons de sécurité, il semble donc préférable de télécharger le fichier localement ou de modifier le code localement.

Comment commencer

• Connectez-vous à Azure Portal et accédez à l'écran de l'espace de travail créé avec les prérequis → Sélectionnez [Calculer] dans la barre d'outils de gauche → [Notebook VMs ] Créez en sélectionnant le nom et les spécifications dans Nouveau

• La création prend environ 10 minutes
• Statut: lors de l'exécution, sélectionnez JupyterLab, Jupyter, R-Studio à partir de l'URL d'application adjacente et exécutez

3. Utilisation combinée de Free Compute et de VM

spécification

• Montant d'utilisation: https://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/windows/
• Spécifications de la machine: sélectionnez librement à partir du lien ci-dessus
• Langue: R, Python

Avantages

• Le prétraitement des données est un calcul gratuit, et l'apprentissage en profondeur, etc. peut être réduit en utilisant la machine virtuelle qui ne nécessite que la partie qui nécessite des spécifications, comme l'utilisation de l'environnement GPU.
• Azure AutoML est disponible, vous pouvez donc sélectionner automatiquement le meilleur modèle pour modéliser diverses méthodes et ensembles (moyenne, empilement).

Désavantages

• Parfois, si vous bloquez ou appuyez sur Exécuter à plusieurs reprises, vous serez banni du système pendant plusieurs heures pour des raisons de sécurité, il semble donc préférable de télécharger le fichier localement ou de modifier le code localement.
• Il y a un codage dédié, et il est difficile de s'en souvenir
• Le prétraitement n'est souvent pas très coûteux en termes de temps, donc je pense qu'il suffit de le faire avec VM du début à la fin.

Comment commencer

• Python : https://docs.microsoft.com/ja-jp/azure/machine-learning/service/tutorial-1st-experiment-sdk-setup
• R : https://docs.microsoft.com/ja-jp/azure/machine-learning/service/tutorial-1st-r-experiment