Remarque conda: Création d'un environnement Python avec Spacon ITO

C'est un mémorandum de conda. Dans le nœud de connexion (bash) de Spacon ITO, [Miniconda](https://docs.conda.io/ En / latest / miniconda.html) pour créer un environnement local. Nous avons confirmé l'opération avec le nœud de connexion du sous-système A de Spacon ITO et le frontal de base (virtuel), mais je pense qu'il est généralement applicable à l'environnement Linux (bash). Nous utiliserons également activement la distribution d'Intel pour Python. ** Addendum (2020.4.11): J'ai rencontré un problème avec Intel Distribution pour Python, j'ai donc arrêté de l'utiliser activement. ** **

Installez Miniconda

Installez Miniconda dans votre environnement local. Anaconda est très bien, mais comme il est énorme, des conflits de version sont susceptibles de se produire et il est assez difficile à gérer. Il est recommandé de créer et d'exploiter un environnement virtuel pour chaque travail avec Miniconda. Connectez-vous au nœud de connexion et accédez au répertoire approprié pour télécharger les fichiers (par exemple, ~ / Downloads /). Obtenez Miniconda avec wget et installez-le.

$ wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
$ bash Miniconda3-latest-Linux-x86_64.sh

Spécifiez le répertoire de destination de l'installation avec le chemin complet si nécessaire et répondez oui pour tous les autres. Si vous répondez oui à la dernière question, les paramètres seront ajoutés au fichier de paramètres d'environnement (~ / .bashrc). Une fois l'installation terminée, connectez-vous à nouveau ou dans votre répertoire de base, procédez comme suit:

$ source .bashrc

En faisant cela, vous pouvez utiliser l'environnement Python installé immédiatement à chaque fois que vous vous connectez. Tout d'abord, gardez conda à jour.

$ conda update conda

De temps en temps, gardez votre conda à jour.

Désinstaller Miniconda

La désinstallation de Miniconda est facile, donc si quelque chose ne va pas, Désinstaller Cependant, il est recommandé de le réinstaller. Effacez tous les répertoires où Miniconda est installé. S'il est installé dans le répertoire miniconda3 sous le répertoire local sous votre répertoire personnel, procédez comme suit:

$ rm -rf ~/local/miniconda3

En outre, supprimez les fichiers et répertoires cachés associés (uniquement ceux qui existent) créés dans le répertoire de base comme suit.

$ rm -rf ~/.condarc ~/.conda

Enfin, supprimez la partie suivante du fichier .bashrc qui existe dans votre répertoire personnel. C'est la partie qui sera ajoutée au .bashrc si vous répondez oui à la dernière question lors de l'installation de Miniconda.

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/usr1/m00000a/local/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/home/usr1/m00000a/local/miniconda3/etc/profile.d/conda.sh" ]; then
        . "/home/usr1/m00000a/local/miniconda3/etc/profile.d/conda.sh"
    else
        export PATH="/home/usr1/m00000a/local/miniconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

À propos du référentiel de packages (channel)

Le référentiel de packages (emplacement de stockage) est appelé channel. Diverses institutions (individus) proposent des forfaits. Vous pouvez le vérifier sur Anaconda Cloud (service de gestion de packages par Anaconda). Par exemple, pour TensorFlow, il existe de nombreux canaux comme indiqué sur cette page (https://anaconda.org/search?q=tensorflow). Il existe des canaux typiques, et il est normal d'installer des packages à partir de ces canaux typiques. Cependant, lorsqu'il s'agit de packages spécialisés, il peut être nécessaire de l'installer en spécifiant le canal. Le canal dans le référentiel officiel est "defaults". De plus, le référentiel communautaire conda-forge gère plus de paquets que le canal officiel et est souvent utilisé.

fonctionnement du canal

Nous présenterons comment obtenir une liste de chaînes, comment ajouter / supprimer des chaînes et comment modifier la priorité des chaînes.

Obtenir la liste des chaînes conda config --get channels

Vérifions la liste des chaînes actuelles. Immédiatement après l'installation de Miniconda, il existe un canal par défaut comme indiqué ci-dessous.

$ conda config --get channels
--add channels 'defaults'   # lowest priority

Tout d'abord, ajoutez le souvent utilisé conda-forge. Je pense que les états suivants constituent l'environnement standard. Puisque «conda-forge» est «la priorité la plus élevée» (en premier), le paquet de «conda-forge» est installé de préférence.

$ conda config --add channels conda-forge

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'   # highest priority

Dans ce qui suit, nous présenterons les opérations de canal élément par élément.

Ajouter un canal au début conda config --add channels channel_name

Ajoutez le canal ʻintel` fourni par Intel en haut (priorité la plus élevée).

$ conda config --add channels intel

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'
--add channels 'intel'   # highest priority

Supprimer le canal conda config --remove channels channel_name

Supprimez le canal Intel.

$ conda config --remove channels intel

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'   # highest priority

Ajouter un canal à la fin conda config --append channels channel_name

Ajoutez le canal Intel à la fin (priorité la plus basse).

$ conda config --append channels intel

$ conda config --get channels
--add channels 'intel'   # lowest priority
--add channels 'defaults'
--add channels 'conda-forge'    # highest priority

Changer le premier canal conda config --add channels channel_name

Définissez le canal Intel existant en haut (priorité la plus élevée). Pour le démarrer, utilisez --add. Pour le terminer, utilisez --append.

$ conda config --add channels intel
Warning: 'intel' already in 'channels' list, moving to the top

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'
--add channels 'intel'   # highest priority

Environnement virtuel

L'installation de packages dans l'environnement par défaut de Miniconda (base) entraîne souvent des échecs de dépendance pouvant conduire à la réinstallation de Miniconda. Par conséquent, c'est une règle de base de préparer un environnement virtuel (v_env en abrégé) pour chaque objectif.

Construire un environnement virtuel conda create -n v_env [python = version]

Créez un environnement virtuel my_env.

$ conda create -n my_env

Vous pouvez également spécifier la version Python. Ci-dessous, la version 3.6 est spécifiée.

$ conda create -n my_env python=3.6

Pour créer l'environnement virtuel my_intel_env à l'aide de la distribution Intel, les opérations spéciales suivantes sont requises.

$ conda create -n my_intel_env intelpython3_core python=3

Changer la partie intelpython3_core en intelpython3_full créera une distribution Intel complète. De plus, si vous changez python = 3 en python = 2, la version Python sera 2. Notez que Python 2 n'est généralement pas utilisé.

Vérification de l'environnement virtuel conda info -e

Vérifiez l'environnement virtuel disponible et l'environnement sélectionné. Le résultat de l'exécution est l'environnement de l'auteur dans Spacon ITO et m00000a est le nom du répertoire personnel de l'utilisateur (nom provisoire) de Spacon. Dans l'environnement où * est actuellement sélectionné, c'est base.

$ conda info -e
# conda environments:
#
base                  *  /home/usr1/m00000a/local/miniconda3
my_env                   /home/usr1/m00000a/local/miniconda3/envs/my_env
my_intel_env             /home/usr1/m00000a/local/miniconda3/envs/my_intel_env

Entrez dans l'environnement virtuel conda activate v_env

Activez (activez) l'environnement virtuel my_intel_env et vérifiez l'environnement virtuel.

$ conda activate my_intel_env

$ conda info -e
# conda environments:
#
base                     /home/usr1/m00000a/local/miniconda3
my_env                   /home/usr1/m00000a/local/miniconda3/envs/my_env
my_intel_env          *  /home/usr1/m00000a/local/miniconda3/envs/my_intel_env

Vous pouvez voir que * a déménagé et my_intel_env dans l'environnement virtuel a été activé.

Quitter l'environnement virtuel conda deactivate

Exécutez conda deactivate pour quitter l'environnement virtuel et revenir à la base. Si vous exécutez conda info -e, vous pouvez voir que * est retourné à la base.

$ conda deactivate

$ conda info -e
# conda environments:
#
base                  *  /home/usr1/m00000a/local/miniconda3
my_env                   /home/usr1/m00000a/local/miniconda3/envs/my_env
my_intel_env             /home/usr1/m00000a/local/miniconda3/envs/my_intel_env

Supprimer l'environnement virtuel conda remove -n v_env --all

Pour supprimer l'environnement virtuel my_env, procédez comme suit.

$ conda remove -n my_env --all

Gestion des packages

Gérons les packages dans l'environnement virtuel my_intel_env.

Préparation

Actuellement, c'est un environnement de base. Tout d'abord, mettez à jour conda.

$ conda update conda

Ensuite, activez l'environnement virtuel my_intel_env dans lequel vous souhaitez installer le package.

$ conda activate my_intel_env

Installation du package conda install package_list

Vous pouvez également installer plusieurs packages à la fois en organisant les noms de packages séparés par des espaces. Un exemple est présenté ci-dessous.

$ conda install jupyterlab matplotlib netCDF4 pandas xarray

Installer le package avec le canal conda install -c nom_canal liste_package

Si vous devenez plus spécialisé, vous devrez peut-être installer un package qui spécifie un canal. De plus, en spécifiant le canal, il devient clair à partir de quel canal installer le package, ce qui est recommandé. Pour installer tensorflow à partir du canal anaconda:

$ conda install -c anaconda tensorflow

Vous pouvez également spécifier un canal lors de la création d'un environnement virtuel. Voici un exemple de création d'un environnement virtuel tf en spécifiant un canal anaconda.

$ conda create -c anaconda -n tf

Vérification des packages installés conda list

Pour vérifier les packages installés dans l'environnement actuel, procédez comme suit.

$ conda list

Si vous donnez un nom d'environnement virtuel à -n, vous pouvez vérifier les packages installés dans cet environnement virtuel.

$ conda list -n my_env

Désinstaller le package conda uninstall package_list

Pour désinstaller le package xarray, procédez comme suit. Vous pouvez désinstaller plusieurs packages à la fois en les disposant séparés par des espaces.

$ conda uninstall xarray 

Ecriture des paramètres d'environnement virtuel conda env export -n v_env> file.yaml

Si vous écrivez les informations de l'environnement virtuel dans un fichier, vous pouvez facilement créer le même environnement sur d'autres machines. Exécuter avec la base. Écrivez l'environnement de l'environnement virtuel my_intel_env dans le fichier my_intel_env.yaml. Ce fichier yaml sera créé dans le répertoire courant. L'explication de yaml est Wikipedia ([version anglaise](https: //en.wikipedia. org / wiki / YAML))).

$ conda env export -n my_intel_env > my_intel_env.yaml

Cependant, cela ne semble pas fonctionner si vous venez de créer un environnement virtuel et qu'aucun package n'est installé.

Reconstruction de l'environnement virtuel conda env create -f file.yaml

Pour reconstruire l'environnement sur une autre machine en utilisant my_intel_env.yaml, procédez comme suit.

$ conda env create -f my_intel_env.yaml

Clonage d'environnement de fournisseur de Spacon

Spacon ITO a un environnement Intel Python installé par le fournisseur. Si vous l'utilisez tel quel, le travail d'installation ci-dessus n'est pas nécessaire, mais vous ne pouvez pas installer le package tel quel. Par conséquent, il est nécessaire de cloner l'environnement du fournisseur en tant qu'environnement virtuel local. Cette méthode dépend de l'environnement du fournisseur et n'est pas toujours bien entretenue, elle n'est donc pas recommandée. En fait, j'ai rencontré un bug où numpy ne pouvait pas être importé. Ce qui suit est un résumé pour référence. Ce sont les informations obtenues à partir de la consultation d'utilisation du Centre de recherche et de développement des infrastructures d'information de l'Université de Kyushu.

Cloner localement l'environnement conda du serveur

Définissez le nom de l'environnement virtuel sur intel2019up4 et créez-le comme suit. L'exécution prend du temps (environ 7 minutes). La cible qui peut être clonée dépend de l'état de maintenance du fournisseur.

$ source /home/app/intel/intel2019_up4/intelpython3/bin/activate
$ conda create -n intel2019up4 --clone="/home/app/intel/intel2019_up4/intelpython3"
$ source activate intel2019up4

Allons vérifier.

$ conda info -e
# conda environments:
#
intel2019up4          *  /home/usr1/m00000a/.conda/envs/intel2019up4
root                     /home/app/intel/intel2019_up4/intelpython3

Pour sortir de cet environnement, procédez comme suit.

$ source deactive intel2019up4