conda Hinweis: Erstellen einer Python-Umgebung mit Spacon ITO

Es ist ein Memorandum of Conda. Im Anmeldeknoten (Bash) von Spacon ITO, [Miniconda](https://docs.conda.io/ En / latest / miniconda.html), um eine lokale Umgebung zu erstellen. Wir haben den Vorgang mit dem Anmeldeknoten des Subsystems A von Spacon ITO und dem grundlegenden Front-End (virtuell) bestätigt, aber ich denke, dass er allgemein auf die Linux-Umgebung (bash) anwendbar ist. Wir werden auch Intels Distribution für Python aktiv nutzen. ** Nachtrag (2020.4.11): Bei Intel Distribution for Python ist ein Problem aufgetreten, daher habe ich die aktive Verwendung eingestellt. ** ** **

Installieren Sie Miniconda

Installieren Sie Miniconda in Ihrer lokalen Umgebung. Anaconda ist in Ordnung, aber da es riesig ist, können Versionskonflikte leicht auftreten und es ist ziemlich schwierig, damit umzugehen. Es wird empfohlen, für jeden Job mit [Miniconda] eine virtuelle Umgebung zu erstellen und zu betreiben (https://docs.conda.io/en/latest/miniconda.html). Melden Sie sich beim Anmeldeknoten an und wechseln Sie in das entsprechende Verzeichnis zum Herunterladen von Dateien (z. B. ~ / Downloads /). Holen Sie sich Miniconda mit wget und installieren Sie es.

$ wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
$ bash Miniconda3-latest-Linux-x86_64.sh

Geben Sie bei Bedarf das Installationszielverzeichnis mit dem vollständigen Pfad an und antworten Sie für alle anderen mit Ja. Wenn Sie die letzte Frage mit Ja beantworten, werden die Einstellungen zur Umgebungseinstellungsdatei (~ / .bashrc) hinzugefügt. Melden Sie sich nach Abschluss der Installation erneut oder in Ihrem Home-Verzeichnis wie folgt an:

$ source .bashrc

Auf diese Weise können Sie die installierte Python-Umgebung bei jeder Anmeldung sofort verwenden. Halten Sie zunächst die Konda auf dem neuesten Stand.

$ conda update conda

Halten Sie Ihre Wohnung von Zeit zu Zeit auf dem neuesten Stand.

Miniconda deinstallieren

Die Deinstallation von Miniconda ist einfach. Wenn also etwas schief geht, Deinstallieren Es wird jedoch empfohlen, es erneut zu installieren. Löschen Sie alle Verzeichnisse, in denen Miniconda installiert ist. Wenn es im miniconda3-Verzeichnis unter dem lokalen Verzeichnis unter Ihrem Home-Verzeichnis installiert ist, gehen Sie wie folgt vor:

$ rm -rf ~/local/miniconda3

Löschen Sie außerdem die zugehörigen versteckten Dateien und Verzeichnisse (nur die vorhandenen), die im Ausgangsverzeichnis erstellt wurden, wie folgt.

$ rm -rf ~/.condarc ~/.conda

Löschen Sie abschließend den folgenden Teil der .bashrc-Datei, der in Ihrem Home-Verzeichnis vorhanden ist. Dies ist der Teil, der zur .bashrc hinzugefügt wird, wenn Sie die letzte Frage während der Installation von Miniconda mit Ja beantworten.

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/usr1/m00000a/local/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/home/usr1/m00000a/local/miniconda3/etc/profile.d/conda.sh" ]; then
        . "/home/usr1/m00000a/local/miniconda3/etc/profile.d/conda.sh"
    else
        export PATH="/home/usr1/m00000a/local/miniconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

Über das Paket-Repository (channel)

Das Paket-Repository (Speicherort) wird als Kanal bezeichnet. Verschiedene Institutionen (Einzelpersonen) bieten Pakete an. Sie können dies in der Anaconda Cloud (Paketverwaltungsdienst von Anaconda) überprüfen. Für TensorFlow gibt es beispielsweise viele Kanäle, wie auf dieser Seite gezeigt (https://anaconda.org/search?q=tensorflow). Es gibt typische Kanäle, und es ist normal, Pakete von diesen typischen Kanälen zu installieren. Bei speziellen Paketen kann es jedoch erforderlich sein, die Installation durch Angabe des Kanals durchzuführen. Der Kanal im offiziellen Repository ist "Standard". Außerdem verwaltet das Community-basierte Repository "conda-forge" mehr Pakete als der offizielle Kanal und wird häufig verwendet.

Betrieb des Kanals

Wir werden vorstellen, wie Sie eine Liste von Kanälen erhalten, wie Sie Kanäle hinzufügen / löschen und wie Sie die Priorität von Kanälen ändern.

Holen Sie sich die Kanalliste conda config --get channel

Lassen Sie uns die Liste der aktuellen Kanäle überprüfen. Unmittelbar nach der Installation von Miniconda gibt es einen Standardkanal, wie unten gezeigt.

$ conda config --get channels
--add channels 'defaults'   # lowest priority

Fügen Sie zuerst die häufig verwendete "Conda-Schmiede" hinzu. Ich denke, die folgenden Zustände sind die Standardumgebung. Da "conda-forge" (erste) "höchste Priorität" hat, wird das Paket von "conda-forge" bevorzugt installiert.

$ conda config --add channels conda-forge

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'   # highest priority

Im Folgenden werden wir die Kanaloperationen Punkt für Punkt vorstellen.

Kanal am Anfang hinzufügen conda config --add channel channel_name

Fügen Sie den von Intel bereitgestellten Intel-Kanal oben hinzu (höchste Priorität).

$ conda config --add channels intel

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'
--add channels 'intel'   # highest priority

Entfernen Sie den Kanal conda config - entfernen Sie die Kanäle channel_name

Löschen Sie den Intel-Kanal.

$ conda config --remove channels intel

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'   # highest priority

Kanal am Ende hinzufügen conda config - Kanäle anhängen channel_name

Fügen Sie den Intel-Kanal am Ende hinzu (niedrigste Priorität).

$ conda config --append channels intel

$ conda config --get channels
--add channels 'intel'   # lowest priority
--add channels 'defaults'
--add channels 'conda-forge'    # highest priority

Ändern Sie den ersten Kanal conda config --add channel channel_name

Stellen Sie den vorhandenen Intel-Kanal nach oben (höchste Priorität). Verwenden Sie zum Starten --add. Verwenden Sie zum Beenden --append.

$ conda config --add channels intel
Warning: 'intel' already in 'channels' list, moving to the top

$ conda config --get channels
--add channels 'defaults'   # lowest priority
--add channels 'conda-forge'
--add channels 'intel'   # highest priority

Virtuelle Umgebung

Das Installieren von Paketen in der Standardumgebung (Basis) von Miniconda führt häufig zu Abhängigkeitsfehlern, die zur Neuinstallation von Miniconda führen können. Daher ist es eine Faustregel, für jeden Zweck eine virtuelle Umgebung (kurz v_env) vorzubereiten.

Erstellen einer virtuellen Umgebung conda create -n v_env [python = version]

Erstellen Sie eine virtuelle Umgebung my_env.

$ conda create -n my_env

Sie können auch die Python-Version angeben. Unten ist Version 3.6 angegeben.

$ conda create -n my_env python=3.6

Um die virtuelle Umgebung my_intel_env mithilfe der Intel-Distribution zu erstellen, sind die folgenden speziellen Vorgänge erforderlich.

$ conda create -n my_intel_env intelpython3_core python=3

Durch Ändern des Teils intelpython3_core in intelpython3_full wird eine vollständige Intel-Distribution erstellt. Wenn Sie python = 3 in python = 2 ändern, ist die Python-Version 2. Beachten Sie, dass Python 2 normalerweise nicht verwendet wird.

Überprüfen der virtuellen Umgebung conda info -e

Überprüfen Sie die verfügbare virtuelle Umgebung und die ausgewählte Umgebung. Das Ausführungsergebnis ist die Umgebung des Autors in Spacon ITO, und m00000a ist der Name des Benutzer-Ausgangsverzeichnisses (vorläufiger Name) von Spacon. In der Umgebung, in der * aktuell ausgewählt ist, ist es Basis.

$ conda info -e
# conda environments:
#
base                  *  /home/usr1/m00000a/local/miniconda3
my_env                   /home/usr1/m00000a/local/miniconda3/envs/my_env
my_intel_env             /home/usr1/m00000a/local/miniconda3/envs/my_intel_env

Geben Sie die virtuelle Umgebung conda activ v_env ein

Aktivieren (aktivieren) Sie die virtuelle Umgebung my_intel_env und überprüfen Sie die virtuelle Umgebung.

$ conda activate my_intel_env

$ conda info -e
# conda environments:
#
base                     /home/usr1/m00000a/local/miniconda3
my_env                   /home/usr1/m00000a/local/miniconda3/envs/my_env
my_intel_env          *  /home/usr1/m00000a/local/miniconda3/envs/my_intel_env

Sie können sehen, dass * verschoben wurde und my_intel_env in der virtuellen Umgebung aktiviert wurde.

Verlassen der virtuellen Umgebung "conda disable"

Führen Sie "conda disable" aus, um die virtuelle Umgebung zu verlassen und zur Basis zurückzukehren. Wenn Sie conda info -e ausführen, können Sie sehen, dass * zur Basis zurückgekehrt ist.

$ conda deactivate

$ conda info -e
# conda environments:
#
base                  *  /home/usr1/m00000a/local/miniconda3
my_env                   /home/usr1/m00000a/local/miniconda3/envs/my_env
my_intel_env             /home/usr1/m00000a/local/miniconda3/envs/my_intel_env

Entfernen Sie die virtuelle Umgebung conda remove -n v_env --all

Gehen Sie wie folgt vor, um die virtuelle Umgebung my_env zu löschen.

$ conda remove -n my_env --all

Paketverwaltung

Lassen Sie uns Pakete in der virtuellen Umgebung my_intel_env verwalten.

Vorbereitung

Derzeit ist es eine Basisumgebung. Aktualisieren Sie zuerst conda.

$ conda update conda

Aktivieren Sie als Nächstes die virtuelle Umgebung my_intel_env, in der Sie das Paket installieren möchten.

$ conda activate my_intel_env

Paketinstallation conda install package_list

Sie können auch mehrere Pakete gleichzeitig installieren, indem Sie die Paketnamen durch Leerzeichen getrennt anordnen. Ein Beispiel ist unten gezeigt.

$ conda install jupyterlab matplotlib netCDF4 pandas xarray

Installieren Sie das Paket mit dem Kanal conda install -c Kanalname package_list

Wenn Sie spezialisierter werden, müssen Sie möglicherweise ein Paket installieren, das einen Kanal angibt. Durch Angabe des Kanals wird außerdem klar, von welchem Kanal das Paket installiert werden soll, was empfohlen wird. So installieren Sie Tensorflow vom Anaconda-Kanal:

$ conda install -c anaconda tensorflow

Sie können beim Erstellen einer virtuellen Umgebung auch einen Kanal angeben. Das folgende Beispiel zeigt das Erstellen einer virtuellen Umgebung durch Angabe eines Anaconda-Kanals.

$ conda create -c anaconda -n tf

Überprüfung der installierten Pakete conda list

Gehen Sie wie folgt vor, um die installierten Pakete in der aktuellen Umgebung zu überprüfen.

$ conda list

Wenn Sie -n einen Namen für eine virtuelle Umgebung geben, können Sie die installierten Pakete in dieser virtuellen Umgebung überprüfen.

$ conda list -n my_env

Deinstallieren Sie das Paket conda uninstall package_list

Gehen Sie wie folgt vor, um das Paket xarray zu deinstallieren. Sie können mehrere Pakete gleichzeitig deinstallieren, indem Sie sie durch Leerzeichen getrennt anordnen.

$ conda uninstall xarray 

Schreiben der Einstellungen für die virtuelle Umgebung conda env export -n v_env> file.yaml

Wenn Sie die Informationen der virtuellen Umgebung in eine Datei schreiben, können Sie dieselbe Umgebung problemlos auf anderen Computern erstellen. Mit Basis ausführen. Schreiben Sie die Umgebung der virtuellen Umgebung my_intel_env in die Datei my_intel_env.yaml. Diese Yaml-Datei wird im aktuellen Verzeichnis erstellt. Die Erklärung von yaml lautet Wikipedia ([englische Version](https: //en.wikipedia). org / wiki / YAML))).

$ conda env export -n my_intel_env > my_intel_env.yaml

Es scheint jedoch nicht zu funktionieren, wenn Sie gerade eine virtuelle Umgebung erstellt haben und keine Pakete installiert sind.

Neuerstellung der virtuellen Umgebung conda env create -f file.yaml

Gehen Sie wie folgt vor, um die Umgebung auf einem anderen Computer mit "my_intel_env.yaml" neu zu erstellen.

$ conda env create -f my_intel_env.yaml

Klonen der Spacon-Anbieterumgebung

Spacon ITO verfügt über eine vom Hersteller installierte Intel Python-Umgebung. Wenn Sie dies so verwenden, wie es ist, sind die oben genannten Installationsarbeiten nicht erforderlich, aber Sie können das Paket nicht so installieren, wie es ist. Daher ist es erforderlich, die Herstellerumgebung als lokale virtuelle Umgebung zu klonen. Diese Methode hängt von der Herstellerumgebung ab und wird nicht immer gut gewartet. Daher wird sie nicht empfohlen. Tatsächlich stieß ich auf einen Fehler, bei dem Numpy nicht importiert werden konnte. Das Folgende ist eine Zusammenfassung als Referenz. Dies sind die Informationen, die aus der Nutzungsberatung des Forschungs- und Entwicklungszentrums für Informationsinfrastruktur der Kyushu-Universität stammen.

Klonen Sie die Conda-Umgebung des Servers lokal

Setzen Sie den Namen der virtuellen Umgebung auf intel2019up4 und erstellen Sie ihn wie folgt. Die Ausführung dauert einige Zeit (ca. 7 Minuten). Das Ziel, das geklont werden kann, hängt vom Wartungsstatus des Anbieters ab.

$ source /home/app/intel/intel2019_up4/intelpython3/bin/activate
$ conda create -n intel2019up4 --clone="/home/app/intel/intel2019_up4/intelpython3"
$ source activate intel2019up4

Lass uns nachsehen.

$ conda info -e
# conda environments:
#
intel2019up4          *  /home/usr1/m00000a/.conda/envs/intel2019up4
root                     /home/app/intel/intel2019_up4/intelpython3

Gehen Sie wie folgt vor, um diese Umgebung zu verlassen.

$ source deactive intel2019up4