Python-Pakete und -Module

ChangeLog

--2020-04-18: Das Verhalten im Modul __main__ wurde korrigiert.

Überblick

Werfen wir einen kurzen Blick auf Python-Pakete und -Module, die viele Leute zu verstehen und zu verwenden scheinen. Es ist nicht sehr gut organisiert, also werde ich es eines Tages umschreiben.

Motivation

Ich habe Python-Code für maschinelles Lernen, der von jemand anderem geschrieben wurde. Es gibt eine Datei, die Sie am Speicherort ". / A / b / c.py" aus dem aktuellen Verzeichnis ausführen möchten. Diese Datei ist in einem gemeinsamen Format geschrieben, das je nach Wert von __name__ auf zwei Arten funktioniert. Im Inneren wird . / A / b / d.py von import d ** absolut importiert **.

Unter der Annahme, dass "PYTHONPATH" als Standard beibehalten wird, funktioniert dies korrekt, wenn es auf "Python. / A / b / c.py" eingestellt ist oder wenn "abc" aus einer anderen Python-Datei importiert wird. Wird sich verändern. Wenn das letztere nicht funktioniert, wenn das erstere funktioniert, und das letztere funktioniert, wenn Sie "c.py" zum relativen Import umschreiben, funktioniert das erstere nicht. Was zum Teufel ist los, ist die Motivation, diesmal zu lernen.

Lassen Sie mich die letztere Situation etwas näher erläutern. Sie führen pytest ./test/<test file> .py oder python -m pytest ./test/ <testdatei> .py zum Testen von Einheiten aus. Der Punkt ist, dass sich die Testdatei nicht im aktuellen Verzeichnis befindet.

Verweise

Ich habe die Version 3.8.2 von beiden durchsucht.

• Python-Tutorial, 6. Module: https://docs.python.org/ja/3/tutorial/modules.html
• Python-Sprachreferenz, 1. Befehlszeile und Umgebung: https://docs.python.org/ja/3/using/cmdline.html
• Python-Sprachreferenz, 5. System importieren: https://docs.python.org/ja/3/reference/import.html

Modul = Datei

Beachten Sie, dass das Lernprogramm die Datei der obersten Ebene liest, dh die Datei, die von Python als ** Skript ** gestartet wurde.

Importeur

Das einfachste

--import Anweisung import m importiert ** Modul ** m

• Das Modul m ist eine ** Python-Datei ** namens m.py. --Dies ermöglicht Ihnen den Zugriff auf die ** Namen ** (Variablennamen, Funktionsnamen, Klassennamen usw.), die in m.py mit m.n definiert sind.

Ich verstehe.

• Tatsächlich ist es häufig erforderlich, den Paketpfad zusätzlich zum Modulnamen (später beschrieben) anzugeben.
• Eigentlich können Sie auch Pakete importieren (später beschrieben)

Importierte Seite

• Sie können mit __name__ auf Ihren eigenen Modulnamen verweisen. In dem durch die obige Methode importierten "m" wird "name" zu "m"
• Wenn Sie sich jedoch auf der obersten Ebene befinden, dh wenn Ihr Modul eine Datei ist, die durch das Argument des Befehls "Python" angegeben wird, wird "name" zu "__ main__". Stellen Sie sich die Umgebung der obersten Ebene als "main" -Modul vor.
• Module können andere Module importieren

Modul-Suchpfad (sys.path)

Im obigen Beispiel befindet sich das zu importierende Modul "m", dh die Datei "m.py", am Anfang der Liste der Verzeichnisse, die auf "sys.path" gesetzt sind (der Wert der Variablen "path" des Moduls "sys"). Es wird in der Reihenfolge von gesucht. Standardmäßig sind sie in der folgenden Reihenfolge angeordnet:

1. Verzeichnis mit ** Skript **, aktuelles Verzeichnis, falls nicht angegeben (z. B. wenn eine interaktive Sitzung von python ausgeführt wurde)
2. Der Wert der Umgebungsvariablen "PYTHONPATH"
3. Standard für jede Installation (wahrscheinlich das Verzeichnis, in dem die Bibliothek von pip installiert wird)

Hier ist der erste der Songwriter. ** Das Verzeichnis mit der ausgeführten Datei wird anstelle des aktuellen Verzeichnisses durchsucht. ** **. Beide sind nur dann gleich, wenn Sie die Datei im aktuellen Verzeichnis ausführen.

Lösen des Beispiels in "Motivation" (1)

Jetzt ist der Grund für das Problem, das ich in "Motivation" geschrieben habe, fast klar. Wenn Sie "Python. / A / b / c.py" mit der vorherigen Methode ausführen, setzt die erste Regel ". / A / b" an den Anfang von "sys.path". Dann wird zuerst "import d" nach diesem Verzeichnis durchsucht, und der Import ist erfolgreich, weil es tatsächlich ". / A / b / d.py" hat.

Wenn andererseits pytest ausgeführt wird, beginnt "sys.path" mit ". / Test", so dass "import abc" nicht an erster Stelle besteht, und selbst wenn dies durch Setzen von "PYTHONPATH" usw. vermieden wird, "c Import d in .py` vergeht dieses Mal nicht.

Wenn Sie "import d" auf "from .import d" setzen (oder?) Und ** relativer Import **, wird das vorherige Muster sicherlich nicht bestanden [Bestätigung erforderlich].

sys.path Anti-Pattern

Wenn die Verzeichnisstruktur des Moduls kompliziert ist oder Sie versuchen, einen dynamischen Import zu realisieren,

• Versuchen Sie etwas zu tun, indem Sie sys.path in Ihrem Python-Programm dynamisch umschreiben

Es wird gesagt, dass ** ein schlechter Schachzug ist ** [Quelle]. Es scheint richtig, "importlib" vollständig zu nutzen.

Paket = Verzeichnis

Ein ** Paket ** ist eine Sammlung der oben genannten Module in einem Verzeichnis. Der Verzeichnisname wird zum Paketnamen. Verzeichnisse können eine hierarchische Struktur haben, die dem Paketpfad entspricht (punktgetrennte Folge von Paketnamen).

Importeur

-- import a.b.c importiert das Modul c in das Paket a.b. Importieren Sie also "a / b / c.py" in das Suchzielverzeichnis des Moduls.

• Das Verzeichnis p muss die Datei ** p / __ init __. Py ** enthalten, um als Paket p erkannt zu werden.

Von hier aus scheinen viele Leute es nur irgendwie zu verstehen. Ich bin auch so

• ** Sie können das Paket selbst importieren **. Das heißt, Sie können "a.b importieren"
• Wenn das Paket selbst, zum Beispiel "p", importiert wird, wird das Ergebnis der Ausführung von "p / __ init __. Py" als Modul in den "p" -Namensraum verschoben.
• Beim Importieren des Pakets "a.b" wird zuerst "a" und dann "a.b" importiert. Das heißt, "a / __ init __. Py" wird ausgeführt, und dann wird "a / b / __ init __. Py" ausgeführt.
• Beim Importieren des Moduls "a.b.c" wird "a / b / c.py" ausgeführt, nachdem die Datei wie oben ausgeführt wurde.

Importierte Seite

Wenn das Paket "p" importiert wird, kann sich die Variable "path" auf die Zeichenfolge beziehen, die das Verzeichnis von "p" in "p / __ init __. Py" darstellt.

from ... import ... Anweisung

• Wenn Sie "import a.b.c" mit einer einfachen import-Anweisung ausführen, müssen Sie "a.b.c.n" verwenden, um auf den Namen "n" des Moduls "c" zu verweisen.
• Sie können jedoch mit c.n darauf verweisen, indem Sie from a.b import c einstellen.
• "vom Import" kann sein --Name n. Wenn Sie from a.b.c import n ausführen, können Sie danach nur mit n darauf verweisen.
• Modul c. Wie ich vorher erklärt habe --Paket b. Mit from a import b. Danach kann das Paket "b" nur noch mit "b" anstelle von "a.b" referenziert werden.

Wenn Sie das Paket "b" wie oben importieren, wird "b / __ init __. Py" ausgeführt. Diese Datei ist standardmäßig leer, und wenn sie leer ist, führt der Interpreter nichts aus. Wenn Sie also ** b importieren, können Sie nicht auf a.b.c zugreifen. ** **.

Relativer Import aus importiertem Modul

Beim Importieren anderer Module wird normalerweise der oben genannte absolute Import verwendet. Die Suche nach Modulen erfolgt nach sys.path. Sie können die obige Anweisung "from import" verwenden, um einen ** relativen Import ** durchzuführen.

Innerhalb des importierten Moduls (dh der .py-Datei)

• from . import m
• from .. import m
• from ..p import q

Sie können Pakete, Module, Namen usw. relativ zueinander importieren. Zu diesem Zeitpunkt werden . und .. basierend auf dem ** Paketpfad ** aufgelöst, in dem das aktuelle Modul vorhanden ist. Das heißt, wenn das aktuelle Modul "a.b.m" ist, dh das Paket, zu dem es gehört, ist "a.b", dann ist "." "A.b" und ".." ist "a".

Beachten Sie, dass das Modul __main__ keinen Paketpfad hat. Eine wichtige Folge davon ist, dass relative Importe von Modulen, die als ** __main__ ausgeführt werden, nicht möglich sind. ** **.

Außerdem halte ich es für in Ordnung, so etwas wie "import ..p.q.m" zu tun, aber es scheint, dass dies nicht möglich ist

Lösen des Beispiels in "Motivation" (2)

Dies löst die zweite Frage. Wenn Sie a / b / c.py in einen relativen Import wie aus .import d umschreiben, funktioniert es einwandfrei, wenn c mit import abc importiert wird, aber python a / Bei Ausführung als b / c.py verhält sich c.py wie Modul __main__ und der relative Import ist nicht verfügbar. Infolgedessen war ich von dem Verhalten enttäuscht.

Infolgedessen müssen Module, die aus Code importiert wurden, den Sie sowohl als Skripte als auch als Module verwenden möchten, wie z. B. "a / b / c.py" im Beispiel, "pip install" sein. Auf diese Weise können Sie immer den absoluten Import verwenden, sodass Sie beide Methoden verwenden können.

Ungelöste Probleme

Es wurde auch bestätigt, dass das Importverhalten je nach Start des Pytests unterschiedlich ist. Ich habe versucht, eine print-Anweisung in das Testskript einzufügen (-s ist eine Option, um zu verhindern, dass pytest die Standardausgabe erfasst).

--pytest -s test / <test file.py> startet sys.path mit dem Verzeichnis test, gefolgt von den Systemstandards --Aber wenn Sie "python -m pytest -s test / " ausführen, wird die leere Zeichenfolge "" "nach dem Verzeichnis" test "hinzugefügt. Vielleicht bedeutet dies das aktuelle Verzeichnis.

Einige der Gründe dafür sind ebenfalls bekannt. Wenn Sie beim Starten des Python-Interpreters ein Modul mit -m angeben, wird das aktuelle Verzeichnis am Anfang von sys.path hinzugefügt. In diesem Fall kann es der Pytest sein, nicht der Interpreter, der sys.path`` test hinzufügt. Denn in diesem Fall ist -s test / <test file.py> nur ein Argument, nicht der Name des auszuführenden Skripts [Prüfung]. Wenn Sie den Befehl mit pip installieren, überprüfen Sie außerdem die Einstellungen wie "sys.path", wenn Sie den Befehl starten.

schließlich

Fehler sind willkommen.