Führen Sie einfach den folgenden Befehl aus:
PYSPARK_PYTHON=/Users/username/.pyenv/shims/python PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ~/somewhere/spark-1.5.2/bin/pyspark --master local[4]
--jupyter notebook und Apache Spark sind installiert
Starten Sie es einfach wie unter https://spark.apache.org/docs/latest/programming-guide.html#using-the-shell beschrieben.
Stellen Sie einfach die Umgebungsvariablen für "$ {PYSPARK_DRIVER_PYTHON}" und "$ {PYSPARK_DRIVER_PYTHON_OPTS}" richtig ein und starten Sie "pyspark".
Fügen Sie diesmal die Option --master local [4] hinzu, um sie auf dem jeweiligen Knoten zu testen.
--Um zu bestätigen, dass Master und Worker dieselbe Python-Version verwenden, habe ich den Python-Pfad in $ {PYSPARK_PYTHON} angegeben.
Sie können den Pfad zu "Python" in Ihrer Umgebung finden, indem Sie nach "welcher Python" suchen.
Die obigen Befehle sind unten zusammengefasst.
PYSPARK_PYTHON=/Users/username/.pyenv/shims/python PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ~/somewhere/spark-1.5.2/bin/pyspark --master local[4]
Recommended Posts