Führen Sie Spark auf dem iPython Notebook (Jupyter) aus. Ich habe in der Vergangenheit viele Beiträge zum gleichen Thema gepostet, aber ich denke, dies ist die einfachste Methode.
Einfach zu installierende Homebrew Apache-Spark. Homebrew-Installation entfällt
brew install apache-spark
Python erstellt mit virtualenv eine dedizierte Umgebung. Ich habe es Funke genannt.
mkvirtualenv spark
Installieren Sie die erforderlichen Module. numpy ist gleichzeitig enthalten, wenn pandas installiert ist. Fügen Sie scipy nach Bedarf hinzu.
pip install jupyter pandas matplotlib
Führen Sie pyspark mit PYSPARK_DRIVER_PYTHON
und PYSPARK_DRIVER_PYTHON_OPTS
aus.
PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=notebook pyspark --master local[*]
Ausführungsbeispiel