[PYTHON] Comment exécuter Jupyter et Spark sur Mac avec des paramètres minimaux
Exécutez Spark sur iPython Notebook (Jupyter). J'ai publié de nombreux articles sur le même thème dans le passé, mais je pense que c'est la méthode la plus simple.
environnement
- macOS Sierra
- Apache-Spark 2.0.1 (installé avec homebrew)
- Python 2.7.10 (virtualenv)
Installation d'étincelles
Facile à installer Homebrew apache-spark. Installation Homebrew omise
brew install apache-spark
Installation de Python
Python crée un environnement dédié avec virtualenv. Je l'ai nommé étincelle.
mkvirtualenv spark
Installez les modules requis. numpy est inclus en même temps que pandas est installé. Ajoutez scipy au besoin.
pip install jupyter pandas matplotlib
Courir
Exécutez pyspark avec PYSPARK_DRIVER_PYTHON et PYSPARK_DRIVER_PYTHON_OPTS.
PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=notebook pyspark --master local[*]
Exemple d'exécution
Recommended Posts