[PYTHON] So führen Sie Jupyter und Spark auf einem Mac mit minimalen Einstellungen aus

Führen Sie Spark auf dem iPython Notebook (Jupyter) aus. Ich habe in der Vergangenheit viele Beiträge zum gleichen Thema gepostet, aber ich denke, dies ist die einfachste Methode.

Umgebung

Spark-Installation

Einfach zu installierende Homebrew Apache-Spark. Homebrew-Installation entfällt

brew install apache-spark

Python-Installation

Python erstellt mit virtualenv eine dedizierte Umgebung. Ich habe es Funke genannt.

mkvirtualenv spark

Installieren Sie die erforderlichen Module. numpy ist gleichzeitig enthalten, wenn pandas installiert ist. Fügen Sie scipy nach Bedarf hinzu.

pip install jupyter pandas matplotlib

Lauf

Führen Sie pyspark mit PYSPARK_DRIVER_PYTHON und PYSPARK_DRIVER_PYTHON_OPTS aus.

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=notebook pyspark  --master local[*]

Ausführungsbeispiel

Screen Shot 2016-11-26 at 10.30.34 PM.png

Recommended Posts

So führen Sie Jupyter und Spark auf einem Mac mit minimalen Einstellungen aus
So installieren Sie Fast.ai auf einer Alibaba Cloud-GPU und führen es auf einem Jupyter-Notebook aus
So installieren Sie Theano unter Mac OS X mit Homebrew
So installieren Sie mysql-connector-python auf einem Mac
So installieren Sie OpenCV auf einem Mac
Wie man Matplotlib auf Heroku ausführt
So installieren Sie OpenCV in Cloud9 und führen es in Python aus
So installieren Sie Pandas auf EC2 (Umgang mit MemoryError und PermissionError)
Installieren Sie Anaconda auf Ihrem Mac und laden Sie Ihr Jupyter (IPython) -Notebook in die Anaconda Cloud hoch
So erstellen Sie eine Python- und Jupyter-Ausführungsumgebung mit VSCode
So installieren Sie drobertadams / toggl-cli auf einem Mac
So löschen Sie Python 2.x auf einem Mac.
Verwendung des Jupyter-Notebooks mit ABCI
Hinweise zum Ausführen von Cython unter OSX
Geben Sie den Browser an, der mit Jupyter Notebook verwendet werden soll. Besonders Mac. (Und Vivaldi)
So debuggen Sie mit Jupyter oder iPython Notebook
Strategie zur Monetarisierung mit Python Java
So machen Sie mehrere Kernel auf Jupyter auswählbar
Vorbereiten der Ausführung von ImageMagick + im4java unter Mac OS
So führen Sie MeCab unter Ubuntu 18.04 LTS Python aus
So installieren Sie OpenGM unter OSX mit Macports
So wechseln Sie zwischen Linux- und Mac-Shells
Schritte zum Ausführen von TensorFlow 2.1 von Jupyter auf dem Spacon ITO-Frontend (mit GPU)
So starten Sie das Python-Projekt im Jahr 2020 (Windows WSL und Mac Common)
So führen Sie eine Django-Anwendung auf einem Docker-Container aus (Entwicklungs- und Produktionsumgebung)
Übergeben von Argumenten oder Umgebungsvariablen mit Makefile und Befehl make unter #Linux
Installieren Sie Selenium auf Ihrem Mac und probieren Sie es mit Python aus
Einstellungen, wenn Sie Python-Mecab mit Travis ausführen möchten
Streaming von Python und SensorTag, Kafka, Spark Streaming-Teil 5: Verbindung von Jupyter zu Spark mit Apache Toree
So führen Sie Tests zusammen mit Python unittest aus
So installieren Sie Git GUI und Gitk unter CentOS
So installieren Sie caffe unter OS X mit Macports
Freigeben von Ordnern für Docker und Windows mit Tensorflow
So extrahieren Sie Nullwerte und Nicht-Nullwerte mit Pandas
So führen Sie Self Bot mit Discord.py aus [Einfacher Vandalismus! ]]
So schleifen und spielen Sie ein GIF-Video mit openCV ab
Ich möchte Lambda mit Python auf Mac AWS!
Autoencoder im Chainer (Hinweise zur Verwendung von + Trainer)
Führen Sie OpenMVG auf einem Mac aus
Schritte zum schnellen Erstellen einer umfassenden Lernumgebung auf einem Mac mit TensorFlow und OpenCV
So führen Sie Django unter IIS auf einem Windows-Server aus
So zeigen Sie den Fortschrittsbalken auf dem Jupyter-Notizbuch an, um den Fortschritt anzuzeigen
[How to!] Lerne und spiele Super Mario mit Tensorflow !!
Hinweise zum Betrieb von Firefox mit Selen unter Windows
Erstellen einer virtuellen Anaconda-Umgebung für die Verwendung mit Azure Machine Learning und Verknüpfen mit Jupyter
[Cyberduck] So tauschen Sie Dateien unter Linux (CentOS7) aus, die von VirtualBox mit Mac über die GUI gestartet wurden
Detaillierte Erklärung So führen Sie den Beispielcode von UNIX Programming 3rd Edition auf einem Mac aus
[Razpai] So überwachen Sie das Verzeichnis kontinuierlich und führen eine Shell mit Hooks auf Änderungen aus
Word Count mit Apache Spark und Python (Mac OS X)
So installieren Sie Python2.7 python3.5 mit pyenv (unter RHEL5 CentOS5) (2016 Nov)
Memo, um den Wert auf der HTML-Javascript-Seite mit Jupiter zu erhalten
So führen Sie ein geschultes Transformatormodell lokal auf CloudTPU aus
[TensorFlow 2 / Keras] Ausführen des Lernens mit CTC Loss in Keras
So teilen Sie die Vim-Zwischenablage mit dem Betriebssystem unter Ubuntu 18.04.3 LTS
Erstellen einer Python-Umgebung auf einem Mac bis zur Verwendung von Jupyter Lab
Verliere nicht gegen Ruby! Wie man Python (Django) auf Heroku ausführt
[Python] Wie man mit Klassenvariablen mit Dekorator und Metaklasse spielt
[Ev3dev] So zeigen Sie ein BMP-Bild mit Python auf dem LCD an
So führen Sie eine mit Python + py2app erstellte App aus, die mit Anaconda erstellt wurde
Stellen Sie mit ssh-Verbindung vom Mac aus eine Verbindung zu centos6 auf der Virtualbox her