[PYTHON] Über localhost: Auf 4040 kann nicht zugegriffen werden, nachdem Spark mit Docker ausgeführt wurde

Nur die "Spark Web UI" von Spark (localhost: 4040) konnte aus irgendeinem Grund keine Verbindung herstellen, daher habe ich verschiedene Dinge untersucht, aber es gibt keine Lösung, und wenn Sie nicht daran gewöhnt sind, Menschen mit denselben Problemen Ich dachte es gäbe, also werde ich es zum ersten Mal posten. Aufgrund eines Fehlers, der während der Arbeit aufgetreten ist, haben wir keinen Code usw. veröffentlicht. Vielen Dank für Ihr Verständnis.

Umgebung

Bridge Python Container und Spark Container (Verbindungs-Woker) mit Docker Die Umgebungen "Pyspark" und "Java" sind in beiden Umgebungen installiert.

Referenz für den Umweltbau

Bis Sie einen Master und einen Worker of Spark mit Docker-Compose erziehen und pyspark ausführen https://qiita.com/hrkt/items/fe9b1162f7a08a07e812

Tor

Ich möchte in den Python Docker (Docker Exec ...) gehen, einen Spark-Submit durchführen und eine Verbindung zu localhost: 4040 herstellen, um die WebUI während der Verarbeitung zu überprüfen.

Über das Problem

Nach dem Booten stellt localhost: 8080 eine Verbindung her, 4040 kann jedoch aus irgendeinem Grund keine Verbindung herstellen

Lösung

1. Zugriff auf localhost: 4040 nur, wenn Spark verarbeitet wird
2. Ich habe Port 4040: 4040 in den Spark-Container von docker-compose.yml geschrieben, musste aber Port 4040: 4040 auf der Python-Seite schreiben, die Jobs verwaltet. (Dies ist diesmal der Fall)

Zusammenfassung

Ich konnte es durch das Lesen von StackOverFlow usw. überhaupt nicht verstehen, aber als ich meine Senioren fragte, wurde es auf einen Schlag gelöst. Ich möchte in der Infrastruktur stärker sein.

Bonus

Ich habe den Beispielcode in spark ausgeführt, aber als ich df.show () "Der erste Job hat keine Ressourcen akzeptiert. Überprüfen Sie die Benutzeroberfläche Ihres Clusters, um sicherzustellen, dass die Mitarbeiter registriert sind und über ausreichende Ressourcen verfügen." Ich habe die Speichereinstellungen geändert, weil ich nicht genügend Ressourcen hatte, aber ich konnte sie nicht lösen.

Ich habe den Beispielcode von hier ausgeliehen.

Behandeln Sie Argumente in PySpark-Skriptdateien https://blog.amedama.jp/entry/2018/03/17/113516

Referenzcode, auf den verwiesen wird

from pyspark import SparkConf
from pyspark import SparkContext
from pyspark.sql import SparkSession
def main():
    conf = SparkConf()
    conf.setAppName('example')
    sc = SparkContext(conf=conf)
    spark = SparkSession(sc)
    df = spark.sql('SELECT "Hello, World!" AS message')
    df.show()

Lösung

conf = SparkConf().setMaster('local')