[PYTHON] PySpark 1.5.2 + Elasticsearch 2.1.0 Installationsverfahren und Ausführung

Einführung

• Ich möchte Elasticsearch von pyspark berühren

Umgebung

• Elasticsearch 2.1.0
• Spark 1.5.2

Spark-Installation

Auslassen. Spark 1.6 wurde heute veröffentlicht, aber mit 1.5.2.

Elasticsearch + Hadoop herunterladen

• Ab dem 6. Januar 2016 erfordert Elasticsearch 2.1.0 elasticsearch-hadoop-2.2.0-beta1.

Einfach von der offiziellen Seite herunterladen und auspacken

$ wget http://download.elastic.co/hadoop/elasticsearch-hadoop-2.2.0-beta1.zip
$ unzip elasticsearch-hadoop-2.2.0-beta1.zip

Starten Sie pyspark + elastische Suche

/usr/local/share/spark/bin/pyspark --master local[4] --driver-class-path=elasticsearch-hadoop-2.2.0-beta1/dist/elasticsearch-spark_2.11-2.2.0-beta1.jar

RDD-Generierung

>>> conf = {"es.nodes" : "XXX.XXX.XXX.XXX:[port]", "es.resource" : "[index name]/[type]"}
>>> rdd = sc.newAPIHadoopRDD("org.elasticsearch.hadoop.mr.EsInputFormat","org.apache.hadoop.io.NullWritable", "org.elasticsearch.hadoop.mr.LinkedMapWritable", conf=conf)

Grundbetrieb

>>> rdd.first()
>>> rdd.count()
>>> rdd.filter(lambda s: 'aaa' in s).count()

Map / Reduce

#Zählen Sie, wie viele Datensätze namentlich vorhanden sind
counts = rdd.map(lambda item: item[1]["name"])
counts = counts.map(lambda ip: (ip, 1))
counts = counts.reduceByKey(lambda a, b: a+b)

#Lauf
>>> counts.collect()

In ES speichern

rdd.saveToEs('test/docs')

Ich war süchtig nach

• Achten Sie auf die Netzwerkeinstellungen auf der Elasticsearch-Seite. Wenn `` `network.publish_host``` falsch ist, wurde die Verbindung abgelehnt und ein Fehler ist aufgetreten.
• Fernzugriff auf Spark und Elasticsearch war hilfreich.

<snip>
File "/usr/local/share/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py", line 300, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.newAPIHadoopRDD.
: org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: [GET] on [_nodes/http] failed; server[hostname/XXX.XXX.XXX.XXX:Ports] returned [400|Bad Request:]
<snip>

Referenz

Spark

• Unterhaltsame Visualisierung: Begegnung zwischen Elasticsearch und Spark Streaming

• Elasticsearch in Apache Spark with Python—Machine Learning Series, Part 2

Elasticsearch

• Apache Spark support
• Remote access about Spark and Elasticsearch --AWS Discovery-Problem. Die Einstellung network.publish_host ist wichtig.
• Elasticsearch.yml-Einstellungen
• Elasticsearch Unplugged - Netzwerkänderungen in 2.0 (japanische Übersetzung)