Traduction japonaise de la documentation Apache Spark. Veuillez vérifier les autres pages car elles sont également traduites.
Si vous trouvez quelque chose qui ne va pas avec votre traduction, veuillez nous en informer dans les commentaires ou sur Facebook.
Submitting Applications
The spark-submit script in Spark’s bin directory is used to launch applications on a cluster. It can use all of Spark’s supported cluster managers through a uniform interface so you don’t have to configure your application specially for each one.
Le script spark-submit dans le répertoire bin de Spark est utilisé pour démarrer l'application sur le cluster. Il s'agit de tous les gestionnaires de propulseurs pris en charge par Spark disponibles sans aucun paramètre spécial dans votre application.
If your code depends on other projects, you will need to package them alongside your application in order to distribute the code to a Spark cluster. To do this, to create an assembly jar (or “uber” jar) containing your code and its dependencies. Both sbt and Maven have assembly plugins. When creating assembly jars, list Spark and Hadoop as provided dependencies; these need not be bundled since they are provided by the cluster manager at runtime. Once you have an assembled jar you can call the bin/spark-submit script as shown here while passing your jar.
Si votre code dépend d'autres projets, vous devez les regrouper pour le déploiement sur Spark. Pour cette raison, il générera un seul fichier jar exécutable (ou "uber" jar) de votre code, y compris les dépendances. Sbt et Maven ont des plugins pour l'agrégation. Spark et Hadoop sont également répertoriés comme dépendances lors de la génération du fichier jar d'assembly. Ceux-ci sont fournis par le gestionnaire de cluster d'exécution et n'ont pas besoin d'être regroupés. Une fois que vous avez agrégé les fichiers JAR, vous pouvez appeler le script bin / spark-submit comme décrit ici.
For Python, you can use the --py-files argument of spark-submit to add .py, .zip or .egg files to be distributed with your application. If you depend on multiple Python files we recommend packaging them into a .zip or .egg.
Le script spark-submit fournit un argument --py-files pour déployer des fichiers .py, .zip, .egg avec votre application en Python. Si vous comptez sur plusieurs fichiers Python, c'est une bonne idée de les combiner en un seul fichier zip ou egg.
Once a user application is bundled, it can be launched using the bin/spark-submit script. This script takes care of setting up the classpath with Spark and its dependencies, and can support different cluster managers and deploy modes that Spark supports:
Une fois l'application utilisateur intégrée, elle peut être lancée avec le script bin / spark-submit. Ce script prend en charge Spark et ses chemins de classes de dépendances. Et il prend en charge le mode pro avec différents gestionnaires de cluster et Spark prend en charge.
./bin/spark-submit \
--class <main-class>
--master <master-url> \
--deploy-mode <deploy-mode> \
... # other options
<application-jar> \
[application-arguments]
Some of the commonly used options are:
Quelques options génériques
--class: The entry point for your application (e.g. org.apache.spark.examples.SparkPi)
--class: point d'entrée de l'application (nom de la classe: par exemple org.apache.spark.examples.SparkPi)
--master: The master URL for the cluster (e.g. spark://23.195.26.187:7077)
--master: URL du nœud maître pour le cluster
--deploy-mode: Whether to deploy your driver program within the cluster or run it locally as an external client (either cluster or client)
--deploy-mode: spécifie si le programme de pilote est déployé sur le cluster ou exécuté localement en tant que client externe. (cluster / client)
application-jar: Path to a bundled jar including your application and all dependencies. The URL must be globally visible inside of your cluster, for instance, an hdfs:// path or a file:// path that is present on all nodes.
application-jar: chemin d'accès au fichier jar qui contient votre application fournie et toutes les dépendances. L'URL doit être globalement visible de votre cluster à votre instance. Doit être présent sur tous les nœuds, tels que hdfs: // chemin ou file: // chemin.
application-arguments: Arguments passed to the main method of your main class, if any
application-arguments: Vous êtes libre d'écrire les arguments qui seront passés à votre classe principale.
For Python applications, simply pass a .py file in the place of
instead of a JAR, and add Python .zip, .egg or .py files to the search path with --py-files.
Pour les applications Python, spécifiez simplement le fichier .py au lieu de JAR et spécifiez le fichier Python .zip, .egg ou .py avec --py-files.
To enumerate all options available to spark-submit run it with --help. Here are a few examples of common options:
Si vous voulez voir toutes les options, exécutez --help. Voici quelques exemples courants.
Run application locally on 8 cores
./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master local[8]
/path/to/examples.jar
100
Run on a Spark standalone cluster
./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master spark://207.184.161.138:7077
--executor-memory 20G
--total-executor-cores 100
/path/to/examples.jar
1000
Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn-cluster \ # can also be yarn-client for client mode
--executor-memory 20G
--num-executors 50
/path/to/examples.jar
1000
Run a Python application on a cluster
./bin/spark-submit
--master spark://207.184.161.138:7077
examples/src/main/python/pi.py
1000
The master URL passed to Spark can be in one of the following formats:
Veuillez utiliser l'URL principale dans l'un des formats suivants.
The spark-submit script can load default Spark configuration values from a properties file and pass them on to your application. By default it will read options from conf/spark-defaults.conf in the Spark directory. For more detail, see the section on loading default configurations.
Le script spark-submit peut lire les paramètres à partir du fichier de propriétés de votre application. Par défaut, les options sont lues à partir de conf / spark-defaults.conf dans le répertoire Spark. Consultez la section Charger les paramètres par défaut pour plus d'informations.
http://spark.apache.org/docs/latest/configuration.html#loading-default-configurations
Loading default Spark configurations this way can obviate the need for certain flags to spark-submit. For instance, if the spark.master property is set, you can safely omit the --master flag from spark-submit. In general, configuration values explicitly set on a SparkConf take the highest precedence, then flags passed to spark-submit, then values in the defaults file.
La méthode de chargement des paramètres par défaut de Spark évite d'avoir à utiliser plusieurs indicateurs avec spark-submit. Pour l'instance, vous pouvez en toute sécurité omettre l'indicateur --master de la commande une fois que spark.masterproperty est défini. En règle générale, la valeur de paramètre définie explicitement dans SparkConf a la priorité la plus élevée, puis l'indicateur de soumission d'étincelle, puis le fichier par défaut.
If you are ever unclear where configuration options are coming from, you can print out fine-grained debugging information by running spark-submit with the --verbose option.
Si vous ne savez pas d'où viennent vos paramètres, vous pouvez exécuter spark-submit avec l'option --verbose pour obtenir une sortie de débogage détaillée.
When using spark-submit, the application jar along with any jars included with the --jars option will be automatically transferred to the cluster. Spark uses the following URL scheme to allow different strategies for disseminating jars:
Lors de l'utilisation de spark-submit, tout ce qui est inclus dans l'option --jars du fichier jar de l'application est automatiquement transféré vers le cluster. Spark utilise le schéma d'URL suivant pour autoriser différentes manières de créer des fichiers JAR insolubles.
file: - Absolute paths and file:/ URIs are served by the driver’s HTTP file server, and every executor pulls the file from the driver HTTP server.
file: URI du chemin complet fourni par le serveur de fichiers HTTP du pilote, chaque exécuteur obtient le fichier du serveur HTTP du pilote.
hdfs:, http:, https:, ftp: - these pull down files and JARs from the URI as expected
hdf:, http:, https:, ftp Obtenez le fichier ou JAR à partir de l'emplacement attendu par l'URI.
local: - a URI starting with local:/ is expected to exist as a local file on each worker node. This means that no network IO will be incurred, and works well for large files/JARs that are pushed to each worker, or shared via NFS, GlusterFS, etc.
Local: l'URI commençant par local: / devrait exister en tant que fichier local pour chaque nœud de travail. Cela signifie que les E / S réseau ne sont pas nécessaires et que vous pouvez vous attendre à un meilleur comportement pour les fichiers volumineux et les JAR qui ont déjà été poussés par chaque worker ou partagés à l'aide de NFS, GlusterFS, etc.
Note that JARs and files are copied to the working directory for each SparkContext on the executor nodes. This can use up a significant amount of space over time and will need to be cleaned up. With YARN, cleanup is handled automatically, and with Spark standalone, automatic cleanup can be configured with the spark.worker.cleanup.appDataTtl property.
Le JAR et les fichiers sont copiés dans le répertoire de travail SparkContext de chaque nœud exécutable. Cela devra être nettoyé pour réserver une surface importante pendant une longue période. Pour YARN, les nettoyages sont gérés automatiquement. Pour Spark autonome Vous pouvez définir le nettoyage automatique avec la propriété spark.worker.cleanup.appDataTtl.
For python, the equivalent --py-files option can be used to distribute .egg, .zip and .py libraries to executors.
Fonctionnalité équivalente pour Python L'option --py-files fournit les bibliothèques .egg, .zip, .py à l'exécuteur.
More Information
Once you have deployed your application, the cluster mode overview describes the components involved in distributed execution, and how to monitor and debug applications.
Une fois que vous avez déployé votre application, il décrit les composants ésotériques exécutés dans la vue d'ensemble du mode cluster, comment les surveiller et comment déboguer votre application.
Original) Présentation du mode cluster http://spark.apache.org/docs/latest/cluster-overview.html Traduction) http://qiita.com/mychaelstyle/items/610b432a1ef1a7e3d2a0
My Facebook https://www.facebook.com/masanori.nakashima
Recommended Posts