Apache Beam 2.0.x avec Google Cloud Dataflow commençant par IntelliJ et Gradle

Apache Beam 2.0.x avec Google Cloud Dataflow commençant par IntelliJ et Gradle

Fondamentalement, la documentation n'a écrit qu'un démarrage rapide dans Maven, alors notez comment démarrer Apache Beam avec Gradle et IntelliJ.

Cette fois, je n'ai pas pensé à spécifier l'Option pour Pipeline, mais pour le moment, c'est un paramètre permettant de l'exploiter dans l'environnement local. Il est possible que des descriptions supplémentaires soient faites à l'avenir, comme la spécification d'une option pour Pipeline.

Méthode

1 Créer un nouveau projet avec intelliJ IDEA

1.png

2 Sélectionnez Gradle et Java

2.png

3 Spécifiez groupId et artifactId

3.png

groupId: nom du package racine du projet artifactId: nom du projet

4 Divers réglages

Définir comme suit

4.png

5 Définir le nom et l'emplacement du projet

Si cela ne vous dérange pas de rester affiché, continuez

6 Passez à la build.gradle suivante

group 'hoge'
version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {
    mavenCentral()
}

dependencies {
    compile group: 'com.google.cloud.dataflow', name: 'google-cloud-dataflow-java-sdk-all', version: '2.0.0'
    testCompile group: 'junit', name: 'junit', version: '4.11'
}

7 Attendez la construction

Si vous remplacez build.gradle par ce qui précède et attendez un moment, IntelliJ le construira pour vous, afin que vous puissiez utiliser Apache Beam.

Dépôt Maven

Il peut être extrait du référentiel Maven ci-dessous, comme le build.gradle que j'ai publié. Maven Repository: com.google.cloud.dataflow

Le site que j'ai utilisé comme référence

Les débutants Gradle commencent Gradle-Qiita

Maven Repository: com.google.cloud.dataflow

Recommended Posts

Apache Beam 2.0.x avec Google Cloud Dataflow commençant par IntelliJ et Gradle
Introduction à Apache Beam avec Google Cloud Dataflow (sur la série 2.0.x) ~ Combine Edition ~
Introduction à Apache Beam avec Google Cloud Dataflow (sur la série 2.0.x) ~ Basic Group By Key ~
Introduction à Apache Beam avec Cloud Dataflow (sur la série 2.0.0) ~ Partie de base ~ ParDo ~
Nombre de mots avec Apache Spark et python (Mac OS X)
Importez et supprimez des fichiers dans Google Cloud Storages avec django-storage
Qu'est-ce que Google Cloud Dataflow?
Installez Python 2.7.9 et Python 3.4.x avec pip.
Présentation pratique d'Apache Beam (Dataflow) [Python]
Exécutez XGBoost avec Cloud Dataflow (Python)
Recevez des tweets avec la fonction Google Cloud et enregistrez automatiquement les images dans Google Photos