Apache Beam 2.0.x mit Google Cloud Dataflow beginnend mit IntelliJ und Gradle

Grundsätzlich wurde in der Dokumentation nur ein Schnellstart in Maven geschrieben. Notieren Sie sich daher, wie Sie Apache Beam mit Gradle und IntelliJ starten.

Dieses Mal habe ich nicht darüber nachgedacht, die Option für die Pipeline anzugeben, aber vorerst ist dies eine Einstellung, damit sie in der lokalen Umgebung betrieben werden kann. Es besteht die Möglichkeit, dass in Zukunft zusätzliche Beschreibungen vorgenommen werden, z. B. die Angabe einer Option für die Pipeline.

Methode

1 Erstellen Sie ein neues Projekt mit IntelliJ IDEA

2 Wählen Sie Gradle und Java

3 Geben Sie die Gruppen-ID und die Artefakt-ID an

groupId: Name des Projektstammpakets Artefakt-ID: Projektname

4 Verschiedene Einstellungen

Stellen Sie wie folgt ein

5 Legen Sie den Projektnamen und den Projektstandort fest

Wenn es Ihnen nichts ausmacht, angezeigt zu bleiben, fahren Sie fort

6 Wechseln Sie zum folgenden build.gradle

group 'hoge'
version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {
    mavenCentral()
}

dependencies {
    compile group: 'com.google.cloud.dataflow', name: 'google-cloud-dataflow-java-sdk-all', version: '2.0.0'
    testCompile group: 'junit', name: 'junit', version: '4.11'
}

7 Warten Sie auf den Build

Wenn Sie build.gradle wie oben beschrieben ändern und eine Weile warten, erstellt IntelliJ es für Sie, sodass Sie Apache Beam verwenden können.

Maven-Repository

Es kann aus dem Maven-Repository unten abgerufen werden, wie das von mir gepostete build.gradle. Maven Repository: com.google.cloud.dataflow

Die Seite, die ich als Referenz verwendet habe

Gradle-Anfänger starten Gradle-Qiita

Maven Repository: com.google.cloud.dataflow

Der gleiche Beitrag wird im Blog veröffentlicht [Apache Beam mit Google Cloud Dataflow ab IntelliJ und Gradle](http://www.sekky0905.com/entry/2017/07/11/IntelliJ%E3%81%A8Gradle%E3%81%A7%E5%A7%] 8B% E3% 82% 81% E3% 82% 8BApache_Beam_with_Google_Cloud_Dataflow)