Ich habe das in Google Cloud Dataflow vorinstallierte Python-Paket überprüft

Google Cloud Dataflow erhält nicht viel Aufmerksamkeit, ist jedoch sehr praktisch, da Sie die Ausführungsumgebung problemlos zwischen lokal und remote wechseln können. Wenn Sie der Meinung sind, dass Sie nur die Standardbibliothek verwenden können, können Sie sie über Liste der Pips oder [Originalinstallation](http: // qiita) installieren. com / orfeon / items / 78ff952052c4bde4bcd3) ist ebenfalls möglich. Dann habe ich versucht herauszufinden, welche Bibliothek vorinstalliert war, da sie nicht herauskam, selbst wenn ich das Dokument kurz durchsucht habe.

Vorbereitung

Zuallererst ist dieser Bereich, der Optionen einstellt, @ orfeons runder pakuri ...

Optionseinstellungen

import apache_beam as beam
import apache_beam.transforms.window as window

options = beam.utils.pipeline_options.PipelineOptions()

google_cloud_options = options.view_as(beam.utils.pipeline_options.GoogleCloudOptions)
google_cloud_options.project = '{PROJECTID}'
google_cloud_options.job_name = 'test'
google_cloud_options.staging_location = 'gs://{BUCKET_NAME}/binaries'
google_cloud_options.temp_location = 'gs://{BUCKET_NAME}/temp'

worker_options = options.view_as(beam.utils.pipeline_options.WorkerOptions)
worker_options.max_num_workers = 1

# options.view_as(beam.utils.pipeline_options.StandardOptions).runner = 'DirectRunner'
options.view_as(beam.utils.pipeline_options.StandardOptions).runner = 'DataflowRunner'

p = beam.Pipeline(options=options)

Führen Sie "pip freeze" aus, um die Python-Paketliste zu protokollieren.

Ausgabeteil der Paketliste

def inspect_df(dat):
    import subprocess
    import logging
    process = subprocess.Popen('pip freeze', shell=True,
                               stdout=subprocess.PIPE, 
                               stderr=subprocess.PIPE)
    for line in process.stdout:
        logging.info(line)

Im Datenfluss ausführen. Du brauchst vielleicht keine Hallo Welt ...

Pipeline-Ausführung

(p | 'init' >> beam.Create(['hello', 'world'])
   | 'inspect' >> beam.Map(inspect_df))

p.run()

Wenn die Pipeline-Ausführung abgeschlossen ist, wird die Paketliste in das Protokoll ausgegeben. Überprüfen Sie sie daher mit der Cloud-Konsole.

Protokollprüfung

In Datenflussdokument können Sie das Protokoll im Bildschirm "Auftragsdetails" von Dataflow überprüfen, ab dem 4. März 2017 jedoch als Stackdriver -> Zur Protokollierung übergehen.

Paketliste

Es ist eine Liste von Paketen, die im obigen Protokoll ausgespuckt wurden. ** Stand 4. März 2017 **

Liegt es daran, dass tf.transform angekommen ist? In Cloud ML ist ~~ TensorFlow ver 0.12 ~~ ** (BEARBEITEN: Die neueste Ver ist hier Sie können es mit Liste überprüfen)) ** Es ist 1.0.0 in Dataflow. scikit-learn scheint ein bisschen alt zu sein.

Obwohl das Staging etwas langsam ist, scheint Dataflow, das problemlos von Jupyter Notebook zwischen lokal und remote wechseln und vom Start bis zum Start einer Instanz ohne Erlaubnis vollständig verwaltet werden kann, ein leistungsstarkes Tool für Anwendungen wie Datenanalyse und maschinelles Lernen zu sein. ist.