[PYTHON] Ich habe versucht, BigQuery-Daten mit Jupyter Lab mit GCP zu visualisieren

Hinweis

Ich bin neu in GCP, Python und Jupiter. Ich war sehr froh, dass ich es bewegen konnte, während ich herumging, also habe ich es gepostet. Ich würde mich freuen, wenn Sie mich wissen lassen könnten, wenn Sie Fehler haben.

Referenz

• [GCP] AI Platform Notebooks wurde offiziell veröffentlicht. Versuchen Sie es also.
• [Big Query] Wussten Sie, dass Sie CREATE-Anweisungen verwenden können? Tabelle mit SQL erstellen

Erstellen Sie BigQuery-Daten

Öffnen Sie die GCP-Konsole

https://console.cloud.google.com/

Wählen Sie "Big Query" aus dem Seitenmenü

Klicken Sie auf "Datensatz erstellen".

Ich habe versucht, es mit der Datensatz-ID "test_data_set" zu erstellen.

Erstellen Sie einfach Tabellen und Daten zum Testen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen

create table test_data_set.t (i INT64);
insert into test_data_set.t values (1),(2),(5),(7),(12);

Nachdem wir die Daten haben, schauen wir sie uns mit Jupyter an.

Notebook-Instanziierung

Wählen Sie Seitenmenü> "AI Platform"> "Notebook"

"Neue Instanz"> "Python 2 und 3" wurde ausgewählt

Sie können die Region usw. auswählen und der geschätzte Betrag wird ebenfalls angezeigt. Dieses Mal werde ich die Instanz jedoch löschen, sobald ich es versuche. Daher habe ich mit den Standardeinstellungen auf "Erstellen" geklickt

Klicken Sie auf "JUPYTER LAB öffnen".

Jupyter Lab wird geöffnet

Als ich zum ersten Mal versuchte, Bigquery-Daten zu erhalten

"UserWarning: Cannot create BigQuery Storage client, the dependency google-cloud-bigquery-storage is not installed."

Ich habe einen Fehler erhalten, also installiere zuerst "google-cloud-bigquery-storage".

Klicken Sie auf "Konsole"

Installieren Sie "google-cloud-bigquery-storage"

$ pip install google-cloud-bigquery-storage

Drücken Sie Python 3, um ein neues Notizbuch zu erstellen

Standardmäßig verfügt JupyterLab über eine Datei mit dem Namen "/ tutorials / bigquery / BigQuerygrundlagen.ipynb", und es gab eine leicht verständliche Erklärung. Daher habe ich versucht, einen Prozess zum Erfassen von Daten aus BigQuery zu erstellen, indem ich auf diesen Bereich verwies.

from google.cloud import bigquery

client = bigquery.Client(location="US")

query = """
    select *
    from test_data_set.t
    order by i
"""

query_job = client.query(
    query,
    # Location must match that of the dataset(s) referenced in the query.
    location="US",
)  # API request - starts the query

dv = query_job.to_dataframe()
print(df)
df.plot()

Drücken Sie zum Ausführen "▷"

Ich konnte die Daten der großen Abfrage, die ich zuerst gemacht habe, als Grafik anzeigen!

Am Ende wird eine Gebühr erhoben. Stoppen Sie also mit "Stop".

Vielen Dank für das Anschauen bis zum Ende m (_ _) m