Mise en garde

Je suis nouveau sur GCP, python et jupyter. J'étais très content de pouvoir le déplacer en circulant, alors je l'ai posté. Je vous serais reconnaissant si vous pouviez me faire savoir si vous avez des erreurs.

référence

[GCP] AI Platform Notebooks a été officiellement publié, alors essayez de l'utiliser.
[Big Query] Saviez-vous que vous pouvez utiliser les instructions CREATE? Créer une table avec SQL

Créer des données BigQuery

Ouvrez la console GCP

https://console.cloud.google.com/

Sélectionnez "Big Query" dans le menu latéral

Screen Shot 2020-08-23 at 18.27.52.png

Cliquez sur "Créer un ensemble de données"

Screen Shot 2020-08-23 at 18.32.48.png

J'ai essayé de le créer avec l'ID de l'ensemble de données défini sur "test_data_set"

Screen Shot 2020-08-23 at 18.33.46.png

Créez facilement des tableaux et des données pour les tests

Collez la requête suivante dans l'éditeur de requête et cliquez sur Exécuter

create table test_data_set.t (i INT64);
insert into test_data_set.t values (1),(2),(5),(7),(12);

Screen Shot 2020-08-23 at 18.45.00.png

Maintenant que nous avons les données, examinons-les en utilisant Jupyter.

Screen Shot 2020-08-23 at 18.45.59.png

Instanciation de notebook

Sélectionnez Menu latéral> "AI Platform"> "Notebook"

Screen Shot 2020-08-23 at 17.36.45.png

"Nouvelle instance"> "Python 2 et 3" a été sélectionné

Screen Shot 2020-08-23 at 17.53.28.png

Vous pouvez sélectionner la région, etc. et le montant estimé est également affiché, mais cette fois, je supprimerai l'instance dès que je l'essayerai, j'ai donc appuyé sur "Créer" avec les paramètres par défaut

Screen Shot 2020-08-23 at 18.03.53.png

Cliquez sur "Ouvrir JUPYTER LAB"

Screen Shot 2020-08-23 at 18.10.47.png

Ouverture du Jupyter Lab

Screen Shot 2020-08-23 at 19.14.42.png

Quand j'ai essayé pour la première fois d'obtenir des données BigQuery

"UserWarning: Cannot create BigQuery Storage client, the dependency google-cloud-bigquery-storage is not installed."

J'ai eu une erreur, alors installez d'abord google-cloud-bigquery-storage.

Cliquez sur "Console"

Screen Shot 2020-08-23 at 19.12.40.png

Installez google-cloud-bigquery-storage

$ pip install google-cloud-bigquery-storage

Screen Shot 2020-08-23 at 19.09.06.png

Appuyez sur Python 3 pour créer un nouveau bloc-notes

Screen Shot 2020-08-23 at 18.55.47.png

Par défaut, JupyterLab a un fichier appelé / tutorials / bigquery / BigQuery basics.ipynb, et il y avait une explication facile à comprendre, j'ai donc essayé de créer facilement un processus d'acquisition de données à partir de bigquery en me référant à cette zone.

from google.cloud import bigquery

client = bigquery.Client(location="US")

query = """
    select *
    from test_data_set.t
    order by i
"""

query_job = client.query(
    query,
    # Location must match that of the dataset(s) referenced in the query.
    location="US",
)  # API request - starts the query

dv = query_job.to_dataframe()
print(df)
df.plot()

Appuyez sur "▷" pour exécuter

Screen Shot 2020-08-23 at 19.33.57.png