[PYTHON] Regelmäßiger Export von Google Analytics-Rohdaten nach BigQuery mithilfe von Cloud-Funktionen

Regelmäßiger Export von Google Analytics-Rohdaten nach BigQuery mithilfe von Cloud-Funktionen

Der Inhalt ist fast der gleiche wie Artikel am 2. Tag, aber nach einer Weile stellt sich heraus, dass der Artikel am 2. Tag nicht über Cloud-Funktionen verwendet werden kann. Daher möchte ich Ihnen etwas über das Problem und den Umgang damit erzählen.

Dinge die zu tun sind

  1. Verwenden Sie die Google Analytics-API, um Rohdaten nach Python zu exportieren
  2. Laden Sie mit Pandas auf Google Cloud Starage hoch
  3. Exportieren Sie von GCS nach Big Query

Wo es stecken blieb

1. Datei kann nicht lokal erstellt werden

Der am zweiten Tag war gut für das Laufen vor Ort. Die Cloud-Funktion ist jedoch schreibgeschützt und kann keine CSV-Datei erstellen. Sie müssen es also entweder direkt in BigQuery exportieren oder in GCS hochladen, ohne eine CSV-Datei zu erstellen. Aus den Ergebnissen habe ich Letzteres gewählt.

Es gab einen Artikel, der besagte, dass Sie eine Datei im Verzeichnis / tmp / erstellen können, aber ich habe es versucht und es hat nicht funktioniert, also habe ich den Weg aufgegeben.

2. Der Funktion, die willkürlich ausgeführt werden soll, werden zwei Variablen gegeben

Es scheint, dass Sie zwei Variablen für die auszuführende Funktion vorbereiten müssen.

Grund

Im ersteren Fall können anscheinend nur Buchstabe, Zahl und Unterstrich für pagePath verwendet werden, und es gibt verschiedene andere Regeln, die nicht verwendet werden konnten.

So laden Sie direkt auf GCS hoch

Als ich nach einem Artikel suchte, war der Artikel dieser Person leicht zu verstehen. Google Cloud Storage (GCS) mit Python, CSV speichern Pandas DataFrame in der BigQuery-Klasse

Code

day5.py

Der 5. Tag ist vorbei!

Ich habe mich gefragt, ob es eine gute Idee wäre, so etwas zu umgehen, aber es hat lange gedauert, und ich hoffe, ich kann helfen, wenn es andere Menschen gibt, die gleich sind. Bitte pass auch auf Corona auf!

Recommended Posts

Regelmäßiger Export von Google Analytics-Rohdaten nach BigQuery mithilfe von Cloud-Funktionen
Exportieren Sie Google Analytics Standard nach BigQuery
Exportieren Sie Zugriffsdaten für jeden Nutzer von Google Analytics.
Fordern Sie die Herausforderungen von Cyma weiterhin mit dem OCR-Dienst der Google Cloud Platform heraus
Eine Geschichte, die mithilfe einer kostenlosen Testversion der Google Cloud Platform zu einer neuen Koronaanalyse beiträgt
Cloud-Funktionen zum Ändern der Bildgröße mithilfe von OpenCV mit Cloud Storage-Trigger
Versuchen Sie, Lebensmittelfotos mithilfe der Google Cloud Vision-API zu beurteilen
[Einführung in Data Scientists] Grundlagen von Python ♬ Funktionen und Klassen
Die Geschichte des Erstellens einer Datenbank mithilfe der Google Analytics-API
Fourier-Transformation von Rohdaten
Speichern Sie das Ergebnis des Crawls mit Scrapy im Google Data Store
Ich habe versucht, mit Python einen regulären Ausdruck für "Betrag" zu erstellen
Ich habe versucht, mit Python einen regulären Ausdruck von "Zeit" zu erstellen
Ich habe versucht, mit Python einen regulären Ausdruck von "Datum" zu erstellen
Herstellen einer Verbindung zum Cloud Firestore über Google Cloud-Funktionen mit Python-Code
Ich habe versucht, BigQuery-Daten mit Jupyter Lab mit GCP zu visualisieren
[Einführung in Data Scientists] Grundlagen von Python ♬ Funktionen und anonyme Funktionen usw.