[PYTHON] Probleme bei der Verwendung von Elasticsearch als Datenquelle in Redash

Es scheint, dass Elasticsearch als Datenquelle für Redash verwendet werden kann. Als ich es ausprobierte, stellte ich fest, dass es verschiedene Probleme gab.

Umgebung

Redash(v7.0.0) Elasticsearch(v7.3.2)

Problem

** Abfrageergebnisse von Elasticsearch können nicht korrekt (erwartet) tabellarisch dargestellt werden. ** ** **

Wenn die Abfrage von Redash ausgeführt wird, wird die Abfrage ausgegeben und das Ergebnis über QueryRunner angezeigt (siehe unten).

Abfrage über den Bildschirm ausführen → QueryRunner → Elasticsearch → QueryRunner → Das Ergebnis in Tabellenform auf dem Bildschirm anzeigen

** Ich konnte bestätigen, dass die Abfrageergebnisse von Elasticsearch wie erwartet waren. Daher stellte ich fest, dass das Problem diesmal darin bestand, dass die Abfrageergebnisse von Elasticsearch mit QueryRunner nicht tabellarisch analysiert werden konnten. ** ** **

Ergebnisse der Ausführung mehrerer Aggregationsabfragen

Führen Sie eine Abfrage mit verschachtelter Aggregation wie unten gezeigt aus.

{
    "index": "Indexname",
    "size": 1000,
    "aggs": {
        "1st": {
            "terms": {
                "field": "LogDate"
            },
            "aggs": {
                "2nd": {
                    "terms": {
                        "field": "SectionName"
                    }
                }
            }
        }
    }
}

Als Bild werden wir nach Datum und Abteilung aggregieren. Erwarten Sie daher die folgenden Ergebnisse.

Als Ergebnis der Tabelle in Redash wird jedoch Folgendes angezeigt. → Ich weiß nicht, wie hoch die Summe ist und wie viele.

Fall, in dem die Struktur von JSON kompliziert wird

Wenn beispielsweise die Summen-Bucket-Aggregation verwendet wird, zeigt das Abfrageergebnis von Elasticsearch, dass ein anderer Bucket in derselben Hierarchie wie der Stamm des Buckets vorhanden ist (siehe unten).

{
・
・
・
   "aggregations": {
      "Eimername": {
         "buckets": [
            {
Eimer Ergebnis
            }
         ]
      },
      "SUM EIMER Name": {
          "value": 1000.0
      }
   }
}

Die Ergebnisse werden nur für den "Bucket-Namen" in Tabellenform angezeigt.

• Nur der "Bucket-Name" wird in Tabellenform angezeigt. Wenn die Aggregation jedoch verschachtelt ist, tritt das oben genannte Problem auf.
• "SUM BUCKET name" wird verworfen

Wie soll man antworten

Um diese Probleme zu lösen

• Ändern Sie die vorhandene Redash-Quelle oder fügen Sie ein Erweiterungsprogramm hinzu, um das Programm zu unterstützen. Informationen zur Unterstützung des Erweiterungsprogramms finden Sie unter "Erweitern von Redashs Query Runner". ・ Erstellen Sie eine Ausgabe und warten Sie auf die Aktualisierung (oder bewegen Sie sich selbst)

Zusammenfassung

Wenn Elasticsearch als Datenquelle verwendet wird, wird möglicherweise häufig Kibana ausgewählt, oder es wird aufgrund des Verhaltens des aufgetretenen Problems (das definitiv das Abfragemuster sein wird) selten verwendet.

"Wenn Ihre Datenquelle Elasticsearch ist, verwenden Sie Redash nicht." "Wenn Sie Redash verwenden, machen Sie die Datenquelle Elasticsearch nicht zu einer einfachen Abfrage."

Ich hatte das Gefühl, dass es effizienter wäre, dies auf diese Weise zu realisieren.

Beiseite

Ich fragte mich, ob sich das Ergebnis ändern würde, wenn Kibana als Datenquelle verwendet würde, aber das Ergebnis war dasselbe, da es nur von der Beschreibung der Abfrage für Kibana verarbeitet wurde.

Die Datenquelle war nicht Kibana, und die Abfrage war nur für Kibana.

• Dies ist nicht der Fall, seien Sie also vorsichtig Sie können keine Ergebnisse durch Kibana erzielen

Abfrage über den Bildschirm ausführen → QueryRunner → Kibana (Elasticsearch) → QueryRunner → Das Ergebnis in Tabellenform auf dem Bildschirm anzeigen