Zweck dieses Artikels ・ Zielgruppe

Es gibt viele Tools für die Datenanalyse. Zu den Datenanalysetools gehören Excel, Programmierung, Dashboard-Tools, BI-Tools usw.

In diesem Artikel erklären wir, welche Art von Analysetool in welcher Situation für Anfänger der Datenanalyse und diejenigen, die Daten analysieren werden, verwendet werden sollte.

Der Hauptgrund, warum welche Art von Analysewerkzeug in welcher Situation verwendet wird, ist, dass die Datenanalyse mit dem richtigen Werkzeug effizient durchgeführt werden kann. Wenn Sie keine Programmierung benötigen, müssen Sie diese möglicherweise nicht erzwingen. In einigen Situationen sind nützliche BI-Tools nutzlos und erfordern möglicherweise Programmier- und SQL-Kenntnisse.

Außerdem werden sich diejenigen, die Daten analysieren wollen, fragen, wie viel Wissen sie für die gewünschte Analyse haben sollten (oder mit der sie betraut sind). Wenn Sie zu diesem Zeitpunkt irgendwie wissen, welche Art von Analysewerkzeug in welcher Situation verwendet werden soll, können Sie vorhersagen, wie viel Wissen Sie benötigen.

Die Analysewerkzeuge, auf die dieser Artikel abzielt, und ihre Eigenschaften

Klassifizierung der Datenanalyse

Es gibt zwei Haupttypen der Datenanalyse: "** Ad-hoc-Analyse **" und "regelmäßige Analyse".

Unternehmen und Forschungsunternehmen, die keine solide Grundlage für die Datenanalyse haben und nicht automatisiert sind, müssen die Daten jedes Mal manuell analysieren, wenn sie benötigt werden. Dies wird als ** Ad-hoc-Analyse ** im Sinne einer Ad-hoc-Analyse bezeichnet.

** Ad-Hock-Analyse ** verwendet ein interaktives Analysetool, mit dem Sie Abfragen und Datenumwandlungs- / Aggregationsverarbeitung ausführen und die Ergebnisse sofort überprüfen können.

Wenn Sie jedoch regelmäßig Berichte erstellen müssen, anstatt jedes Mal manuell zu analysieren, wird ein Dashboard-Tool verwendet, das die Daten automatisch aggregiert und anzeigt.

Hier, ・ Excel · Programmiersprache ・ BI-Tool ・ Dashboard-Tool

Werfen wir einen Blick auf jede Funktion und jedes spezifische Produkt von und sehen, welche Art von Werkzeug in welcher Situation verwendet wird.

Excel Zuallererst der Excel-Lehrer, den jeder kennt! Ich bin mit der Ausbildung aufgewachsen, Daten durch Programmieren ohne Excel zu analysieren, daher bin ich in Excel eigentlich nicht so gut wie Python ...

Tatsächlich reicht Excel für eine einfache Analyse aus.

Schwenktisch

Lassen Sie uns zunächst lernen, wie Sie die Pivot-Tabelle verwenden. Dies liegt daran, dass Kreuztabellen mit Pivot-Tabellen die Grundlage jeder Datenanalyse bilden.

Die Idee der Kreuztabelle selbst ist sowohl in Excel als auch in der Programmierung gleich. Wenn Sie diese Idee also nicht kennen, können Sie nicht darüber sprechen.

Was Excel nicht kann

Excel ist ein sehr nützliches Werkzeug, aber der Datenintegration sind Grenzen gesetzt. Das Erhöhen der Anzahl der Spalten in horizontaler Richtung ist ein Excel-ähnlicher Vorgang, der jedoch nicht gut zur Integration von Daten in vertikaler Richtung geeignet ist.

Betrachten Sie beispielsweise den Fall der Verarbeitung von Zeitreihendaten eines Sensors. (In der Abstraktion ist Google Analytics wie ein Sensor, nicht wahr?)

Angenommen, Sensor ① zeichnet jede Sekunde Daten auf und Sensor ② zeichnet alle 10 Sekunden Daten auf. Bei der Aggregation und Integration dieser Daten müssen die Daten des Sensors ① alle 10 Sekunden gemittelt oder der repräsentative Wert abgerufen und kombiniert werden.

Das Ausführen dieser Prozesse in Excel ist mühsam, und wenn die Anzahl der Daten Hunderttausende oder Millionen von Zeilen beträgt, wird die Berechnung in Excel langsam.

Obwohl, Wenn Sie sich beispielsweise mit Verwaltungsindikatoren befassen, reicht Excel aus. Bestenfalls diskutieren wir nur anhand der aggregierten Ergebnisse für jede Woche oder jeden Monat. Daher erkennen Beratungsunternehmen und Wirtschaftsprüfungsunternehmen immer noch an, dass die Verwendung von Excel als wichtige Fähigkeit eine der wichtigsten Fähigkeiten ist.

Programmiersprache (Python)

Hier nehmen wir Python als Programmiersprache. Es ist keine Übertreibung zu sagen, dass Python in den letzten Jahren die Welt als Programmiersprache für die Datenanalyse dominiert hat und über zahlreiche Bibliotheken für die Datenanalyse verfügt.

Jupyter Notebook (Von Offizielle Homepage)

Jupyter Notebook ist ein Open Source-Tool zur interaktiven Skriptausführung. Neben Python können auch Programmiersprachen wie Ruby und R ausgeführt werden.

Sie können die Ergebnisse für jeden Verarbeitungsprozess visualisieren. Sie können auch Erklärungen im Markdown-Format schreiben, sodass sie gut als Bericht für andere geeignet sind.

Die bekannteste Bibliothek zum Erstellen von Diagrammen in Python ist matplotlib. Es ist möglich, eine modische Grafik wie das Bild von der obigen offiziellen Website zu erstellen.

Die folgenden Bücher sind hilfreich für die Datenanalyse und -visualisierung mit Python.

[IPython Data Science Cookbook 2nd Edition](https://www.amazon.co.jp/IPython%E3%83%87%E3%83%BC%E3%82%BF%E3%82%B5% E3% 82% A4% E3% 82% A8% E3% 83% B3% E3% 82% B9% E3% 82% AF% E3% 83% 83% E3% 82% AF% E3% 83% 96% E3% 83% 83% E3% 82% AF-% E7% AC% AC2% E7% 89% 88-% E2% 80% 95% E5% AF% BE% E8% A9% B1% E5% 9E% 8B% E3% 82% B3% E3% 83% B3% E3% 83% 94% E3% 83% A5% E3% 83% BC% E3% 83% 86% E3% 82% A3% E3% 83% B3% E3% 82% B0% E3% 81% A8% E5% 8F% AF% E8% A6% 96% E5% 8C% 96% E3% 81% AE% E3% 81% 9F% E3% 82% 81% E3% 81% AE% E3% 83% AC% E3% 82% B7% E3% 83% 94% E9% 9B% 86-Cyrille-Rossant / dp / 4873118549 / ref = pd_sbs_14_t_2 / 355-1889098-6063963? _Encoding = UTF8 & pd_rd_i = 4873118549 & pd_rd_i = 4873118549 69a4-4cb3-b7ef-4b43770ccce2 & pd_rd_w = 721iz & pd_rd_wg = 5k45z & pf_rd_p = ca22fd73-0f1e-4b39-9917-c84a20b3f3a8 & pf_rd_r = 6E4TX40027T4BE4G7

Python-Grenzen

Natürlich ist es nicht einfach, Python für die Datenanalyse zu beherrschen. Für Programmieranfänger sind die Lernkosten hoch.

In dem Sinne, dass Nicht-Ingenieure die Daten nicht analysieren können, sind sie nicht wirklich demokratisiert.

BI-Tools

Daher sind BI-Tools in den letzten Jahren als Datenanalysetools populär geworden. Sie haben wahrscheinlich den Namen des Tools Tableau gehört.

In den letzten Jahren habe ich gehört, dass Beratungsunternehmen Tableau zunehmend zur Analyse verwenden.

Als ich für ein Beratungsunternehmen arbeitete, herrschte eine Atmosphäre, in der Tableau jetzt jünger und trendiger als Excel war.

(Von Tableau Official Homepage)

Es ist für Teammitglieder geeignet, mit der Analyse fortzufahren, während Diagramme erstellt werden. In Bezug auf die Verwendung zielen die unten beschriebenen Dashboard-Tools auf die Automatisierung der Analyse ab, während BI-Tools für eine explorativere Datenanalyse verwendet werden.

Was BI-Tools nicht können

BI-Tools sind großartig und sehr wertvoll, da sie zur Demokratisierung Ihrer Daten beitragen.

Obwohl BI-Tools integrierte Daten verarbeiten können, ist die Integrationsarbeit selbst nicht gut (kann durchgeführt werden). Bevor Sie BI-Tools verwenden können, müssen Sie Ihre eigenen SQL-Abfragen für die Datenaggregation und -integration schreiben.

Letztendlich benötigen Sie für eine aussagekräftige Analyse ein Datenvorverarbeitungsteam, das die Daten integriert und das Lesen für BI-Tools erleichtert.

Dashboard-Tool

Im Gegensatz zur Ad-hoc-Analyse werden Dashboard-Tools zum regelmäßigen Abfragen verwendet, um Berichte zu erstellen und Diagramme anzuzeigen.

Einige der bekanntesten sind Redash.

Bis Sie den Docker-basierten Redash auf AWS EC2 von Grund auf neu eingerichtet und gestartet haben

Die Dashboard-Tools konzentrieren sich auf die Automatisierung der Analyse von Daten, damit diese regelmäßig überprüft werden können.

Es gibt jedoch viele Dashboard-Tools, die das Erstellen interaktiver Dashboards wie BI-Tools nicht unterstützen. Bis zuletzt ist es optimiert, um die neuesten Informationen regelmäßig zu visualisieren.

Einschränkungen der Dashboard-Tools

Um das Dashboard verwenden zu können, müssen Sie eine Programmiersprache oder SQL ausführen. (Natürlich ist eine Vorbehandlung auch separat erforderlich.)

Tatsächlich lauten die Visualisierungstools, die behaupten, fortgeschrittene Aufgaben ausführen zu können, "Sie können Python-Code intern schreiben und ausführen".

Die Geschichte des Data Science-Teams und des analytischen Ökosystems von Mercari Nach diesem Artikel

Bei Mercari gibt es viele Leute, die SQL auch für Jobs ohne Analysten schreiben und selbst einfache Analysen durchführen können. In letzter Zeit gibt es Gerüchte, dass sogar die Finanzabteilung, die Buchhaltungsabteilung, die Rechtsabteilung und die Designer studieren. (Es ist eine Tatsache)

Und das. Jeder lernt hart, weil er SQL ausführen muss, um es zu analysieren.

In einem normalen Unternehmen besteht das Problem darin, wer die SQL schreibt.

Für Unternehmen mit einem festen Geschäftsverbesserungsfluss und konstanten Indikatoren ist es eine gute Idee, einen angemessenen Betrag für die Vorbereitung einer Datenanalyseplattform und die Einführung von Dashboard-Tools auszugeben.

Normalerweise ändern sich die Indikatoren und Daten, die Sie sehen möchten, jedoch schnell, sodass Sie die SQL ändern müssen.

Zusammenfassung

Für Unternehmen, die über eine gut etablierte Datenanalyse-Infrastruktur verfügen und es sich leisten können, Daten ordnungsgemäß zu aggregieren und zu integrieren, ist es ratsam, BI-Tools und Visualisierungstools einzuführen. Wenn andere Mitglieder als Ingenieure ebenfalls Daten analysieren und in täglichen Diskussionen verwenden möchten, bleibt keine andere Wahl, als BI-Tools und Visualisierungstools einzuführen.

Wenn Sie sich jedoch nicht für den KPI entschieden haben, den Sie anzeigen möchten, oder wenn Sie sich nicht entschieden haben, was zu berücksichtigen ist, ist es eine gute Idee, BI-Tools zu verwenden, um ihn mit allen zu diskutieren.

Für Unternehmen, in denen der Betrachtungsfluss aus der Datenanalyse bereits standardisiert wurde, ist es besser, Visualisierungstools zu verwenden, um die Analyse zu automatisieren.

Wenn die Datenanalyse-Infrastruktur noch nicht vorhanden ist und Sie die Daten vorerst nur speichern möchten, verwenden Sie eine Programmiersprache für die Ad-hoc-Analyse. Eine ordnungsgemäße Ad-hoc-Analyse zeigt, welche KPIs für das Unternehmen wichtig sind und was Sie unter Verwendung der Daten berücksichtigen möchten. Dies ist ein sehr wichtiges Verfahren.

Selbst wenn Sie die Analyse plötzlich automatisieren, kann die Analyse möglicherweise veraltet sein. Das Einrichten einer Datenanalyseplattform kostet Zeit und Geld. Daher ist es definitiv nicht gut, mit dem Aufbau einer Analyseplattform zu beginnen, ohne tief darüber nachzudenken.

Schließlich

Ich habe diesen Artikel als Artikel zum 24. Tag des Adventskalenders einer Studiengruppe namens StudyCo geschrieben, die ich seit vielen Jahren mit meinen Freunden mache. Ich bin.

Ich wäre Ihnen dankbar, wenn Sie sich auf die anderen Artikel beziehen könnten, die ich bisher geschrieben habe!

[Kenntnisse und Studienmethoden für zukünftige Datenanalysten erforderlich](https://qiita.com/ueniki/items/343591634277ad309a57#4-%E3%83%87%E3%83%BC%E3%82% BF% E5% 88% 86% E6% 9E% 90% E3% 81% BE% E3% 81% A7% E8% A6% 8B% E8% B6% 8A% E3% 81% 97% E3% 81% 9F% E3% 83% 97% E3% 83% AD% E3% 83% 80% E3% 82% AF% E3% 83% 88% E9% 96% 8B% E7% 99% BA% E3% 82% 84% E5% AE% 9F% E9% A8% 93% E3% 82% 92% E8% A8% 88% E7% 94% BB% E3% 82% 92% E3% 81% A7% E3% 81% 8D% E3% 82% 8B% E8% A8% AD% E8% A8% 88% E5% 8A% 9B)
Empfohlene Studienreihenfolge für Anfänger des maschinellen Lernens / Deep Learning
Wie man lernt, bis ein Anfänger in der Statistik mit der Bayes'schen Statistik beginnt

Ich hoffe, es wird ein Weihnachtsgeschenk für alle, die von nun an an der Datenanalyse arbeiten werden!

Heilige Nacht ist auch eine Nacht, in der mit Daten gesprochen wird! Fröhliche Weihnachten!

Referenz

[Technologie, die Big Data unterstützt - die Welt der Automatisierung, in der Daten jeden Moment pulsieren](https://www.amazon.co.jp/%E3%83%93%E3%83%83%E3%82%B0%E3 % 83% 87% E3% 83% BC% E3% 82% BF% E3% 82% 92% E6% 94% AF% E3% 81% 88% E3% 82% 8B% E6% 8A% 80% E8% A1 % 93% E2% 80% 95% E5% 88% BB% E3% 80% 85% E3% 81% A8% E3% 83% 87% E3% 83% BC% E3% 82% BF% E3% 81% 8C % E8% 84% 88% E6% 89% 93% E3% 81% A4% E8% 87% AA% E5% 8B% 95% E5% 8C% 96% E3% 81% AE% E4% B8% 96% E7 % 95% 8C-WEB-DB-PRESS-plus / dp / 4774192252 / ref = sr_1_1? adgrpid = 51361540737 & gclid = CjwKCAiAi4fwBRBxEiwAEO8_HmhgZ4KfRVGnJK4nNxLL0xYORvf7n6cem_-8iv1dXwIjDBw0v2grbBoCY5kQAvD_BwE & hvadid = 338.518.033.656 & hvdev = c & hvlocphy = 1.009.279 & hvnetw = g & hvpos = 1T1 & hvqmt = e & hvrand = 15215333001911833338 & hvtargid = AUD-759.377.471.893% 3Akwd-422.059.869.037 & hydadcr = 27265_11561134 & jp-ad-ap = 0 & keywords =% E3% 83% 93% E3% 83% 83% E3% 82% B0% E3% 83% 87% E3% 83% BC% E3% 82% BF% E3% 82% 92% E6% 94% AF% E3% 81% 88% E3% 82% 8B% E6% 8A% 80% E8% A1% 93 & qid = 1577190740 & sr = 8-1)

[PYTHON] Verwendung von Datenanalysetools für Anfänger