Ich bin ausgelagert, um Daten von Kundenunternehmen zu analysieren. Neulich erhielt ich eine Anfrage von einem Kunden, das Produkt zu bewerten, um die Einführung von [Paxata] in Betracht zu ziehen (https://www.paxata.com/), und ich hatte die Möglichkeit, Paxata probeweise auszuprobieren. Paxata ist ein Datenaufbereitungstool, das DataRobot 2019 erworben hat [^ 1]. Es gibt zwei Muster, die entweder abonniert oder in die VM von Azure / AWS eingefügt werden können. Diesmal war es das letztere.

Impressionen

Es ist nur ein Eindruck. Ob jedes seine Vor- oder Nachteile hat, hängt von der Zeit und dem Fall ab.

――Obwohl es nicht codiert ist, sind einige Programmierfähigkeiten erforderlich

Nichtcodierungswerkzeuge sind keine Zauberei ――Da der Entwickler selbst die Kombination von Teilen entwerfen und die Daten verarbeiten muss, ist dies eine hohe Hürde für Menschen, die überhaupt nicht programmieren können.
Hohe Sichtbarkeit und leicht zu verstehen, welche Art von Verarbeitung durchgeführt wird ――Wenn Sie ein detailliertes Designdokument schreiben, ist dies nicht erforderlich
Es gibt eine Vorschau-Funktion für Verarbeitungsergebnisse und eine automatische Namensidentifizierungsfunktion für Zeichenketten.
Sie können vor und nach dem Austausch mit der Vorschau durch Ersatzverarbeitung vergleichen.
Wenn es einen Unterschied zwischen "Co., Ltd." und "Co., Ltd." in der Zeichenkette gibt, wird der Name automatisch identifiziert.
Sie können keine sehr komplizierte Verarbeitung durchführen
Die Verarbeitung erfolgt seriell und kann nicht verschachtelt, verzweigt oder wiederholt werden ―― Egal wer es schafft, das Finish wird das gleiche Level haben (~~ SIer scheint es zu mögen ~~) ――Ich kann den erstellten Prozess nicht nach Python exportieren
Bender eingesperrt
Derzeit unterstützt nur DataRobot die Zusammenarbeit mit maschinellem Lernen.
Um die verarbeiteten Daten mit scicit-learn zu verwenden, müssen sie einmal in eine Datenbank oder Datei exportiert werden.
Schwierige Integration von Überprüfungs- und Bereitstellungsprozessen
Da es kein Bereitstellungskonzept wie eine Entwicklungs- / Produktionsumgebung gibt, stehen Sie während der Wartung in direktem Kontakt mit dem in Betrieb befindlichen Produkt. ――Es ist schwierig zu überprüfen, da Sie keine Pull-Anfragen stellen oder Unterschiede wie git erkennen können.
Es gibt keine Testfunktion wie Pytest oder JUnit
Da es eine Versionsverwaltungsfunktion gibt, können Sie zur vorherigen Version zurückkehren

Tatsächlicher Betrieb

Paxata besteht aus drei Komponenten:

#	Komponente	Erläuterung
1	Bibliothek	Datensätze verwalten (die Projektausgabe wird auch hier verwaltet)
2	Projekt	Definition der Datenverarbeitung
3	Projektablauf	Definition des Projektverarbeitungsablaufs und des Ausführungsplans

Bei der Entwicklung

Importieren Sie den Datensatz in die Bibliothek
Definieren Sie den Prozess im Projekt
Planen Sie die Verarbeitung im Projektablauf
Überprüfen Sie das Verarbeitungsergebnis in der Bibliothek

Das ist der allgemeine Fluss.

Datensatz in Bibliothek importieren

Wenn Sie versuchen, eine CSV-Datei zu importieren, sieht dies folgendermaßen aus. Die Daten wurden von [hier] ausgeliehen (https://opendata.pref.saitama.lg.jp/data/dataset/covid19-jokyo).

Eine Funktion namens "Profil" gibt Ihnen Informationen zu grundlegenden Statistiken und Kategorien für jede Spalte.

Profilergebnisse werden auch in der Bibliothek verwaltet.

Verarbeitung im Projekt definieren

Erstellen wir ein Projekt mit den importierten Daten.

Wenn Sie versuchen, den Datentyp einer Spalte zu ändern oder zu ersetzen, erhalten Sie eine Vorschau des Verarbeitungsergebnisses wie folgt.

Sie können auch neue Spalten mit Funktionen wie Excel mit einem Tool namens "Berechnung" erstellen.

Die Grammatik war ziemlich streng.

Sie können auch mit einem Tool namens "Aggregat" aggregieren. Dies ist jedoch eine Art von Aggregation, die Sie als neue Spalte hinzufügen, wie Sie sie beispielsweise für die Count-Codierung verwenden würden.