Je suis externalisé pour analyser les données des entreprises clientes. L'autre jour, j'ai reçu une demande d'un client pour évaluer le produit afin d'envisager l'introduction de Paxata, et j'ai eu l'opportunité d'essayer Paxata à titre d'essai. Paxata est un outil de préparation de données acquis par DataRobot en 2019 [^ 1]. Il existe deux modèles à utiliser, soit vous abonner, soit les mettre dans la machine virtuelle d'Azure / AWS, et cette fois, c'était le dernier.

Impressions

C'est juste une impression. Le fait que chacun ait ses avantages ou ses inconvénients dépend du moment et du cas.

―― Même s'il ne s'agit pas de codage, une certaine capacité de réflexion en programmation est requise

Les outils non codants ne sont pas magiques
Puisque le développeur lui-même doit concevoir la combinaison des pièces et traiter les données, c'est un obstacle majeur pour les personnes qui ne peuvent pas programmer du tout.
Haute visibilité et facile à comprendre quel type de traitement est effectué ――Si vous rédigez un document de conception détaillé, il sera inutile --Il existe une fonction de prévisualisation pour le traitement des résultats et une fonction d'identification automatique de nom pour les chaînes de caractères.
Vous pouvez comparer avant et après le remplacement avec aperçu par traitement de remplacement.
S'il y a une différence entre «Co., Ltd.» et «Co., Ltd.» dans la chaîne de caractères, le nom sera automatiquement identifié.
Vous ne pouvez pas faire de traitement très compliqué
Le traitement est en série et ne peut pas être imbriqué, ramifié ou répété ―― Peu importe qui le fait, la finition sera au même niveau (~~ SIer semble l'apprécier ~~) ――Je ne peux pas exporter le processus créé vers Python --Bender enfermé
Actuellement, seul DataRobot prend en charge la coopération avec l'apprentissage automatique.
Pour utiliser les données traitées avec scicit-learn, il est nécessaire de les exporter une fois dans une base de données ou un fichier.
Difficile d'intégrer les processus de revue et de déploiement
Comme il n'y a pas de concept de déploiement tel que l'environnement de développement / production, vous serez en contact direct avec le produit en fonctionnement pendant la maintenance. ――C'est difficile à examiner car vous ne pouvez pas émettre de pull request ou voir des différences comme git. --Il n'y a pas de fonction de test comme pytest ou JUnit
Puisqu'il existe une fonction de gestion de version, vous pouvez revenir à la version précédente

Fonctionnement réel

Paxata se compose de trois éléments:

#	composant	La description
1	Bibliothèque	Gérer les jeux de données (la sortie du projet est également gérée ici)
2	projet	Définition du traitement des données
3	Flux de projet	Définition du flux de traitement du projet et du calendrier d'exécution

Lors du développement

Importez le jeu de données dans la bibliothèque
Définissez le processus dans le projet
Planifiez le traitement dans le flux du projet
Vérifiez le résultat du traitement dans la bibliothèque

Tel est le flux général.

Importer le jeu de données dans la bibliothèque

Si vous essayez d'importer un fichier CSV, il ressemblera à ceci. Les données ont été empruntées à ici.

Une fonctionnalité appelée "Profil" vous donnera des informations sur les statistiques de base et les catégories pour chaque colonne.

Les résultats de profil sont également gérés dans la bibliothèque.

Définir le traitement dans le projet

Créons un projet avec les données importées.

Si vous essayez de modifier ou de remplacer le type de données d'une colonne, vous obtiendrez un aperçu du résultat du traitement comme celui-ci.

Vous pouvez également créer de nouvelles colonnes en utilisant des fonctions comme Excel avec un outil appelé "Calcul".

La grammaire était assez sévère.

Vous pouvez également agréger avec un outil appelé «agréger». Cependant, il s'agit d'un type d'agrégation que vous ajoutez en tant que nouvelle colonne, par exemple lorsque vous comptez encoder.

Pour l'agrégation ordinaire (?), Utilisez un outil appelé "Forme".

Planifier le traitement dans le flux du projet

Planifions le projet créé. En plus de l'intervalle de temps, vous pouvez également spécifier le format crontab.

Cela ressemble à ceci lorsqu'il est affiché dans un graphique. J'ai peur qu'il n'y ait qu'un seul projet ...

Une fois exécuté, cela ressemble à ceci.

Le résultat du traitement est géré dans la bibliothèque comme un ensemble de réponses.

la fin

Cet article a été rédigé avec l'autorisation de nos entreprises clientes et des distributeurs Paxata.