Réécrivez le nœud d'ajout d'enregistrement de SPSS Modeler avec Python.

Le nœud d'ajout d'enregistrement ajoute des données verticalement dans SPSS Modeler. Il s'agit d'un processus de traitement qui correspond à UNION ALL en SQL. Réécrivons cela avec des pandas Python.

0. données originales

Cela se fait à l'aide des deux données de capteur chronologiques suivantes. Éléments de données similaires, mais avec des noms de colonnes différents ou une seule colonne.

■ Données 1: Cond4n_e104.csv M_CD: code machine UP_TIIME: disponibilité PUISSANCE: Puissance TEMP: température ERR_CD: code d'erreur

■ Données 2: COND2n.csv Temps: disponibilité Puissance: puissance Température: température Pression: pression Disponibilité: temps de démarrage Statut: code d'état Résultat: code d'erreur

1m. Ajout de la version Record Modeler

Ajouter la donnée 2 "COND2n.csv" selon la colonne de données 1 "Cond4n_e104.csv".

Tout d'abord, utilisez le nœud de filtre pour faire correspondre la colonne de données 2 au nom de colonne de données 1.

Connectez ensuite le nœud d'ajout d'enregistrement. Puisque la colonne correspondant à M_CD n'existe pas dans COND2n.csv de la donnée 2, NULL est entré.

Les données 2 ont été ajoutées aux données 1 comme indiqué ci-dessous.

À propos, dans le nœud d'ajout d'enregistrement, le critère de correspondance de champ par défaut est "nom", mais vous pouvez l'ajouter en fonction de la position de la colonne même si le nom est différent. De plus, si vous souhaitez ajouter une pression, etc. qui n'est incluse que dans les données 2 à ajouter, vous pouvez l'ajouter en sélectionnant «Tous les ensembles de données» dans la source d'entrée du champ. Il est également possible d'ajouter une chaîne de balise qui indique de quelles données proviennent.

1p. Ajout de la version record des pandas

Utilisez renommer et supprimer pour exécuter le processus correspondant au nœud de filtre. Utilisez renommer pour aligner le nom de la colonne avec les données 1 et drop pour supprimer les colonnes inutiles.

#Alignez la colonne de données 2 avec le nom de colonne de données 1.
df2_1=df2.rename(columns={'Time': 'UP_TIME', 'Power': 'POWER', 'Temperature': 'TEMP', 'Outcome': 'ERR_CD'})\
    .drop(['Pressure','Uptime','Status'],axis=1)
df2_1

Ensuite, le processus d'ajout d'enregistrement correspondant au noeud d'ajout d'enregistrement est exécuté. Il existe deux méthodes, append et concat. Le résultat est le même dans les deux cas. Lors de la combinaison de trois données ou plus, je pense qu'il est plus facile de comprendre comment écrire concat.

#Comment utiliser append
df1.append(df2_1)

#Comment utiliser concat
pd.concat([df1,df2_1])

• Référence
• Extraire / supprimer les lignes dupliquées de pandas.DataFrame, Series | note.nkmk.me
• https://note.nkmk.me/python-pandas-duplicated-drop-duplicates/
• pandas.DataFrame.append — pandas 1.1.4 documentation
• https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.append.html#pandas.DataFrame.append

2. Échantillon

L'échantillon est placé ci-dessous.

courant https://github.com/hkwd/200611Modeler2Python/raw/master/append/append.str notebook https://github.com/hkwd/200611Modeler2Python/blob/master/append/append.ipynb Les données https://raw.githubusercontent.com/hkwd/200611Modeler2Python/master/data/Cond4n_e104.csv https://raw.githubusercontent.com/hkwd/200611Modeler2Python/master/data/COND2n.csv

■ Environnement de test Modeler 18.2.2 Windows 10 64bit Python 3.7.9 pandas 1.0.5

4. Informations de référence

Noeud d'enregistrement en double https://www.ibm.com/support/knowledgecenter/ja/SS3RA7_18.2.1/modeler_mainhelp_client_ddita/clementine/distinct_settingstab.html