Schreiben Sie den Datensatzadditionsknoten von SPSS Modeler mit Python neu.

Der Datensatzadditionsknoten fügt Daten vertikal in SPSS Modeler hinzu. Dies ist ein Verarbeitungsprozess, der UNION ALL in SQL entspricht. Lassen Sie uns dies mit Python-Pandas umschreiben.

0. Originale Daten

Dies erfolgt anhand der folgenden zwei Zeitreihen-Sensordaten. Ähnliche Datenelemente, jedoch mit unterschiedlichen Spaltennamen oder nur einer Spalte.

■ Daten 1: Cond4n_e104.csv M_CD: Maschinencode UP_TIIME: Betriebszeit KRAFT: Macht TEMP: Temperatur ERR_CD: Fehlercode

■ Daten 2: COND2n.csv Zeit: Betriebszeit Macht: Macht Temperatur: Temperatur Druck: Druck Betriebszeit: Startzeit Status: Statuscode Ergebnis: Fehlercode

1m. Hinzufügen der Datensatz-Modeler-Version

Fügen Sie Daten 2 "COND2n.csv" gemäß der Datenspalte 1 "Cond4n_e104.csv" hinzu.

Verwenden Sie zunächst den Filterknoten, um die Datenspalte 2 mit dem Spaltennamen von Daten 1 abzugleichen.

Verbinden Sie dann den Knoten zum Hinzufügen eines Datensatzes. Da die Spalte M_CD in COND2n.csv von Daten 2 nicht vorhanden ist, wird NULL eingegeben.

Daten 2 wurden wie unten gezeigt zu Daten 1 hinzugefügt.

Übrigens lautet das Standardkriterium für die Feldübereinstimmung im Datensatzadditionsknoten "Name". Sie können es jedoch basierend auf der Spaltenposition hinzufügen, auch wenn der Name unterschiedlich ist. Wenn Sie Druck usw. hinzufügen möchten, der nur in den hinzuzufügenden Daten 2 enthalten ist, können Sie ihn hinzufügen, indem Sie in der Feldeingabequelle "Alle Datensätze" auswählen. Es ist auch möglich, eine Tag-Zeichenfolge hinzuzufügen, die angibt, von welchen Daten sie stammen.

1p. Hinzufügung der Rekord-Pandas-Version

Verwenden Sie Umbenennen und Löschen, um den dem Filterknoten entsprechenden Prozess auszuführen. Verwenden Sie Umbenennen, um den Spaltennamen an Daten 1 auszurichten, und löschen Sie, um nicht benötigte Spalten zu löschen.

#Richten Sie die Datenspalte 2 am Spaltennamen von Daten 1 aus.
df2_1=df2.rename(columns={'Time': 'UP_TIME', 'Power': 'POWER', 'Temperature': 'TEMP', 'Outcome': 'ERR_CD'})\
    .drop(['Pressure','Uptime','Status'],axis=1)
df2_1

Als nächstes wird der dem Datensatzadditionsknoten entsprechende Datensatzadditionsprozess ausgeführt. Es gibt zwei Methoden: Anhängen und Concat. Das Ergebnis ist in beiden Fällen das gleiche. Wenn Sie drei oder mehr Daten kombinieren, ist es meiner Meinung nach einfacher zu verstehen, wie man Concat schreibt.

#Verwendung von append
df1.append(df2_1)

#Wie man concat benutzt
pd.concat([df1,df2_1])

• Referenz
• Extrahieren / Löschen doppelter Zeilen von pandas.DataFrame, Series | note.nkmk.me
• https://note.nkmk.me/python-pandas-duplicated-drop-duplicates/
• pandas.DataFrame.append — pandas 1.1.4 documentation
• https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.append.html#pandas.DataFrame.append

2. Probe

Die Probe wird unten platziert.

Strom https://github.com/hkwd/200611Modeler2Python/raw/master/append/append.str notebook https://github.com/hkwd/200611Modeler2Python/blob/master/append/append.ipynb Daten https://raw.githubusercontent.com/hkwd/200611Modeler2Python/master/data/Cond4n_e104.csv https://raw.githubusercontent.com/hkwd/200611Modeler2Python/master/data/COND2n.csv

■ Testumgebung Modeler 18.2.2 Windows 10 64bit Python 3.7.9 pandas 1.0.5

4. Referenzinformationen

Doppelter Datensatzknoten https://www.ibm.com/support/knowledgecenter/ja/SS3RA7_18.2.1/modeler_mainhelp_client_ddita/clementine/distinct_settingstab.html