Lesen und analysieren Sie den Datensatz im Arff-Format mit python scipy.io

Einführung

Ich musste das Weka-Dataset im Arff-Format analysieren und hatte ein kleines Problem damit, es von Python lesen und verwenden zu können. Deshalb werde ich es zusammenfassen.

Lesen

Es kann mit loadaiff () in scipy.io geladen werden. (Siehe scipy.io Referenz) https://docs.scipy.org/doc/scipy-0.18.1/reference/tutorial/io.html

readarff.py


from scipy.io import arff
import numpy as np
dataset, meta = arff.loadarff("DARPA99Week3-46.arff")

Array-Konvertierung

Um mit scipy oder scikit-learn zu analysieren, möchte ich es zu einem normalen Numpy-Array machen, also konvertiere es mit dem folgenden Skript. (Siehe "scipy.io loadarff-Ergebnis für scikit-learn vorbereiten" im Stapelüberlauf.)

arff1.py


ds=np.asarray(dataset.tolist(), dtype=np.float32)
target=np.asarray(ds[:,22].tolist(), dtype=np.int8)
train=ds[:, :21]

Oder

arff2.py


train_data = dataset[meta.names()[:-1]]
train_array = train_data.view(np.float).reshape(data.shape + (-1,))

Grafikanzeige

Sobald Sie ein Numpy-Array haben, können Sie Matplotlib usw. verwenden, um Diagramme anzuzeigen und Analysen durchzuführen.

hist.py


%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np

duration=ds[:,16]
plt.hist(duration, bins=50)
plt.show()

Referenz

scipy.io Referenz https://docs.scipy.org/doc/scipy-0.18.1/reference/tutorial/io.html

Prepare scipy.io loadarff result for scikit-learn (Stack Overflow) http://stackoverflow.com/questions/22873434/prepare-scipy-io-loadarff-result-for-scikit-learn

Recommended Posts

Lesen und analysieren Sie den Datensatz im Arff-Format mit python scipy.io
Lesen Sie die json-Datei mit Python, formatieren Sie sie und geben Sie json aus
Lesen Sie CSV und analysieren Sie mit Pandas und Seaborn
Lesen und formatieren Sie CSV-Dateien gemischt mit Komma-Registerkarten mit Python-Pandas
Lesen Sie JSON mit Python und geben Sie CSV aus
[Python3] Lesen und Schreiben mit datetime isoformat mit json
Lesen und Schreiben von Dateien mit Slackbot ~ Bot-Entwicklung mit Python ~
Programmieren mit Python und Tkinter
Lesen Sie CSV mit Python-Pandas
Python und Hardware-Verwenden von RS232C mit Python-
Python-Einzug und String-Format
Python mit Pyenv und Venv
Formatieren Sie json mit Vim (mit Python)
String-Format mit Python% -Operator
Funktioniert mit Python und R.
Lesen von JSON-Daten mit Python
[Python] Lesen Sie die CSV-Datei und zeigen Sie die Abbildung mit matplotlib an
Analysieren Sie Aktien mit Python und suchen Sie nach günstigen Handelsphasen
Kommunizieren Sie mit FX-5204PS mit Python und PyUSB
Leuchtendes Leben mit Python und OpenCV
Extrahieren Sie das Bigquery-Dataset und die Tabellenliste mit Python und geben Sie es in CSV aus
Roboter läuft mit Arduino und Python
Installieren Sie Python 2.7.9 und Python 3.4.x mit pip.
Neuronales Netzwerk mit OpenCV 3 und Python 3
Scraping mit Node, Ruby und Python
Scraping mit Python, Selen und Chromedriver
Kratzen mit Python und schöner Suppe
Lesen und verwenden Sie Python-Dateien aus Python
JSON-Codierung und -Decodierung mit Python
Hadoop-Einführung und MapReduce mit Python
[GUI in Python] PyQt5-Drag & Drop-
Lesen und Schreiben von NetCDF mit Python
Extrahieren Sie Text aus [python] pdf und lesen Sie Zeichen mit Open-Jtalk vor
Ich habe mit PyQt5 und Python3 gespielt
Lesen Sie Dateien parallel zu Python
Lesen und Schreiben von CSV mit Python
Mehrfachintegration mit Python und Sympy
Laden Sie fbx aus Python mitinema4d
Koexistenz von Python2 und 3 mit CircleCI (1.0)
Lassen Sie uns die Stimme mit Python # 1 FFT analysieren
Sugoroku-Spiel und Zusatzspiel mit Python
FM-Modulation und Demodulation mit Python
Erstellen und lesen Sie Messagepacks in Python
[Python] Format, wenn to_csv mit Pandas
Setzen Sie Cabocha 0.68 in Windows ein und versuchen Sie, die Abhängigkeit mit Python zu analysieren
Lesen Sie die Datei mit Python und löschen Sie die Zeilenumbrüche [Hinweise zum Lesen der Datei]
Lesen Sie die CSV-Datei mit Python und konvertieren Sie sie unverändert in DataFrame
Kommunizieren Sie mit gRPC zwischen Elixir und Python
Datenpipeline-Aufbau mit Python und Luigi
Berechnen Sie das Standardgewicht und zeigen Sie es mit Python an
Überwachen Sie Mojo-Ausfälle mit Python und Skype
FM-Modulation und Demodulation mit Python Part 3
CSV-Datei mit Python lesen (CSV-Datei herunterladen und analysieren)
Python-Installation und Paketverwaltung mit pip
Verwenden von Python und MeCab mit Azure Databricks
POST verschieden mit Python und empfange mit Flask
Bilder mit Pupil, Python und OpenCV aufnehmen
Fraktal zum Erstellen und Spielen mit Python
Ein Memo mit Python2.7 und Python3 in CentOS