[PYTHON] Feature-Auswahldatensätze

Feature Selection Datasets

Feature Selection Datasets ist ein Datensatz, der anscheinend für das Studium von Methoden des maschinellen Lernens und des Benchmarking gesammelt wurde.

http://featureselection.asu.edu/datasets.php

Da es so viele Daten gibt, wollte ich den Inhalt auflisten und die richtigen Daten finden, also habe ich sie leicht analysiert.

Neben dem Abrufen der Daten und dem Betrachten der Datenstruktur habe ich auch den RandomForestClassifier von scikit-learn verwendet, um die Schwierigkeit des Klassifizierungsproblems zu untersuchen.

Code

import os
import timeit
from scipy import io
import pandas as pd
import urllib.request
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

Klicken Sie hier für eine Liste der erfassten Daten. Ich habe ein paar falsche URLs behoben.

dataset_url = [
        "http://featureselection.asu.edu/files/datasets/BASEHOCK.mat",
        "http://featureselection.asu.edu/files/datasets/PCMAC.mat",
        "http://featureselection.asu.edu/files/datasets/RELATHE.mat",
        "http://featureselection.asu.edu/files/datasets/COIL20.mat",
        "http://featureselection.asu.edu/files/datasets/ORL.mat",
        "http://featureselection.asu.edu/files/datasets/orlraws10P.mat",
        "http://featureselection.asu.edu/files/datasets/pixraw10P.mat",
        "http://featureselection.asu.edu/files/datasets/warpAR10P.mat",
        "http://featureselection.asu.edu/files/datasets/warpPIE10P.mat",
        "http://featureselection.asu.edu/files/datasets/Yale.mat",
        "http://featureselection.asu.edu/files/datasets/USPS.mat",
        "http://featureselection.asu.edu/files/datasets/ALLAML.mat",
        "http://featureselection.asu.edu/files/datasets/Carcinom.mat",
        "http://featureselection.asu.edu/files/datasets/CLL_SUB_111.mat",
        "http://featureselection.asu.edu/files/datasets/colon.mat",
        "http://featureselection.asu.edu/files/datasets/GLI_85.mat",
        "http://featureselection.asu.edu/files/datasets/GLIOMA.mat",
        "http://featureselection.asu.edu/files/datasets/leukemia.mat",
        "http://featureselection.asu.edu/files/datasets/lung.mat",
        "http://featureselection.asu.edu/files/datasets/lung_discrete.mat",
        "http://featureselection.asu.edu/files/datasets/lymphoma.mat",
        "http://featureselection.asu.edu/files/datasets/nci9.mat",
        "http://featureselection.asu.edu/files/datasets/Prostate_GE.mat",
        "http://featureselection.asu.edu/files/datasets/SMK_CAN_187.mat",
        "http://featureselection.asu.edu/files/datasets/TOX_171.mat",
        "http://featureselection.asu.edu/files/datasets/arcene.mat",
        "http://featureselection.asu.edu/files/datasets/gisette.mat",
        "http://featureselection.asu.edu/files/datasets/Isolet.mat",
        "http://featureselection.asu.edu/files/datasets/madelon.mat"
]

result = {
    'dataset':[],
    'byte':[],
    'X.shape':[],
    'X_type':[],
    'y.shape':[],
    'n_class':[],
    'RF_max':[],
    'RF_mean':[],
    'RF_min':[],
    'sec':[],
    }

for url in dataset_url:
    result['dataset'].append(url.split("/")[-1])

    filename = 'dataset.mat'
    urllib.request.urlretrieve(url, filename)
    result['byte'].append(os.path.getsize(filename))

    matdata = io.loadmat(filename, squeeze_me=True)
    X = matdata['X']
    y = matdata['Y'].flatten()
    result['X.shape'].append(X.shape)
    result['X_type'].append(pd.DataFrame(X).nunique()[0])

    result['y.shape'].append(y.shape)
    result['n_class'].append(pd.DataFrame(y).nunique()[0])

    scores = []
    times = []
    for _ in range(10):
        X_train, X_test, y_train, y_test = train_test_split(X, y)
        model = RandomForestClassifier()
        times.append(timeit.timeit(lambda: model.fit(X_train, y_train), number=1))
        scores.append(model.score(X_test,y_test))

    result['RF_max'].append(max(scores))
    result['RF_mean'].append(sum(scores) / len(scores))
    result['RF_min'].append(min(scores))

    result['sec'].append(sum(times) / len(times))

Ergebnis

• Datensatz: Der Name des Datensatzes
• Byte: Datensatzgröße (Byte)
• X.shape: Die Form der erklärenden Variablen
• X_type: Eine Variation der in der erklärenden Variablen enthaltenen Nummer. Wenn es 2 ist, kann es als diskreter Wert betrachtet werden, der nur zwei Arten von Werten enthält. Wenn es ausreichend groß ist, kann es als ein im wesentlichen kontinuierlicher Wert betrachtet werden.
• y.shape: Die Form der Zielvariablen
• n_class: Numerische Variation der Zielvariablen, dh die Anzahl der Klassen.
• RF_max, RF_mean, RF_min: Maximale, durchschnittliche und minimale Genauigkeitsrate bei der Lösung von Klassifizierungsproblemen in einer zufälligen Gesamtstruktur
• Sek.: Durchschnittliche Zeit (Sek.), die zur Lösung des Klassifizierungsproblems erforderlich ist

pd.DataFrame(result).sort_values("RF_max")

Ich dachte, es wäre langweilig, ein zu einfaches Problem zu lösen, also ordnete ich sie in absteigender Reihenfolge von RF_max an.

Ich hoffe, es wird Ihnen bei der Auswahl eines Datensatzes helfen.