[PYTHON] Ensembles de données de sélection de fonctionnalités

Feature Selection Datasets

Les ensembles de données de sélection de fonctionnalités sont un ensemble de données qui semble avoir été collecté pour étudier les méthodes d'apprentissage automatique et d'analyse comparative.

http://featureselection.asu.edu/datasets.php

Comme il y a tellement de données, je voulais lister le contenu et trouver les bonnes données, donc je l'ai analysé à la légère.

En plus de récupérer les données et d'examiner la structure des données, j'ai également utilisé RandomForestClassifier de scikit-learn pour examiner la difficulté du problème de classification.

code

import os
import timeit
from scipy import io
import pandas as pd
import urllib.request
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

Cliquez ici pour une liste des données acquises. J'ai corrigé quelques URL incorrectes.

dataset_url = [
        "http://featureselection.asu.edu/files/datasets/BASEHOCK.mat",
        "http://featureselection.asu.edu/files/datasets/PCMAC.mat",
        "http://featureselection.asu.edu/files/datasets/RELATHE.mat",
        "http://featureselection.asu.edu/files/datasets/COIL20.mat",
        "http://featureselection.asu.edu/files/datasets/ORL.mat",
        "http://featureselection.asu.edu/files/datasets/orlraws10P.mat",
        "http://featureselection.asu.edu/files/datasets/pixraw10P.mat",
        "http://featureselection.asu.edu/files/datasets/warpAR10P.mat",
        "http://featureselection.asu.edu/files/datasets/warpPIE10P.mat",
        "http://featureselection.asu.edu/files/datasets/Yale.mat",
        "http://featureselection.asu.edu/files/datasets/USPS.mat",
        "http://featureselection.asu.edu/files/datasets/ALLAML.mat",
        "http://featureselection.asu.edu/files/datasets/Carcinom.mat",
        "http://featureselection.asu.edu/files/datasets/CLL_SUB_111.mat",
        "http://featureselection.asu.edu/files/datasets/colon.mat",
        "http://featureselection.asu.edu/files/datasets/GLI_85.mat",
        "http://featureselection.asu.edu/files/datasets/GLIOMA.mat",
        "http://featureselection.asu.edu/files/datasets/leukemia.mat",
        "http://featureselection.asu.edu/files/datasets/lung.mat",
        "http://featureselection.asu.edu/files/datasets/lung_discrete.mat",
        "http://featureselection.asu.edu/files/datasets/lymphoma.mat",
        "http://featureselection.asu.edu/files/datasets/nci9.mat",
        "http://featureselection.asu.edu/files/datasets/Prostate_GE.mat",
        "http://featureselection.asu.edu/files/datasets/SMK_CAN_187.mat",
        "http://featureselection.asu.edu/files/datasets/TOX_171.mat",
        "http://featureselection.asu.edu/files/datasets/arcene.mat",
        "http://featureselection.asu.edu/files/datasets/gisette.mat",
        "http://featureselection.asu.edu/files/datasets/Isolet.mat",
        "http://featureselection.asu.edu/files/datasets/madelon.mat"
]

result = {
    'dataset':[],
    'byte':[],
    'X.shape':[],
    'X_type':[],
    'y.shape':[],
    'n_class':[],
    'RF_max':[],
    'RF_mean':[],
    'RF_min':[],
    'sec':[],
    }

for url in dataset_url:
    result['dataset'].append(url.split("/")[-1])

    filename = 'dataset.mat'
    urllib.request.urlretrieve(url, filename)
    result['byte'].append(os.path.getsize(filename))

    matdata = io.loadmat(filename, squeeze_me=True)
    X = matdata['X']
    y = matdata['Y'].flatten()
    result['X.shape'].append(X.shape)
    result['X_type'].append(pd.DataFrame(X).nunique()[0])

    result['y.shape'].append(y.shape)
    result['n_class'].append(pd.DataFrame(y).nunique()[0])

    scores = []
    times = []
    for _ in range(10):
        X_train, X_test, y_train, y_test = train_test_split(X, y)
        model = RandomForestClassifier()
        times.append(timeit.timeit(lambda: model.fit(X_train, y_train), number=1))
        scores.append(model.score(X_test,y_test))

    result['RF_max'].append(max(scores))
    result['RF_mean'].append(sum(scores) / len(scores))
    result['RF_min'].append(min(scores))

    result['sec'].append(sum(times) / len(times))

résultat

• dataset: le nom du dataset
• octet: taille de l'ensemble de données (octet)
• X.shape: La forme de la variable explicative
• X_type: Une variation du nombre contenu dans la variable explicative. S'il vaut 2, il peut être considéré comme une valeur discrète ne contenant que deux types de valeurs. Si elle est suffisamment grande, elle peut être considérée comme une valeur sensiblement continue.
• y.shape: La forme de la variable objectif
• n_class: Variation numérique de la variable objectif, c'est-à-dire le nombre de classes.
• RF_max, RF_mean, RF_min: taux de précision maximum, moyen et minimum lors de la résolution de problèmes de classification dans une forêt aléatoire
• sec: Temps moyen (sec) nécessaire pour résoudre le problème de classification

pd.DataFrame(result).sort_values("RF_max")

Je pensais que ce serait ennuyeux de résoudre un problème trop simple, alors je les ai classés par ordre décroissant de RF_max.

J'espère que cela vous sera utile pour choisir un ensemble de données.