[PYTHON] J'ai brièvement résumé ce que vous devez garder à l'esprit lorsque vous apprenez avec / sans professeur

En mémoire, je résumerai le plan, les classes, les exemples, les mots-clés à utiliser et les sites qui ont été utiles pour apprendre sur «l'apprentissage avec l'enseignant» et «l'apprentissage sans l'enseignant».

"Apprendre avec l'enseignant"

Mecha Zackli: Créez un modèle de prédiction en donnant une formation qui représente les caractéristiques et les données de réponse correspondantes. Il existe des problèmes de classification et de régression dans la prédiction.

Chaque méthode

① Régression linéaire

Trouvez le paramètre avec la plus petite valeur de fonction de perte (fonction d'erreur) parmi toutes les lignes droites.

--Classe à utiliser: sklearn.linear_model.LinearRegression --Exemple: Relation entre le nombre de visiteurs et les ventes, etc. --Mots clés: régression simple, régression multiple, régression polypoly, régression non linéaire --Site de référence: [Régression linéaire avec scikit-learn (analyse de régression unique / analyse de régression multiple)](https://pythondatascience.plavox.info/scikit-learn/%E7%B7%9A%E5%BD%A2%E5 % 9B% 9E% E5% B8% B0)

② Retour logistique

Il s'agit d'un algorithme de classification binaire appliqué aux problèmes de classification.

--Classe à utiliser: sklearn.linear_model.LogisticRegression --Exemple: Relation entre visites commerciales / satisfaction et ventes, etc. --Mots clés: fonction sigmoïde, fonction d'erreur d'entropie croisée --Site de référence: Classification de l'iris par régression logistique de scicit-learn

③ SVM (linéaire)

Un algorithme qui apprend la limite de décision (ligne droite) à partir des données et peut être utilisé à la fois pour la classification et la régression.

--Classe à utiliser: sklearn.svm.SVC --Cas: classification de texte, reconnaissance numérique, etc. --Mots clés: marge dure, marge souple --Site de référence: Qu'est-ce que Support Vector Machine (SVM)? ~ De l'implémentation basique à Python ~

④ SVM (méthode du noyau)

L'ensemble de données est séparé après avoir mappé les données de l'espace réel à un espace qui peut être séparé par un superplan par une fonction de noyau.

--Classe à utiliser: sklearn.svm.SVC

⑤ Baies naïves

En supposant que chaque quantité d'entités est indépendante, la probabilité que les données soient une étiquette est calculée.

--Classe à utiliser: sklearn.naive_bayes.MultinomialNB (Other GaussianNB, GaussianNB, etc.)

⑥ Forêt aléatoire

Recueillir les résultats de plusieurs arbres de décision avec diversité et produire des résultats de classification par décision majoritaire.

--Classe à utiliser: sklearn.ensemble.RandomForestClassifier --Cas: Classification par historique des actions et attributs --Mots-clés: coefficient de Gini, méthode bootstrap --Site de référence: [Introduction] Analyse d'arbre de décision pour les débutants par les débutants

⑦ Réseau neuronal

Apprenez les limites de décision complexes en prenant en sandwich une couche intermédiaire entre les entrées et les sorties.

--Classe à utiliser: sklearn.neural_network.MLPClassifier --Cas: reconnaissance d'image, reconnaissance vocale --Mots clés: Perceptron simple, fonction d'activation, arrêt précoce --Site de référence: Créons un réseau neuronal par vous-même

⑧ méthode de voisinage k

Le jugement est rendu par décision majoritaire de k classifications à proximité des données d'entrée.

--Classe à utiliser: sklearn.neighbors.KNeighborsClassifier --Site de référence: Machine learning ~ Méthode K-voisinage ~

Méthode d'évaluation

Site de référence: Générer une matrice de confusion avec scikit-learn, calculer le taux de précision, le taux de rappel, la valeur F1, etc. Calculer la courbe ROC et son AUC avec scicit-learn

Site de référence: [Évaluer le résultat du modèle de régression avec scikit-learn](https://pythondatascience.plavox.info/scikit-learn/%E5%9B%9E%E5%B8%B0%E3%83%A2%] E3% 83% 87% E3% 83% AB% E3% 81% AE% E8% A9% 95% E4% BE% A1)

Comment éviter le surapprentissage

Site de référence: Affinons les hyper paramètres du modèle avec scicit-learn!

Site de référence: [About the method of division of learning data and test data in machine learning and deep learning](https://newtechnologylifestyle.net/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7 % BF% 92% E3% 80% 81% E3% 83% 87% E3% 82% A3% E3% 83% BC% E3% 83% 97% E3% 83% A9% E3% 83% BC% E3% 83 % 8B% E3% 83% B3% E3% 82% B0% E3% 81% A7% E3% 81% AE% E5% AD% A6% E7% BF% 92% E3% 83% 87% E3% 83% BC % E3% 82% BF% E3% 81% A8 /)

Site de référence: Explication de la régression des crêtes et de la régression Lasso dans les plus brefs délais (apprentissage du machine learning # 3)

"Apprendre sans professeur"

Mecha Zackri: Contrairement à l'apprentissage supervisé, il n'y a pas de variable objective. Ici, la structure des données d'entité est extraite en la transformant en une autre forme ou en trouvant un sous-ensemble. Les techniques comprennent la réduction de dimension et le regroupement.

① Analyse en composantes principales (ACP)

Résumez un grand nombre de variables explicatives quantitatives en moins d'indicateurs et de variables synthétiques pour réduire les variables des données.

--Classe à utiliser: sklearn.decomposition.PCA --Mots clés: matrice distribuée co-distribuée, problème de valeur propre, taux de cotisation cumulé --Site de référence: Analyse des composants principaux et problème de valeur propre

② Méthode de la moyenne K (méthode des K-moyennes)

Classez les données en un nombre donné de clusters et divisez les similaires en groupes.

--Classe à utiliser: sklearn.cluster.KMeans --Cas: analyse de données marketing, classification d'images --Mots clés: somme des carrés dans le cluster, méthode du coude, analyse de la silhouette, k-means ++, méthode k-medoids --Site de référence: Comment trouver le nombre optimal de clusters pour k-means

③ Analyse de la signification latente (LSA)

Dans les données de phrase, la similitude entre les mots et les phrases est obtenue en réduisant la quantité de caractéristiques du nombre de mots au nombre de sujets latents.

--Classe à utiliser: sklearn.decomposition.TruncatedSVD --Mots clés: décomposition de singularité, modèle de sujet, tf-idf --Site de référence: Théorie de l'analyse du sens latent par apprentissage automatique

④ Décomposition en facteurs matriciels non négatifs (NMF)

Une méthode de réduction de dimension qui a la propriété que toutes les valeurs de données d'entrée et de sortie sont non négatives.

--Classe à utiliser: sklearn.decomposition.NMF --Cas: Recommandation, text mining --Site de référence: Comprendre la décomposition du facteur de matrice non négative (NMF) en douceur

⑤ Méthode d'allocation de direction potentielle (LDA)

Créez un sujet à partir des mots du document et demandez de quel sujet se compose le document.

--Classe à utiliser: sklearn.decomposition.LatentDirichletAllocation --Cas: traitement du langage naturel --Mots clés: modèle de sujet, distribution de Diricle --Site de référence: Explication des points difficiles à comprendre pour les débutants dans le modèle de sujet (LDA)

⑥ Distribution gaussienne mixte (GMM)

Le regroupement est effectué par connexion linéaire de plusieurs distributions gaussiennes.

--Classe à utiliser: sklearn.mixture.GaussianMixture --Mot clé: distribution gaussienne

⑦ Incorporation linéaire locale (LLE)

La réduction de dimension est effectuée pour les données non linéaires.

--Classe à utiliser: sklearn.manifold.LocallyLinearEmbedding

⑧t méthode d'inclusion de voisinage stochastique distribué (t-SNE)

Il s'agit d'une méthode de réduction des données de grande dimension à deux ou trois dimensions, et est utilisée pour la visualisation des données.

--Classe à utiliser: sklearn.manifold.TSNE

Recommended Posts

J'ai brièvement résumé ce que vous devez garder à l'esprit lorsque vous apprenez avec / sans professeur
Que dois-je faire avec DICOM de MPEG2?
Précautions lors de l'utilisation de Python avec AtCoder
Choses à garder à l'esprit lors de l'utilisation de cgi avec python.
Points à garder à l'esprit lors de la conversion d'un vecteur de ligne en vecteur de colonne avec ndarray
J'ai échoué lors du clustering avec k-means, mais que dois-je faire (implémentation du noyau k-means)
Ce que j'ai fait quand je suis resté coincé dans le délai avec lambda python
Utilisez le test t de Welch (devrait) avec ou sans dispersion égale
[Question] Que se passe-t-il si vous utilisez% en python?
Qu'utilisez-vous lorsque vous testez avec Python?
Ce que j'ai fait quand j'étais en colère de le mettre avec l'option enable-shared