Einführung

Ich hatte ein vages Verständnis der Bewertungsfunktion (Bewertungsindex) und fasste die typischen Bewertungsfunktionen zusammen. Hier finden Sie eine kurze Zusammenfassung der Bewertungsfunktionen, der Bedeutung der einzelnen Bewertungsfunktionen und des Beispielcodes bei der tatsächlichen Verwendung.

Was ist eine Bewertungsfunktion?

Die Bewertungsfunktion ist ** ein Index, der die Güte des trainierten Modells misst **.

Unterschied zur Zielfunktion

Wenn Sie maschinelles Lernen studieren, sehen Sie verschiedene Namen wie Zielfunktion, Verlustfunktion und Kostenfunktion. Lassen Sie uns zunächst den Unterschied zur Zielfunktion überprüfen.

--Zielfunktion

Für das Modelltraining optimierte Funktionen
Muss differenzieren können

Mit anderen Worten, die Zielfunktion wird während des Lernens optimiert, und die Bewertungsfunktion ist der Index zur Bestätigung der Güte nach dem Lernen.

Die Verlustfunktion, die Kostenfunktion und die Fehlerfunktion sollen Teil der Zielfunktion sein. (Es scheint einige Kontroversen zu geben, aber es scheint, dass Sie sich das fast gleich vorstellen können.)

Rückkehr

Zunächst werde ich die Bewertungsfunktion des Regressionsproblems zusammenfassen.

MAE(Mean Absolute Error)

Durchschnittlicher absoluter Fehler. Stellt den Durchschnitt der absoluten Werte der Differenz zwischen dem wahren Wert und dem vorhergesagten Wert dar.

Bewerten Sie die Wirkung von Ausreißern

\textrm{MAE} = \frac{1}{N}\sum_{i=1}^{N}|y_{i}-\hat{y}_{i}|

N :Anzahl der Datensätze\\
y_{i} :Wahrer Wert des i-ten Datensatzes\\
\hat{y}_{i} :Voraussichtlicher Wert des i-ten Datensatzes

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_true, y_pred)

MSE(Mean Squared Error)

Durchschnittlicher quadratischer Fehler. Stellt den quadratischen Durchschnitt der Differenz zwischen dem wahren Wert und dem vorhergesagten Wert dar.

Bewerten Sie die Wirkung von Ausreißern gründlich
Die Einheit ist das Quadrat der Zielvariablen

\textrm{MSE} = \frac{1}{N}\sum_{i=1}^{N}(y_{i}-\hat{y}_{i})^{2}

from sklearn.metrics import mean_squared_error
mean_squared_error(y_true, y_pred)

RMSE(Root Mean Squared Error)

Durchschnittlicher quadratischer Fehler. Stellt den quadratischen Durchschnitt der Differenz zwischen dem wahren Wert und dem vorhergesagten Wert dar.

Bewerten Sie die Wirkung von Ausreißern gründlich --Einheit ist die gleiche wie die Zielvariable

\textrm{RMSE} = \sqrt{\frac{1}{N}\sum_{i=1}^{N}(y_{i}-\hat{y}_{i})^{2}}

Es kann nicht direkt mit dem Scikit-Lernmodul berechnet werden, daher muss es aus "mean_squared_error" berechnet werden.

from sklearn.metrics import mean_squared_error
from numpy as np
np.sqrt(mean_squared_error(y_true, y_pred))

RMSLE(Root Mean Squared Logarithmic Error)

Es stellt den Durchschnitt der quadratischen Differenz dar, nachdem der logarithmische Wert des wahren Wertes und des vorhergesagten Wertes genommen wurde.

Wird für Daten mit einem breiten Bereich möglicher Werte der Zielvariablen verwendet --Drücken Sie die Differenz als Verhältnis aus

\textrm{RMSLE} = \sqrt{\frac{1}{N}\sum_{i=1}^{N}(\log (1+y_{i})-\log (1+\hat{y}_{i}))^{2}}

from sklearn.metrics import mean_squared_log_error
from numpy as np
np.sqrt(mean_squared_log_error(y_true, y_pred))

Entscheidungskoeffizient

\textrm{R}^{2}。 Es zeigt die Güte der Anpassung der Regressionsanalyse.

Wertvoll ohne Abhängigkeit von der Skala der Zielvariablen
Nehmen Sie einen Wert von 0 bis 1 an

\textrm{R}^{2} = 1 - \frac{\sum_{i=1}^{N}(y_{i}-\hat{y_{i}})^{2}}{\sum_{i=1}^{N}(y_{i}-\bar{y_{i}})^{2}}

\bar{y} = \frac{1}{N}\sum_{i=1}^{N}y_{i}

from sklearn.metrics import r2_score
r2_score(y_true, y_pred)

Binäre Klassifizierung (bei der Vorhersage positiver oder negativer Fälle)

Im Klassifizierungsproblem werden wir die Bewertungsfunktionen zusammenfassen, die im Problem der Vorhersage behandelt werden, ob es sich um ein positives oder ein negatives Beispiel handelt.

Gemischte Matrix

Obwohl es sich nicht um einen Bewertungsindex handelt, wird er als Bewertungsindex für die Vorhersage positiver und negativer Fälle verwendet. Ich werde ihn daher zunächst erläutern.

Die gemischte Matrix tabelliert die folgenden Klassifizierungsergebnisse.

--TP (True Positive): Das richtige Beispiel richtig vorhersagen --TN (True Negative): Negative Beispiele richtig vorhersagen --FP (False Positive): Wird als positives Beispiel vorhergesagt --FN (False Negative): Falsch als negatives Beispiel vorhergesagt

from sklearn.metrics import confusion_matrix
confusion_matrix(y_true, y_pred)

Es wird im folgenden Format ausgegeben.

	Der vorhergesagte Wert ist negativ	Der vorhergesagte Wert ist ein positives Beispiel
Der wahre Wert ist ein negatives Beispiel	TN	FP
Der wahre Wert ist ein positives Beispiel	FN	TP

Accuracy

Richtige Antwortrate. Die Prognose repräsentiert den korrekten Prozentsatz des gesamten Prognoseergebnisses.

Richtige Antwortrate(\textrm{Accuracy}) = \frac{TP + TN}{TP + TN + FP + FN}

from sklearn.metrics import accuracy_score
accuracy_score(y_true, y_pred)

Precision

Konformitätsrate. Zeigt den Prozentsatz der vorhergesagten korrekten Beispiele an.

Compliance-Rate(\textrm{Precision}) = \frac{TP}{TP + FP}

from sklearn.metrics import precision_score
precision_score(y_true, y_pred)

Recall

Erinnern. Stellt den Prozentsatz der vorhergesagten korrekten Beispiele dar.

Erinnern(\textrm{Recall}) = \frac{TP}{TP + FN}

from sklearn.metrics import recall_score
recall_score(y_true, y_pred)

F1-score

F-Wert. Stellt einen ausgewogenen Index für Präzision und Rückruf dar.

Sie wird anhand des harmonisierten Durchschnitts aus Präzision und Rückruf berechnet.

\textrm{F1-score} = \frac{2 \times \textrm{recall} \times \textrm{precision}}{\textrm{recall} + \textrm{precision}}

from sklearn.metrics import f1_score
f1_score(y_true, y_pred)

Binäre Klassifizierung (bei der Vorhersage der Wahrscheinlichkeit, ein positives Beispiel zu sein)

Als nächstes werden wir die Bewertungsfunktionen zusammenfassen, die im Problem der Vorhersage der Wahrscheinlichkeit behandelt werden, was ein positives Beispiel für das Klassifizierungsproblem ist.

logloss

Manchmal auch als Kreuzentropie bezeichnet. Es zeigt, wie sehr die vorhergesagte Wahrscheinlichkeitsverteilung und die korrekte Wahrscheinlichkeitsverteilung gleich sind.

Nehmen Sie einen Wert von 0 bis 1 an ――Es wird kleiner, wenn Sie richtig vorhersagen können

\begin{align}
\textrm{logloss} &= -\frac{1}{N}\sum_{i=1}^{N}(y_{i}\log p_{i} + (1 - y_{i} \log (1 - p_{i}))) \\
&=-\frac{1}{N}\sum_{i=1}^{N} \log \acute{p}_{i}
\end{align}

y_{i} :Beschriftung, die angibt, ob es sich um ein korrektes Beispiel handelt\\
p_{i} :Vorhersagewahrscheinlichkeit, die ein positives Beispiel ist\\
\acute{p}_{i} :Wahrscheinlichkeit der Vorhersage des wahren Wertes

from sklearn.metrics import log_loss
log_loss(y_true, y_prob)

AUC

Stellt den Bereich am unteren Rand der ROC-Kurve dar.

Die zufällige Vorhersage ist 0,5 --1.0 wenn alle richtig vorhergesagt werden
Wird zur Klassifizierung mit unausgeglichenen Daten verwendet
Bewertung aus der Beziehung zwischen der vorhergesagten Wahrscheinlichkeit und dem korrekten Wert (1 oder 0)

from sklearn.metrics import roc_auc_score
roc_acu_score(y_true, y_prob)

Was ist eine ROC-Kurve?

Es ist ein Diagramm, das die Beziehung zwischen der wahr-positiven Rate und der falsch-positiven Rate darstellt, wenn der Schwellenwert mit dem vorhergesagten Wert als positivem Beispiel von 0 auf 1 verschoben wird. Es zeigt, wie sich die wahre positive Rate und die falsche positive Rate ändern, wenn der Schwellenwert geändert wird.

Richtig positive Rate: Prozentsatz aller positiven Fälle, die als positiv vorhergesagt wurden
Falsch positive Rate: Prozentsatz aller negativen Fälle, die als positiv vorhergesagt wurden

(1.0, 1.0) sind alle korrekte Beispiele und werden vorhergesagt
(0.0, 0.0) werden alle als negative Fälle vorhergesagt
(0.0, 1.0) Alle oben genannten werden korrekt vorhergesagt
Die gerade Linie ist eine zufällige Vorhersage (AUC = 0,5)

Klassifizierung mehrerer Klassen

Multi-class accuracy

Es ist ein Index, der die Genauigkeit der binären Klassifizierung auf die Klassifizierung mehrerer Klassen erweitert. Stellt den Prozentsatz der Datensätze dar, die korrekt vorhergesagt wurden.

from sklearn.metrics import accuracy_score
accuracy_score(y_true, y_pred)

mean-F1/macro-F1/micro-F1

Es ist ein Index, der den F1-Score auf die Klassifizierung mehrerer Klassen erweitert.

--mean-F1: Durchschnitt der F1-Punktzahl pro Datensatz --macro-F1: Durchschnitt der F1-Punktzahl für jede Klasse --micro-F1: Berechnen Sie TP / TN / FP / FN für jedes Datensatz-x-Klassenpaar, um den F1-Score zu berechnen

from sklearn.metrics import f1_score
f1_score(y_true, y_pred, average='samples')
f1_score(y_true, y_pred, average='macro')
f1_score(y_true, y_pred, average='micro')

Multi-class logloss

Es ist ein Index, der den Protokollverlust der binären Klassifizierung auf die Klassifizierung mehrerer Klassen erweitert.

\textrm{multiclass logloss} = -\frac{1}{N}\sum_{i=1}^{N}\sum_{m=1}^{M}y_{i,m}\log p_{i,m}

M :Anzahl der Klassen\\
y_{i,m} :Beschriftung, die angibt, ob Datensatz i zur Klasse m gehört\\
p_{i,m} :Voraussichtliche Wahrscheinlichkeit, dass Datensatz i zur Klasse m gehört\\

from sklearn.metrics import log_loss
log_loss(y_true, y_prob)

Referenz

sklearn.metrics: Metrics
[Datenanalysetechnologie, die mit Kaggle gewinnt](https://www.amazon.co.jp/Kaggle%E3%81%A7%E5%8B%9D%E3%81%A4%E3%83%87%E3 % 83% BC% E3% 82% BF% E5% 88% 86% E6% 9E% 90% E3% 81% AE% E6% 8A% 80% E8% A1% 93-% E9% 96% 80% E8% 84% 87-% E5% A4% A7% E8% BC% 94 / dp / 4297108437)
[Mechanismus des Algorithmus für maschinelles Lernen, der durch Betrachten verstanden werden kann](https://www.amazon.co.jp/%E8%A6%8B%E3%81%A6%E8%A9%A6%E3% 81% 97% E3% 81% A6% E3% 82% 8F% E3% 81% 8B% E3% 82% 8B% E6% A9% 9F% E6% A2% B0% E5% AD% A6% E7% BF% 92% E3% 82% A2% E3% 83% AB% E3% 82% B4% E3% 83% AA% E3% 82% BA% E3% 83% A0% E3% 81% AE% E4% BB% 95% E7% B5% 84% E3% 81% BF-% E6% A9% 9F% E6% A2% B0% E5% AD% A6% E7% BF% 92% E5% 9B% B3% E9% 91% 91-% E7% A7% 8B% E5% BA% AD-% E4% BC% B8% E4% B9% 9F / dp / 4798155659)
What is a loss function in decision theory?

Nachtrag

** Hinzugefügt am 25. Juni 2020 ** Die Tabelle der gemischten Matrix war falsch, deshalb habe ich sie korrigiert. Vielen Dank, @Fizunimo.

[PYTHON] Zusammenfassung der beim maschinellen Lernen verwendeten Bewertungsfunktionen