[PYTHON] Berücksichtigung des Unterschieds zwischen ROC-Kurve und PR-Kurve

Einführung

Bei der Klassifizierungsaufgabe des maschinellen Lernens wird der untere Bereich (im Folgenden AUC) der "ROC-Kurve" und der "Precision-Recall-Kurve (im Folgenden PR-Kurve)" verwendet, um die Leistung des Algorithmus zu messen. Um ehrlich zu sein, habe ich es nicht wirklich unterschieden, aber der Artikel von @ ogamiki hier enthält Hinweise zur richtigen Verwendung. ..

Die PR-Kurve ist im Allgemeinen geeignet, wenn der TN-Wert wahrscheinlich groß ist oder wenn viele negative Fälle vorliegen. In diesem Fall kann die PR-Kurve den Unterschied deutlicher ausdrücken.

Ich war ein wenig neugierig, was für ein Grund das sein würde, also dachte ich darüber nach.

Was sind ROC-Kurve und PR-Kurve?

Informationen zur ROC-Kurve und PR-Kurve finden Sie zuerst im Artikel hier.

Die ROC-Kurve und die PR-Kurve können als Index angesehen werden, der die Genauigkeit der Rangfolge zeigt, z. B. "Wenn die Testproben in der Reihenfolge eingestuft wurden, in der sie als positiv vorhergesagt wurden, haben sich die positiven Proben tatsächlich oben verfestigt?"

Beispielsweise gibt es in einer solchen Rangfolge eine falsche Vorhersage, dass die ursprünglich negative Stichprobe an zweiter Stelle steht und höher ist als die anderen positiven Stichproben. Wenn diese Rangfolge erreicht ist, werden TPR und FPR, Präzision und Rückruf bis zu jeder Rangfolge berechnet.

Bei ROC-Kurven befindet sich FPR auf der horizontalen Achse, TPR auf der vertikalen Achse, bei PR-Kurven auf der horizontalen Achse, bei Precision auf der vertikalen Achse und die Linien werden in der Reihenfolge vom oberen Rand der Rangfolge gezeichnet.

• ROC-AUC beträgt 0,833.

• PR-AUC ist 0,764.

Mein Fazit zum Unterschied zwischen ROC- und PR-Kurven

In Bezug auf den Unterschied zwischen der ROC-Kurve und der PR-Kurve lautet meine Schlussfolgerung wie folgt.

• Während die AUC der PR-Kurve die "Genauigkeit der Vorhersage der Probe mit dem höchsten Rang" hervorhebt, bewertet die AUC der ROC-Kurve die "Genauigkeit über den gesamten Rang" gleichmäßig.

Intuitiv hat die AUC der PR-Kurve das Bild von __, das die Genauigkeit des Top-Rankings mit einer Lupe vergrößert. Daraus können die folgenden Vorschläge erhalten werden.

• Wenn Sie mit mehr Nachdruck auf die Genauigkeit des Top-Rankings messen möchten, sollten Sie die AUC der PR-Kurve übernehmen
• Die Theorie, dass "die PR-Kurve geeignet ist, wenn es reichlich negative Fälle gibt", leitet sich aus "der menschlichen Natur ab, die uns dazu bringt, höhere Rankings zu priorisieren, wenn es reichlich negative Fälle gibt".
• Die AUC der PR-Kurve schwankt jedoch aufgrund des geringen Unterschieds in der Testprobe oben in der Rangliste stark, sodass die Zuverlässigkeit fraglich bleibt.

Qualitativer Kommentar

Ein Hinweis, um den Unterschied zwischen der ROC-Kurve und der PR-Kurve zu berücksichtigen, ist, dass sowohl die ROC-Kurve als auch die PR-Kurve die Achse von TPR = Recall teilen. Die TPR = Recall-Achse befindet sich jedoch auf der vertikalen Achse in der ROC-Kurve und auf der horizontalen Achse in der PR-Kurve. Ich denke das ist das Miso.

Berücksichtigen Sie im vorherigen Beispiel beispielsweise die Zeit, zu der der TPR 0,666 erreicht (Rang 3).

Wenn der TPR 0,666 erreicht, befindet er sich an der Koordinate (0,250,0,666) auf der ROC-Kurve und ist bis zu diesem Punkt für höchstens 1/4 der Gesamtfläche verantwortlich. Unabhängig davon, wie schlecht die Vorhersage vor Erreichen von (0,250, 0,666) ist, ist der Effekt auf die AUC gering. Andererseits befindet es sich in der PR-Kurve an den Koordinaten (0,666, 0,666) und ist bis zu dieser Koordinate für 2/3 der gesamten AUC verantwortlich. Wenn Sie also vor Erreichen von (0,666, 0,666) etwas falsch machen, ist es 8/3 mal einflussreicher als die ROC-Kurve.

Tatsächlich ist die AUC der ROC-Kurve und der PR-Kurve beim Austausch der 1. und 2. Position wie folgt.

• Die ROC-AUC beträgt 0,750 (10% Verschlechterung).

• PR-AUC beträgt 0,514 (33% Verschlechterung).

Experimentelle Überprüfung

Ich habe versucht, es durch Beweise zu zeigen und aus der Theorie zu experimentieren. Das experimentelle Verfahren ist wie folgt.

1. Das verwendete Programm war Python, und ich habe den "Boston House-Prices-Datensatz" verwendet, der standardmäßig in scikit-learn als Testdaten enthalten ist.

• Das gesamte Überprüfungsprogramm ist hier (GitHub)

2. Dieser Datensatz enthält insgesamt 506 Stichproben, von denen 84 Stichproben (17%) für Immobilien über 30 USD und der Rest für weniger als 30 USD bestimmt sind und jeweils als positiv oder negativ gekennzeichnet sind.
3. Wir haben ein Modell erstellt, um dieses Positiv / Negativ nur anhand der erklärenden Variablen vorherzusagen (das Modell ist ein logistisches Regressionsmodell), und Ranglisten in der Reihenfolge der vorhergesagten Punktzahl erstellt. ――Die AUC der aus diesem Ranking erstellten ROC-Kurve beträgt 0,985 und die PR-Kurve 0,928 (dies ist eine recht hohe Leistung, da die für das Training selbst verwendeten Daten zur Vorhersage verwendet werden).
4. Erstellen Sie hier ein neues Ranking, das nur einen Teil des vorhergesagten Score-Rankings zufällig von 0 auf 100 mischt, und berechnen Sie die AUC der ROC- und PR-Kurve auf dieselbe Weise. ――In der neuen Rangliste sind die Ranglisten von 0 bis 100 völlig zufällig, sodass sich die AUC von Anfang an verschlechtern sollte. ――Um die stochastische Fluktuation zu unterdrücken, wird die AUC tatsächlich berechnet, indem 10-mal gemischt und der Durchschnitt ermittelt wird.
5. Ebenso vom 5. bis 105., 10. bis 110. in der ursprünglichen Rangliste ,. .. .. Wir berechnen also die AUC (Durchschnitt) für das Ranking, das einige der Rankings neu gemischt hat.

Wenn die Hypothese richtig ist, sollte PR-AUC beim Mischen höherer Rankings stärker beeinträchtigt werden als ROC-AUC. Das Überprüfungsergebnis ist in der folgenden Abbildung dargestellt.

Die horizontale Achse zeigt, ab welchem Rang in der Rangfolge das Mischen gestartet wurde, und die vertikale Achse zeigt, wie viel Prozent des ursprünglichen AUC-Werts sich verschlechtert haben. Wie angenommen, verschlechtert sich die PR-AUC signifikant (dh auf der linken Seite des Diagramms), wenn sie in einem höheren Rang als die ROC-AUC gemischt wird (bis zu 3% Verschlechterung). Es ist. Umgekehrt deutet dies darauf hin, dass sich die PR-AUC gegenüber der ROC-AUC dramatisch verbessern wird, wenn sie in den höheren Rankings genau vorhergesagt werden kann.

Fazit und Eindruck

Wenn wir die Schlussfolgerung aus den obigen Überprüfungsergebnissen wiederholen,

• Während die AUC der PR-Kurve die "Genauigkeit der Vorhersage der Probe mit dem höchsten Rang" hervorhebt, bewertet die AUC der ROC-Kurve die "Genauigkeit über den gesamten Rang" gleichmäßig.

Mit einer solchen Schlussfolgerung konnte ich ein Gefühl der Überzeugung bekommen. Auf der anderen Seite sind die ROC-Kurve und die PR-Kurve praktisch, wie ich im Kommentar von @ ogamikis hier Artikel geschrieben habe. Es gibt auch verschiedene Vor- und Nachteile.

(Im Folgenden zitiert)

1. Interpretierbarkeit der Achse

Erstens ist Precision-Recall ein Kompromiss zwischen den Interpretationen der Achsen, und es ist für Leute, die mit __Statistiken nicht vertraut sind, leicht zu verstehen __.

Wenn es beispielsweise darum geht, die besten Kunden zu ermitteln, die von allen Kunden mit Priorität angesprochen werden sollen, "Die Präzision ist hoch, aber der Rückruf ist gering." = "Es gibt wenig Verschwendung, aber es ist ein Urteil mit vielen Auslassungen = Opportunitätsverlust ist aufgetreten." "Die Präzision ist gering, aber der Rückruf ist hoch." = "Es gibt nur wenige Auslassungen, aber es wird beurteilt, dass viele Schüsse verschwendet werden. = Es besteht eine hohe Wahrscheinlichkeit, dass das Anflugbudget verschwendet wird." Sie können also geschäftlich sprechen, während Sie die PR-Kurve umgeben.

Im Gegenteil, im Fall von ROC ist FPR besonders schwer zu verstehen, und es gibt viele Erfahrungen, dass es für Menschen schwierig ist, es zu verstehen, egal wie viel sie erklären. Letztendlich denke ich, dass der Grad der Überzeugung des Entscheidungsträgers die PR-Kurve nicht erreicht, weil er sich mit dem Verständnis beruhigt, dass "es sich vorerst um ein Diagramm zur Messung der Genauigkeit handelt, und bitte denken Sie daran, dass es ein glückliches Diagramm ist, wenn Sie nach links oben gehen". ..

2. Absolute Interpretierbarkeit

Andererseits hat ROC den Vorteil, dass es einfacher ist, dem absoluten Niveau von __AUC im Vergleich zur PR-Kurve eine klare Bedeutung zu geben. Für jedes Vorhersageproblem hat ROC-AUC einen Maximalwert von 1 und 0,5 für die zufällige Vorhersage. Andererseits ist der Maximalwert der PR-Kurve immer noch 1, aber der Wert der Zufallsvorhersage hängt vom Verhältnis der positiven und negativen Beispiele des Problems ab.

Wenn Sie sagen "ROC-AUC hat 0,9!", Können Sie sagen "Es war eine gute Vorhersage" für jedes Problem, aber "PR-AUC hat 0,4!" Ich denke, es ist schwierig zu beurteilen, wie großartig es ist, wenn man gefragt wird, ohne ein bisschen mehr Informationen.

In diesem Sinne denke ich, dass die ROC-Kurve als gemeinsame Sprache in dem Bereich besser geeignet ist, in dem beurteilt werden muss, ob diese Vorhersage in kurzer Zeit ausreichend genau ist.

(Zitat bisher)

Was als gemeinsame Sprache für die Genauigkeit der Klassifizierung verwendet wird, ist wichtiger als der verwendete Algorithmus. Ich hoffe, dieser Artikel gibt Ihnen ein Gefühl der Überzeugung für diejenigen, die auf dem Gebiet der Analyse kämpfen.