[PYTHON] Verstehst du das Vertrauensintervall richtig? Was ist der Unterschied zur Verurteilung?
** Konfidenzintervall ** ist ein Konzept, das früh in der Lernstatistik auftaucht, aber häufig aufgrund seines Namens missverstanden wird. Die intuitive Interpretation ist für das ** glaubwürdige Intervall ** unter Verwendung der Bayes'schen Statistik besser geeignet, aber viele Menschen verstehen den Unterschied möglicherweise nicht oder kennen das Verurteilungsintervall überhaupt nicht. ..
In diesem Artikel klären wir noch einmal die Positionen von ** Frequentist ** und ** Bayesian **, die Statistiken in zwei Teile teilen, den Unterschied zwischen Konfidenz- und Konfidenzintervallen und statistischen Daten verstehen. Ich möchte es für wissenschaftliche Analysen verwenden.
Konzept des Konfidenzintervalls
Es gibt verschiedene Möglichkeiten, die Variation von Daten auszudrücken, z. B. Varianz und Standardabweichung, und ** Konfidenzintervall ** ist eine davon.
Das Konfidenzintervall für den interessanten Parameter $ \ theta $, berechnet aus $ n $ Daten $ X $, wird unter Verwendung der Standardabweichung $ \ sigma $ der Population, zu der der Parameter gehört, wie folgt berechnet:
(\theta - z\frac{\sigma}{\sqrt{n}},\hspace{5pt} \theta + z\frac{\sigma}{\sqrt{n}})
Zu diesem Zeitpunkt stellt $ z $ das Konfidenzniveau dar, und wenn es auf beiden Seiten 95% beträgt, wird $ z = 1,96 $ verwendet. Dies ist der Bereich, der 95% der Daten der Standardnormalverteilung enthält. In vielen Fällen ist die Standardabweichung der Population nicht bekannt. ** "Wenn Sie die Variation der Normalverteilungspopulation nicht kennen, wird die Standardabweichung der Stichprobe $ s anstelle der Populationsstandardabweichung $ \ sigma $ verwendet Wir verwenden $ und verwenden die statistische Technik "unter der Annahme, dass die Verteilung der Parameter der t-Verteilung folgt" **. Zu diesem Zeitpunkt wird die Formel zur Berechnung des Konfidenzintervalls wie folgt umgeschrieben.
(\theta - t\frac{s}{\sqrt{n}},\hspace{5pt} \theta + t\frac{s}{\sqrt{n}})
Zu diesem Zeitpunkt ist $ t $ der t-Wert mit dem Freiheitsgrad $ n-1 $ und $ \ alpha = (1-C) / 2 $. Wenn Sie beispielsweise ein 95% -Konfidenzintervall für $ C $ suchen möchten, ist $ C = 0,95 $, also $ \ alpha = 0,025 $.
Dieses Konfidenzintervall, die Idee des Frequentisten, wird aufgrund des Namens oft mit der folgenden Bayes'schen Interpretation verwechselt.
"Vertrauensintervall? Wenn es sich beispielsweise um ein 95% -Konfidenzintervall handelt, fallen 95% der erhaltenen Daten in diesen Bereich, oder?"
"Konfidenzintervall? Wenn es sich beispielsweise um ein 95% -Konfidenzintervall handelt, wird der Bereich von 95% des Variationsbereichs der interessierenden Parameter angezeigt, der aus den erhaltenen Daten berechnet wurde, oder?"
"Konfidenzintervall? Wenn es sich beispielsweise um ein 95% -Konfidenzintervall handelt und das Experiment viele Male wiederholt wird, besteht eine 95% ige Wahrscheinlichkeit, dass der interessierende Parameter in diesen Bereich fällt, oder?"
…… Leider ist alles anders.
** Ein 95% -Konfidenzintervall bedeutet, dass bei vielen Experimenten, die beispielsweise 100-mal wiederholt werden, die Häufigkeit von Experimenten, bei denen die aus den in jedem Experiment erhaltenen Daten berechneten interessanten Parameter in das Konfidenzintervall fallen, 95 beträgt. Es bedeutet, dass es ** ist.
Es ist leicht, intuitiv aus dem Namen des Vertrauensbereichs zu denken, aber in Wirklichkeit ist dies ein Konzept, das ziemlich schwer zu interpretieren ist. Ich denke, es gibt nicht viele Leute, die die obige Definition lesen und sofort verstehen können "Oh, ich verstehe!".
Der Grund ist, dass Frequenztheoretiker wie folgt denken.
"Es gibt einen wahren Wert für den interessierenden Parameter" "Der wahre Wert dieses Parameters stammt aus der Grundgesamtheit." "Aber was Sie im Experiment bekommen, ist nur ein Teil der Bevölkerung." "Daher können die in jedem Experiment berechneten Parameter in ein bestimmtes Konfidenzintervall passen oder nicht."
Mit anderen Worten, die Philosophie des Konfidenzintervalls lautet, dass ** der Wert des Parameters ursprünglich eins ist, aber lassen Sie uns den Variationsbereich, der durch Wiederholen des Experiments erzeugt wird, irgendwie quantifizieren **. Es ist ein Konzept, das viele Annahmen durchläuft und schwer zu interpretieren ist.
Bayesianisches glaubwürdiges Intervall
Sie möchten den Bereich der Parameter, an denen Sie interessiert sind, intuitiver berechnen und sagen: "Es besteht eine Wahrscheinlichkeit von 95%, dass dieser Parameter in diesem Bereich liegt!" Hier kommt die Idee des ** Bayes'schen glaubwürdigen Intervalls ** ins Spiel.
Der Schlüssel ist die Bayes'sche Philosophie. Im Gegensatz zu Frequenztheoretikern glaubt Basian nicht, dass "Parameter wahre Werte haben". Denken Sie stattdessen an "** Parameter $ \ theta $ nimmt verschiedene Werte an und welcher Wert von der Wahrscheinlichkeitsverteilung $ P (\ theta) $ ** abhängt". Sobald der Modellparameter $ \ theta $ bestimmt ist, der die Daten $ y $ liefert, gilt der folgende Bayes'sche Satz.
P(\theta|y) = \frac{P(y|\theta)P(\theta)}{\Sigma_{y}P(y|\theta)P(\theta)}
Zu diesem Zeitpunkt wird $ P (\ theta) $ als ** vorherige Verteilung ** bezeichnet und stellt die Wahrscheinlichkeitsverteilung für den Wert von $ \ theta $ dar, bevor die Daten beobachtet werden.
$ P (y | \ theta) $ heißt ** Likelihood ** und repräsentiert die Wahrscheinlichkeitsverteilung der Daten $ y $, wenn der Modellparameter $ \ theta $ bestimmt wird.
Schließlich heißt $ P (\ theta | y) $ ** posteriore Verteilung ** und repräsentiert die Wahrscheinlichkeitsverteilung des Modellparameters $ \ theta $ nach Beobachtung der Daten $ y $. ..
Das Schöne an dieser Bayes'schen Statistik ist, dass der mögliche Bereich des interessierenden Wertes $ \ theta $ ausgedrückt wird (als postexperimentelle Wahrscheinlichkeit oder postexperimentelle Wahrscheinlichkeitsverteilung), also zum Beispiel 95% ** $ \ theta Es ist ein ** Punkt, der direkt aus der posterioren Wahrscheinlichkeitsverteilung $ P (\ theta | y) $ im Bereich von $ berechnet werden kann.
Daher können wir nach der Bayes'schen Philosophie durch Berechnung des Bayes'schen Überzeugungsintervalls eine intuitive Schlussfolgerung ziehen, dass "die Wahrscheinlichkeit, dass ein interessanter Parameter in diesem Bereich liegt, $ p $ ist!".
(Beispiel) Vertrauensintervall vs Bayes-Konfidenzintervall
Lassen Sie uns ein einfaches Beispiel lösen, um Ihr Verständnis zu verbessern.
- A hatte ein Problem. Ich mache mir Sorgen, dass ich in Janken schwach bin. Daher beschloss Herr A, das Ergebnis jedes Mal aufzuzeichnen, wenn er einen Müll spielte. Als ich ein Freund wurde, spielte ich mit diesem Gegner, bis ich gewann oder verlor. Von den 100 Spielen gewann A 42 Mal. Können Sie zu diesem Zeitpunkt sagen, dass Herr A in Janken schwach ist? * *
Beantworten wir die Probleme von Herrn A aus der Sicht von Frequentist und Bayesian.
"Antwort des Frequenzführers"
Die Gewinnrate von Herrn A $ \ theta $ beträgt laut Aufzeichnung 42/100, aber dies ist ein Ergebnis, das in einem begrenzten Versuch von 100 Mal erzielt wurde, und es ist ein Ergebnis, dass nur ein Teil der Bevölkerung gesehen wird, * * Die Gewinnrate von A $ \ theta $ hat einen einzigartigen und wahren Wert. ** Was ist der wahre Wert? Das weiß ich nicht. Ich weiß jedoch, ob Herr A für Janken anfällig ist. Sie müssen lediglich das ** Konfidenzintervall ** berechnen!
Diese Population basiert auf mehreren unabhängigen Studien mit zwei Ergebnissen: einer Gewinnwahrscheinlichkeit von $ \ theta $ und einer Verlustwahrscheinlichkeit von $ 1- \ theta $, was zu einer ** Binomialverteilung ** führt. Zu diesem Zeitpunkt stammt der Durchschnitt der Verteilung der Anzahl der Siege, die aus den Ergebnissen der 100-fachen Stein-Papier-Schere erhalten wurden, aus dem ** zentralen Grenzwertsatz **, der Durchschnitt beträgt $ 100 \ Theta $ und die Varianz beträgt $ 100 \ Theta (1- \ Theta). Sie können der Normalverteilung von $ folgen! Da die Verteilung bekannt ist, kann das 95% -Konfidenzintervall wie folgt unter Verwendung von $ z = 1,96 $ berechnet werden.
(100\theta - 1.96\sqrt{100\theta(1-\theta)}, \hspace{5pt} 100\theta + 1.96\sqrt{100\theta(1-\theta)})
Durch Einsetzen der beobachteten Gewinnrate $ \ theta = 42/100 $ kann das Konfidenzintervall als $ (32,3, 51,7) $ berechnet werden. Mit anderen Worten, wenn Sie viele Experimente wiederholen, um die Gewinnrate durch 100-maliges Spielen zu ermitteln, betragen 95% davon $ 32,3 \ leq und die Anzahl der Gewinne \ leq 51,7 $! Dieser Bereich umfasst 50 Siege, die weder stark noch schwach sind. Ich bin also zu 95% davon überzeugt, dass A nicht schwach ist!
"Basians Antwort"
Da dieser Janken das Ergebnis eines Gewinns oder Verlusts bei mehreren unabhängigen Versuchen ist, ist die Wahrscheinlichkeitsverteilung, die die Daten $ y $ ergibt, ** Binomialverteilung **. Der Modellparameter dieser Wahrscheinlichkeitsverteilung, in diesem Fall, wenn die Gewinnrate $ \ theta $ ist, ist die Anzahl der Versuche $ N $ und die Anzahl der Gewinne ist $ y $, und diese Wahrscheinlichkeitsverteilung kann wie folgt geschrieben werden.
P(y|\theta) = \binom{N}{y}\theta^{y}(1-\theta)^{N-y}
Wenn der Modellparameter $ \ theta $ fest ist, kann die obige Gleichung im Bayes'schen Theorem als Wahrscheinlichkeitsfunktion behandelt werden. Natürlich wird $ \ theta $ berechnet, indem es mit der Vorwahrscheinlichkeitsformel $ P (\ theta) $ multipliziert wird.
Nun die vorherige Wahrscheinlichkeit der Modellparameter
Die Beta-Verteilung hat zwei Hyperparameter für die vorherige Wahrscheinlichkeitsverteilung: $ \ alpha und \ beta $.
\theta \sim Beta(\alpha, \beta)
Entscheiden wir uns für $ \ alpha, \ beta $, indem wir die Tatsache verwenden, dass der Mittelwert der Beta-Verteilung $ \ frac {\ alpha} {\ alpha + \ beta} $ und die Stichprobengröße $ \ alpha + \ beta $ ist.
Es gibt zwei Möglichkeiten, um dieses Mal zu gewinnen oder zu verlieren, daher möchte ich, dass der Durchschnitt der vorherigen Wahrscheinlichkeitsverteilung $ P (\ theta) $ $ 0,5 $ beträgt. Die Stichprobengröße beträgt $ 100 $, daher ist $ \ alpha = \ beta = 50 $ in Ordnung.
Zu diesem Zeitpunkt funktioniert die Wahrscheinlichkeit
\theta|y \sim Beta(\alpha + y, \beta + N - y)
Wenn Sie den Wert des Parameters einsetzen, beträgt die Vorwahrscheinlichkeitsverteilung $ Beta (50,50) $ und die Nachwahrscheinlichkeitsverteilung $ Beta (92,108) $. Dies ist ein Diagramm jeder Verteilung.
Lassen Sie uns abschließend den wesentlichen Abschnitt zum 95% igen Bayes'schen Vertrauen finden. Kurz gesagt, berechnen Sie einfach den Bereich, der 95% der Daten in der posterioren Wahrscheinlichkeitsverteilung enthält, und das Ergebnis ist $ (0,392,0,530) $. In der Grafik zeigt die rote Linie die Untergrenze des Verurteilungsabschnitts und die violette Linie die Obergrenze des Verurteilungsabschnitts.
Aufgrund dieses Ergebnisses liegt die Gewinnrate von Herrn A im Bereich von $ (0,392, 0,530) $ mit einer Chance von 95%. Nun, es ist tendenziell etwas schwach, aber $ \ theta = 0,5 $, was einer Gewinnrate von 50-50 entspricht, ist in diesem Bereich enthalten, und ich denke, man kann mit Sicherheit sagen, dass Herr A in Janken nicht schwach ist.
Zusammenfassung Zusammenfassung
- Das C% -Konfidenzintervall bedeutet, dass bei mehrmaliger Wiederholung des Experiments (N-mal) die Anzahl der Experimente, bei denen der interessierende Parameter innerhalb dieses Intervalls liegt, ungefähr NC-mal beträgt. ――In der Bayes'schen Statistik können Sie direkt die Wahrscheinlichkeit berechnen, dass ein Parameter in einem bestimmten Bereich enthalten ist, der als Sicherheitsintervall bezeichnet wird.
abschließend
Das Konfidenzintervall ist ein Grundkonzept, das von Anfang an in der Statistik gelernt wurde, aber tatsächlich schwer zu interpretieren ist. Bayesianische Statistiken ermöglichen intuitivere Interpretationen, erschweren jedoch tendenziell den Berechnungsprozess. Immerhin ist es ein Unterschied in der Philosophie, also denke ich, dass Sie es richtig nach Ihrem Geschmack verwenden können.
Unten finden Sie den Code zum Lösen dieses Beispiels und zum Zeichnen eines Diagramms.
ci.py
# library
from scipy.stats import norm
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# A-kun data
p = 42/100
n = 100
# Frequentist -------------------------------
# due to the binomial distribution with the central limit theorem...
mu = 100*p
sigma = np.sqrt(100*p*(1-p))
ci = norm.interval(0.95, loc=mu, scale=sigma)
# Bayesian ----------------------------------
from scipy.stats import beta
# plot beta distribution
fig, ax = plt.subplots(1,1)
def plotBetaPDF(a,b,ax):
# range
x = np.linspace(beta.ppf(0.01, a, b), beta.ppf(0.99, a, b), 100)
# visualize
ax.plot(x, beta.pdf(x, a, b), lw=5, alpha=0.5)
ax.set_xlabel('theta')
ax.set_ylabel('P(theta)')
# prior beta distribution
a = 50
b = 50
plotBetaPDF(a,b,ax)
ax.text(0.54,6,'Prior')
# posterior beta distribution
a = 50+42
b = 50+100-42
plotBetaPDF(a,b,ax)
ax.text(0.48,10,'Posterior')
#plt.close('all')
# 95% Bayesian credible interval
bci = beta.interval(0.95,a,b)
print('95% Bayesian credible interval:' + str(bci))
ax.plot(np.array([bci[0],bci[0]]),np.array([0,12]))
ax.plot(np.array([bci[1],bci[1]]),np.array([0,12]))
Recommended Posts