[PYTHON] Ableitung der Wirkungssicherheit im A / B-Test

Bei der Durchführung eines A / B-Tests ist es sehr wichtig, nicht nur die Wirkung von Maßnahmen abzuschätzen, sondern auch zu berechnen, wie zuverlässig der geschätzte Wert ist. Daher werden der Schätzfehler des Effekts und das Konfidenzintervall abgeleitet.

Beispiel) ATE-Schätzung und 95% -Konfidenzintervall oben und unten

Problemstellung

Schätzen Sie, um wie viel sich die Produktkaufrate auf der EC-Website ändert, wenn Sie eine bestimmte Kampagne treffen. Die von der Kampagne angesprochene Interventionsgruppe ist $ T $, die von der Kampagne ausgeschlossene Kontrollgruppe ist $ C $, die Stichprobengröße beträgt $ n $ bzw. $ m $ und der Bevölkerungsdurchschnitt beträgt $ p_ {T} $, $ p_ {C. } $, Benutzerverhalten $ X_ {T} $, $ X_ {C} $ in den Interventions- und Kontrollgruppen folgt der Bernoulli-Verteilung. 1, wenn der Benutzer den Artikel gekauft hat, 0, wenn der Benutzer den Artikel nicht gekauft hat. Darüber hinaus wird dem Benutzer unabhängig A / B zugewiesen, und das Verhalten des Benutzers ist unabhängig.

X_{T1}, X_{T2}, \ldots X_{Tn} \sim Bern(p_{T}) \\
X_{C1}, X_{C2}, \ldots X_{Cm} \sim Bern(p_{C})

Abschätzung der Wirkungsverteilung

Die Auswirkung der Maßnahme, die das Erreichen der Kampagne auf die Kaufrate hat, wird als $ ATE $ ausgedrückt. Leiten Sie die Verteilung, den Mittelwert und die Varianz von $ ATE $ ab.

Zentralpolbegrenzung

Angenommen, Sie haben eine Stichprobe, die unabhängig von der Wahrscheinlichkeitsverteilung $ F $ mit den Mittelwert- und Varianzparametern $ \ mu, \ sigma ^ 2 $ abgetastet wurde

X_1, X_2, \ldots, iid \sim F(\mu, \sigma^2)

Ab der zentralen Polqualifikation gilt die folgende Verteilungskonvergenz für den Stichprobenmittelwert $ \ bar {X} $.

\lim_{n\rightarrow\infty}P \left( \frac{\sqrt n (\bar{X}-\mu)}{\sigma} \leq x \right) = \Phi(x)

Mit anderen Worten, die Verteilung, gefolgt vom Stichprobenmittelwert einer Stichprobe, die unabhängig von einer Wahrscheinlichkeitsverteilung mit Mittelwert- und Varianzparametern auftritt, nähert sich allmählich der Normalverteilung. Wenn der Populationsmittelwert der Bernoulli-Verteilung $ p $ beträgt, kann die Populationsvarianz als $ p (1-p) $ ausgedrückt werden. Wenn also die Stichprobengröße groß ist, beträgt der Stichprobenmittelwert der Interventionsgruppe und der Kontrollgruppe $ \ bar {X_T}, \ bar. {X_C} $ folgt der folgenden Normalverteilung.

\bar{X_T} =  \frac{1}{n}\sum^n X_{Ti} \\
\bar{X_C} = \frac{1}{m}\sum^m X_{Ci} \\
\bar{X_T} \sim N(p_T, \frac{1}{n}p_{T}(1-p_{T})) \\
\bar{X_C} \sim N(p_C, \frac{1}{m}p_{C}(1-p_{C})) \\

Definition der Wirkung

Der Effekt $ ATE $ ist definiert als die Differenz zwischen den erwarteten Werten der beiden potenziellen Ergebnisvariablen.

ATE = E[X_T - X_C] = E[X_T] - E[X_C] = p_T - p_C

Dies ist der Durchschnitt der Differenz zwischen "Ergebnissen, wenn die gesamte Benutzerpopulation der Interventionsgruppe zugeordnet ist" und "Ergebnissen, wenn die gesamte Benutzerpopulation der Kontrollgruppe zugeordnet ist".

In der Realität können Benutzer nur Interventionen oder Kontrollen zugewiesen werden. Wenn ein Benutzer beispielsweise zum Kampagnenziel wird, können Sie beobachten, ob er das Produkt anschließend gekauft hat. Da der Benutzer der Kampagne bereits zugewiesen wurde, ist nicht bekannt, ob der Benutzer den Artikel gekauft hat, als er nicht für die Kampagne berechtigt war. Daher kann $ ATE $ nicht direkt aus den Daten berechnet werden.

Daher werden bei A / B-Tests die Zuweisungen normalerweise völlig zufällig vorgenommen. Wenn die Zuordnung zufällig ist, kann der Effekt unvoreingenommen (unvoreingenommen) geschätzt werden, indem die Differenz zwischen den beobachteten Durchschnittswerten jeder Gruppe verwendet wird. Der geschätzte Betrag von $ ATE $ sei $ \ hat {ATE} $.

\begin{align}
\hat{ATE} &= \frac{1}{n}\sum^nX_{T,i} + \frac{1}{m}\sum^mX_{C,i} \\
&= \bar{X_T} - \bar{X_C} \\
E[\hat{ATE}] &= E[\bar{X_T}] - E[\bar{X_C}] = p_T - p_C = ATE \\
\end{align}

Ableitung der Wahrscheinlichkeitsverteilung gefolgt vom geschätzten Effekt

Der geschätzte Effekt wird berechnet durch "Kaufrate der Interventionsgruppe - Kaufrate der Kontrollgruppe". Da die "Kaufrate der Interventionsgruppe" und die "Kaufrate der Kontrollgruppe" jeweils einer Normalverteilung folgen, folgen die darauf berechneten Statistiken auch der Normalverteilung.

\hat{ATE} = \bar{X_T} - \bar{X_C} \sim N(p_T - p_C, \frac{1}{n}p_{T}(1-p_{T})+\frac{1}{m}p_{C}(1-p_{C}))

Die Grundgesamtheit der Wahrscheinlichkeitsverteilung, der die Statistik des Effekts der Messung $ \ hat {ATE} $ folgt, ist

• Durchschnittlich $ p_T-p_C $
• Verteilt $ \ frac {1} {n} p_ {T} (1-p_ {T}) + \ frac {1} {m} p_ {C} (1-p_ {C}) $
• Standardabweichung $ \ sqrt {\ frac {1} {n} p_ {T} (1-p_ {T}) + \ frac {1} {m} p_ {C} (1-p_ {C})} $

Es wird sein.

Wörter in spekulativen Statistiken organisieren

Bisher habe ich verschiedene Symbole ohne Vorankündigung verwendet. Ich werde verschiedene Begriffe einmal aussortieren.

Statistische Erhebung und spekulative Statistik

Statistische Erhebungen werden durchgeführt, um Daten zu extrahieren, um die Merkmale der Bevölkerung zu untersuchen, und um die Daten zu verarbeiten, um nützliche Informationen über die Bevölkerung für die Beurteilung und Entscheidungsfindung abzuleiten. Wenn es schwierig ist, die gesamte Bevölkerung zu untersuchen, nehmen Sie eine Stichprobe aus der Bevölkerung und ziehen Sie Rückschlüsse auf die Bevölkerung.

In der spekulativen Statistik wird ein Wahrscheinlichkeitsmodell für die Grundgesamtheit angenommen und die Daten werden als realisierter Wert der Wahrscheinlichkeitsvariablen erfasst, die der Wahrscheinlichkeitsverteilung folgt. Stichproben $ X_1, X_2, \ ldots, X_n $, die einer bestimmten Wahrscheinlichkeitsverteilung folgen, sind stochastische Variablen, und ihre Realisierungswerte $ x_1, x_2, \ ldots, x_n $ sind Daten. $ n $ heißt Stichprobengröße.

Bevölkerung und Statistiken / Schätzungen

Eine Population, die die Merkmale einer Population darstellt, wie beispielsweise den Durchschnitt $ \ mu $ und die Varianz $ \ sigma ^ 2 $ der Bevölkerung, wird als Population bezeichnet. Funktionen, die auf Stichproben $ X_1, X_2, \ ldots und X_n $ basieren und keine Grundgesamtheit enthalten, werden als Statistiken bezeichnet, und ihre Wahrscheinlichkeitsverteilungen werden als Stichprobenverteilungen bezeichnet. Beispielsweise sind die Stichproben $ X_1 $ und der Stichprobenmittelwert $ \ bar {X_T} $ Statistiken. Darüber hinaus ist $ \ hat {ATE} $, das auf der Grundlage der Statistik berechnet wird, ebenfalls eine Statistik. In abgeleiteten Statistiken wird die Bevölkerung durch Berechnung von ** Statistiken abgeleitet. ** ** ** Bei der Schätzung der Parameter der Population auf der Grundlage der aus der Stichprobe erhaltenen Statistiken werden die Statistiken der Stichprobe als geschätzte Menge bezeichnet.

Schätzungen und Schätzungen

Schätzungen sind stochastische Variablen. Es nimmt definitiv keinen Wert an. Der geschätzte Wert wird unter Verwendung der Zahlen berechnet, die durch tatsächliche Beobachtung der Daten erhalten werden.

Differenz zwischen geschätzter Menge und geschätztem Wert

Schätzung der Grundgesamtheit der Wahrscheinlichkeitsverteilung von Effekten

Schätzen Sie die Bevölkerung anhand der tatsächlich beobachteten Daten.

Schätzung des Bevölkerungsdurchschnitts

Das durchschnittliche $ \ mu $ der Bevölkerung ist die Bevölkerung, aber es ist nicht einfach, direkt auf der Grundlage aller Daten der Bevölkerung zu berechnen. Daher wird nach Beobachtung von n Daten der Stichprobenmittelwert $ \ bar {X} = \ frac {1} {n} \ sum ^ n X_i $ berechnet. Der Stichprobenmittelwert entspricht dem Bevölkerungsdurchschnitt. $ E [\ bar {X}] = \ mu $. Daher ist es möglich, den Bevölkerungsdurchschnitt anhand des Stichprobenmittelwerts zu schätzen.

Angenommen, die Daten sind $ (x_1, x_2, \ ldots, x_n) $, dann ist der geschätzte Wert $ \ bar {x} = \ sum ^ n x_i $.

Durchschnittliche Unsicherheit der Bevölkerung

Da Statistiken (= Schätzungen) jedoch stochastische Variablen sind, bestehen Unsicherheiten. Die Unsicherheit über den Wert variiert stark zwischen dem auf 10 Daten berechneten Stichprobenmittelwert und dem auf 10000 Daten basierenden Stichprobenmittelwert. Daher wird der Standardfehler berechnet, um die Unsicherheit aufzudecken.

Unterschied zwischen Standardabweichung und Standardfehler

Wenn es eine Wahrscheinlichkeitsvariable $ X $ gibt, können der Mittelwert $ \ mu = E [X] $ und die Varianz $ \ sigma ^ 2 = Var (X) = E [(X- \ mu) ^ 2] $ definiert werden. Diejenige, die den Verteilungsweg nimmt, wird als Standardabweichung $ \ sigma = \ sqrt {Var (X)} $ bezeichnet.

Da Statistiken auch stochastische Variablen sind, können Standardabweichungen auf dieselbe Weise definiert werden. Statistiken werden häufig verwendet, um den Wert einer Bevölkerung zu schätzen, indem der Durchschnitt zum Bevölkerungsdurchschnitt gemacht wird. ** Die Standardabweichung der Statistik, die Unsicherheit der Schätzung gegenüber dem wahren Wert, wird als "Standardfehler" bezeichnet. ** ** **

Beispielsweise beträgt die Standardabweichung des Stichprobenmittelwerts $ \ bar {X} = \ frac {1} {n} \ sum_ {i = 1} ^ n X_i $ $ \ frac {\ sigma} {\ sqrt n} $ , $ \ Bar {X} $ repräsentiert die Unsicherheit in Bezug auf eine Statistik zur Schätzung des Populationsmittelwerts $ \ mu $, $ \ frac {\ sigma} {\ sqrt n} $ ist der Standardfehler ist.

Schätzung der Standardabweichung

Wenn der erwartete Wert der Schätzung gleich der Grundgesamtheit ist, wird dies als unvoreingenommene Schätzung bezeichnet. Beispielsweise ist der Stichprobenmittelwert eine unvoreingenommene Schätzung des Populationsmittelwerts.

Die unvoreingenommene Schätzung $ V ^ 2 $ für die Populationsvarianz $ \ sigma ^ 2 $ lautet:

V^2 = \frac{1}{n-1} \sum^n (X_i - \bar{X})^2 \\
E[V^2] = \sigma^2 \\

$ V ^ 2 $ heißt unverzerrte Verteilung. Der Punkt ist, dass der Stichprobenmittelwert die Summe der einzelnen Daten geteilt durch $ n $ ist, während die unverzerrte Varianz durch $ n-1 $ geteilt wird. Standardmäßig berechnen die Pandas-Funktionen "df.var ()" und "df.std ()" unverzerrte Varianzen.

Es ist möglich, die unverzerrte Varianz gemäß der obigen Definition zu berechnen, wobei jedoch die Tatsache ausgenutzt wird, dass die Varianz der Bernoulli-Verteilung in $ p (1-p) $, dem Stichprobenmittelwert $ \ bar {X} $ und der Stichprobenvarianz $ \ berechnet werden kann Sie können auch bar {X} (1- \ bar {X}) $ verwenden, um die unverzerrte Varianz $ V ^ 2 $ zu berechnen.

\begin{align}
E[\bar{X}(1-\bar{X})] &= E[\bar{X} - \bar{X}^2] \\
&= E[\bar{X}] - E[\bar{X}^2] \\
&= E[\bar{X}] - (E[\bar{X}]^2 + Var(\bar{X})) \\
&= p - p^2 - \frac{1}{n^2} \sum^n Var(X_i) \\
&= p(1 - p) - \frac{1}{n} p(1 - p) \\
&= \frac{n-1}{n} p (1 - p) \\
E \left[ \frac{n}{n-1}\bar{X}(1-\bar{X}) \right] &= \sigma^2 \\
\end{align} \\

Daher ist die unverzerrte Verteilung von $ X $ $ V ^ 2 = \ frac {n} {n-1} \ bar {X} (1- \ bar {X}) $.

Die unvoreingenommene Verteilung zwischen der Interventionsgruppe und der Kontrollgruppe ist wie folgt.

V_T^2 = \frac{n}{n-1} \bar{X_T} (1 - \bar{X_T}) \\
V_C^2 = \frac{m}{m-1} \bar{X_C} (1 - \bar{X_C}) \\

Berechnen Sie den Stichprobenmittelwert $ \ bar {x} $ als Schätzung des Populationsmittelwerts $ \ mu $ von $ X $. Der geschätzte Wert $ v ^ 2 $ der Bevölkerungsverteilung $ \ sigma ^ 2 = p (1-p) $ von $ X $ ist wie folgt.

\bar{x} = \frac{1}{n} \sum^n x_i \\
v^2 = \frac{n}{n-1} \bar{x} (1 - \bar{x}) \\

Die Standardabweichungsschätzung beträgt $ v $.

Standardfehlerschätzung

Die Varianz (Quadrat des Standardfehlers) des Stichprobenmittelwerts $ \ bar {X} $ ist wie folgt.

SE^2 = \frac{V^2}{n}

Die Varianz des Stichprobenmittelwerts der Interventionsgruppe und der Kontrollgruppe ist wie folgt.

SE_T^2 = \frac{V_T^2}{n} \\
SE_C^2 = \frac{V_C^2}{m} \\

Daher ist die Verteilung des Effekts wie folgt.

V_{ATE}^2 = SE_T^2 + SE_C^2 = \frac{V_T^2}{n} + \frac{V_C^2}{m}

Gepoolte Verteilung

Unter der Annahme, dass die Varianzen der Wahrscheinlichkeitsverteilungen, denen die Interventionsgruppe und die Kontrollgruppe folgen, bei $ V_ {TC} ^ 2 $ gleich sind, kann die Varianz von $ \ hat {ATE} $ verringert werden (= die Schätzgenauigkeit wird verbessert). Es ist vorab zu prüfen, ob die gleiche Dispergierbarkeit hergestellt ist.

\begin{align}
V_T^2 &= \frac{n}{n-1}\bar{X_T}(1-\bar{X_T}) \\
V_C^2 &= \frac{m}{m-1}\bar{X_C}(1-\bar{X_C}) \\
V_{TC}^2 &= \frac{(n-1)V_T^2 + (m-1)V_C^2}{(n-1)+(m-1)} \\
&= \frac{(n-1)V_T^2 + (m-1)V_C^2}{n+m-2} \\
V_{ATE,pool}^2 &= \frac{V_{TC}^2}{n} + \frac{V_{TC}^2}{m} \\
\end{align}

Zusammenfassung der Schätzung der Grundgesamtheit der Wahrscheinlichkeitsverteilung des Effekts

Ich werde die bisher erschienenen Formeln zusammenfassen.

Über die Wahrscheinlichkeitsverteilung der Interventionsgruppe und der Behandlungsgruppe

X_{T1}, X_{T2}, \ldots X_{Tn} \sim Bern(p_{T}) \\
X_{C1}, X_{C2}, \ldots X_{Cm} \sim Bern(p_{C}) \\
\bar{X_T} \sim N(p_T, \frac{1}{n}p_{T}(1-p_{T})) \\
\bar{X_C} \sim N(p_C, \frac{1}{m}p_{C}(1-p_{C})) \\
\hat{ATE} \sim N(p_T - p_C, \frac{1}{n}p_{T}(1-p_{T})+\frac{1}{m}p_{C}(1-p_{C}))

Geschätzte Mathematik der Wirkung

Geschätzte Anzahl der durchschnittlichen Parameter

\bar{X_T} = \frac{1}{n}\sum^n X_{Ti} \\
\bar{X_C} = \frac{1}{m}\sum^n X_{Ci} \\
\hat{ATE} = \bar{X_T} - \bar{X_C}

Geschätzte Anzahl der Verteilungsparameter

V_T^2 = \frac{n}{n-1}\bar{X_T}(1-\bar{X_T}) \\
V_C^2 = \frac{m}{m-1}\bar{X_C}(1-\bar{X_C}) \\
V_{ATE}^2 = \frac{V_T^2}{n} + \frac{V_C^2}{m} \\
V_{TC}^2 = \frac{(n-1)V_T^2 + (m-1)V_C^2}{n+m-2} \\
V_{ATE,pool}^2 = \frac{V_{TC}^2}{n} + \frac{V_{TC}^2}{m} \\

Über den geschätzten Wert der Bevölkerung des Effekts

Verwenden Sie die beobachteten Daten, um eine Schätzung zu berechnen, bei der es sich um die Realisierung der Statistik handelt. Da es fast der geschätzten Menge entspricht, werden einige Teile weggelassen.

\hat{ate} = \bar{x_T} - \bar{x_C} \\
v_{ATE}^2 = \frac{v_T^2}{n} + \frac{v_C^2}{m} \\
v_{ATE,pool}^2 = \frac{v_{TC}^2}{n} + \frac{v_{TC}^2}{m} \\

Berechnung des Konfidenzintervalls für den geschätzten Effekt

Berechnen Sie abschließend das Konfidenzintervall für $ \ hat {ATE} $, um die Unsicherheit der Effektschätzung zu messen.

Hypothesentest und Konfidenzintervall

Im Hypothesentest werden zwei entgegengesetzte Hypothesen aufgestellt, die Nullhypothese und die Alternativhypothese. Die Nullhypothese ist, dass normalerweise der Bevölkerungsdurchschnitt $ \ mu $ ein bestimmter Wert $ \ mu_0 $ ist. Andererseits wird die Hypothese, dass der Wert des Bevölkerungsdurchschnitts nicht $ \ mu_0 $ ist, als alternative Hypothese bezeichnet.

Indem wir den realisierten Wert $ x $ der Wahrscheinlichkeitsvariablen $ X $ beobachten, berechnen wir, wie selten die Wahrscheinlichkeit ist, dass der realisierte Wert beobachtet wird, wenn die Nullhypothese korrekt ist, und akzeptieren die Hypothese basierend auf dem Berechnungsergebnis. Oder lehne es ab.

Angenommen, eine stochastische Variable folgt einer Normalverteilung. Die Verteilung $ \ sigma_0 ^ 2 $ ist bekannt.

X \sim N(\mu, \sigma_0^2)

Stellen Sie die Nullhypothese und die Alternativhypothese wie folgt ein.

H_0: \mu = \mu_0 \\
H_1: \mu \neq \mu_0 \\

Die Ablehnungs- und Akzeptanzbereiche der Nullhypothese sind wie folgt.

R = \left\{ x \in \mathbb{R} \middle| \frac{|x - \mu_0|}{\sigma_0} > z_{\alpha/2}\right\} \\
A = \left\{ x \in \mathbb{R} \middle| \frac{|x - \mu_0|}{\sigma_0} \leq z_{\alpha/2}\right\}

$ z_ {\ alpha / 2} $ ist der z-Wert der Standardnormalverteilung. Die Wahrscheinlichkeit, dass $ z_ {\ alpha} $ oder mehr aus der Standardnormalverteilung $ \ Phi = N (0,1) $ extrahiert wird, beträgt $ \ alpha $.

Verwendung der Standardnormalverteilungstabelle

Hier, wenn die Testmethode von $ X $ nach $ \ mu_0 $ invertiert wird

\begin{align}
A &= \left\{ \mu_0 \in \mathbb{R} \middle| \frac{|x - \mu_0|}{\sigma_0} \leq z_{\alpha/2}\right\} \\
  &= \left\{ \mu_0 \in \mathbb{R} \middle| |x - \mu_0| \leq \sigma_0 z_{\alpha/2}\right\} \\
  &= \left\{ \mu_0 \in \mathbb{R} \middle| x - \sigma_0 z_{\alpha/2} \leq \mu_0 \leq x + \sigma_0 z_{\alpha/2} \right\}
\end{align}

Es wird sein. Wenn die Nullhypothese korrekt ist, beträgt das Intervall, in dem der Realisierungswert der Stichprobe $ X $ als $ x $ innerhalb von $ 1- \ alpha $% liegt, $ [x- \ sigma_0 z_ {\ alpha / 2}, x + \ sigma_0 z_ {\ alpha / 2}] $. Dies wird als Konfidenzintervall mit einem Konfidenzfaktor von $ 1- \ alpha $ bezeichnet.

Berechnung des Konfidenzintervalls für den geschätzten Effekt

Nachdem wir nun wissen, wie das Konfidenzintervall berechnet wird, können wir das Konfidenzintervall für den Effekt tatsächlich berechnen.

Die Grundgesamtheit der Wahrscheinlichkeitsverteilung, der der Effekt folgt

Die Mathematik der Wahrscheinlichkeitsverteilung, der der geschätzte Effekt der Messung $ \ hat {ATE} $ folgt

\begin{align}
\mu &= ATE = p_T - p_C \\
\sigma &= \sqrt{\frac{1}{n}p_{T}(1-p_{T})+\frac{1}{m}p_{C}(1-p_{C})} \\
\end{align}

war.

Berechnen Sie den geschätzten Wert der Bevölkerung aus den Daten

Berechnen Sie die durchschnittliche Schätzung. Wir kennen den wahren Wert der Standardabweichung nicht und ersetzen stattdessen eine unvoreingenommene Route.

\begin{align}
\hat{\mu} &= \hat{ate} = \bar{x_T} - \bar{x_C} \\
\sigma_0 &\approx v_{ATE} = \sqrt{\frac{1}{n-1}\bar{x_T}(1-\bar{x_T})+\frac{1}{m-1}\bar{x_C}(1-\bar{x_C})} \\
\end{align}

Wenn die Verteilung, der $ ATE $ folgt, eine Normalverteilung ist (* später beschrieben), hat das Ergreifen von Maßnahmen $ ATE $ $ 1- \ alpha $ das Vertrauensintervall

[\hat{\mu} - v_{ATE} \, z_{\alpha/2}, \hat{\mu} + v_{ATE} \, z_{\alpha/2}]

Es wird sein.

Die Beziehung zwischen $ \ alpha $ und $ z_ {\ alpha / 2} $

\begin{align}
\alpha = 0.05 &\leftrightarrow z_{\alpha/2} = 1.96 \\
\alpha = 0.1 &\leftrightarrow z_{\alpha/2} = 1.65 \\
\end{align}

Wenn beispielsweise $ \ alpha = 0,05 $ ist, beträgt das 95% -Konfidenzintervall auf beiden Seiten

[\hat{\mu} - 1.96v_{ATE}, \hat{\mu} + 1.96v_{ATE}]

ist.

"Stichprobenmittelwert ± 2 x Standardfehler" ist eine Annäherung an das 95% -Konfidenzintervall auf beiden Seiten. Aus praktischen Gründen halte ich es für eine gute Idee, damit zu beginnen.

Code

import numpy as np
import pandas as pd
import plotly.express as px

##Problemstellung
t_imp = 10000
c_imp = 50000
t_click = 100
c_click = 350

t_ctr = t_click / t_imp
c_ctr = c_click / c_imp


##Berechnen Sie Schätzungen des ATE-Populationsmittelwerts und der Populationsvarianz
#durchschnittlich
ate_mean = t_ctr - c_ctr

#Verteilt(Ohne gleiche Dispergierbarkeit anzunehmen)
ate_var = (t_ctr * (1 - t_ctr) / (t_imp - 1)) + (c_ctr * (1 - c_ctr) / (c_imp - 1)) #Keine Annahme einer gleichen Streuung
ate_se = np.sqrt(ate_var)
#Verteilt(Gleiche Verteilung voraussetzen)
t_var = (t_ctr * (1 - t_ctr)) * (t_imp / (t_imp - 1)) #Unvoreingenommene Streuung der Interventionsgruppe
c_var = (c_ctr * (1 - c_ctr)) * (c_imp / (c_imp - 1)) #Unvoreingenommene Verteilung der Kontrollgruppen
tc_var_pool = ((t_imp - 1) * t_var + (c_imp - 1) * c_var) / (t_imp + c_imp - 2) #Gepoolte Verteilung
ate_var_pool = tc_var_pool * (1 / t_imp + 1 / c_imp) #aß Verteilung
ate_se_pool = np.sqrt(ate_var_pool)


##Visualisierung
df_plot = pd.DataFrame({
    "mean": [ate_mean, ate_mean],
    "2se": [2 * ate_se, 2 * ate_se_pool], #Auf und ab 95%Ungefähres Konfidenzintervall
    "type": ["equal_var=False", "equal_var=True"]
})
px.bar(df_plot, x="type", y="mean", error_y="2se", height=400, width=400)

Es ist ersichtlich, dass der Schätzfehler geringfügig kleiner ist, wenn die gleiche Streuung angenommen wird.

Impressionen etc.

Dank verschiedener Recherchen konnte ich das Konzept der Inferenzstatistik organisieren.

1. Ich möchte die Population kennen, die die Form eines bestimmten Ereignisses bestimmt, indem sie eine Wahrscheinlichkeitsverteilung im Verlauf des Auftretens annimmt.
2. Da die Bevölkerung nicht beobachtbar ist, wird aus der Stichprobe eine (unvoreingenommene) Schätzung abgeleitet.
3. Da der geschätzte Betrag eine stochastische Variable ist, wird die Sicherheit als Standardabweichung oder Standardfehler abgeleitet.
4. Berechnen Sie geschätzte Werte wie Mittelwert und Standardfehler basierend auf den tatsächlich beobachteten Daten.

Der Begriff ist verwirrend und verwirrend. ..

Verweise

(Kubogawa, 2017) "Grundlagen der modernen mathematischen Statistik" (Hoshino, 2009) "Statistische Wissenschaft der Umfragebeobachtungsdaten" (Yasui, 2020) "Einführung in die Wirkungsprüfung - Ursache und Wirkungsgründe für einen korrekten Vergleich / Grundlagen der quantitativen Ökonomie"

(Nebenbei) Normalverteilung und t-Verteilung

Wir haben eine Normalverteilung für das Konfidenzintervall angenommen, aber wenn die Varianz unbekannt ist, folgt $ \ hat {ATE} $ der t-Verteilung anstelle der Normalverteilung. In dieser Problemstellung wird eine ausreichende Anzahl von Daten gesammelt, da sich die Produktkaufrate auf der EG-Website befindet, und die Formen der t-Verteilung und der Normalverteilung sind nahezu gleich. Daher wird die Erklärung weggelassen. Wenn Sie die t-Verteilung verwenden möchten, um ein strengeres Test- oder Konfidenzintervall zu schätzen, ersetzen Sie $ z_ {\ alpha / 2} $ durch $ t_ {\ alpha / 2} $. Bei der tatsächlichen Berechnung ist es einfacher, ein Paket wie stats.ttest_ind direkt aus den Daten zu verwenden, als den t-Wert manuell zu berechnen.