[PS] First update complete

semester4/ps/ps-jh/parts/07_tests/00_basics.tex

@@ -1,6 +1,6 @@
 \subsection{Grundbegriffe}
 Wiederum Stichprobe $\cX_1, \ldots, \cX_n$, mögliche Modelle durch Familie $(\P_\vartheta)_{\theta \in \Theta}$ beschrieben und $\vartheta$ ein-/mehrdimensional.
-Wir haben \textit{Vermutung} wo in $\Theta$ richtiges $\vartheta$ liegt.
+Wir haben \bi{Vermutung} wo in $\Theta$ richtiges $\vartheta$ liegt.
 
 Wir entscheiden zwischen folgenden, mit $\Theta_0 \cap \Theta_A = \emptyset$.:
 \begin{itemize}
@@ -8,25 +8,38 @@ Wir entscheiden zwischen folgenden, mit $\Theta_0 \cap \Theta_A = \emptyset$.:
     \item \bi{Alternative} $\Theta_A \subseteq \Theta$ (oft: $H_A: \vartheta \in \Theta_A$)
 \end{itemize}
 Falls keine Alternative spezifiziert, so gilt $\Theta_A = \Theta_0^C = \Theta \backslash \Theta_0$.
-Sie heissen \bi{Einfach}, falls $\Theta_0 = \{ \vartheta_0 \}$, resp. $\Theta_A = \{ \vartheta_A \}$, sonst \bi{Zusammengesetzt}
+Sie heissen \bi{Einfach}, falls $\Theta_0 = \{ \vartheta_0 \}$, resp. $\Theta_A = \{ \vartheta_A \}$, sonst \bi{Zusammengesetzt} (e.g. $\Theta_A = (0.5, 1]$)
 
 \shortdefinition[Test] ist ein Paar $(T, K)$ mit
 \begin{itemize}
     \item \bi{Teststatistik} $T = t(\cX_1, \ldots, \cX_n)$ eine Zufallsvariable mit messbarer Funktion $t: \R^n \rightarrow \R$
-    \item \bi{Verwerfungsbereich} $K \subseteq \R$
+    \item \bi{Verwerfungsbereich} $K \subseteq \R$ (auch \textit{kritischer Bereich})
 \end{itemize}
 \shade{gray}{Entscheidungsregel} $H_0$ wird \textit{verworfen}, falls $T(\omega) \in K$, sonst \textit{angenommen}, bzw. nicht verworfen
 
-\shade{gray}{Fehlerarten}
-\bi{Fehler 1. Art} (Hypothese abgelehnt, ist aber richtig), falls $\vartheta \in \Theta_0$, aber $T \in K$, also
-$\P_\vartheta[T \in K]$ für $\vartheta \in \Theta_0$ ist W. für F. 1. Art\\
-\bi{Fehler 2. Art} (Hypothese angenommen, ist aber falsch), falls $\vartheta \in \Theta_A$, aber $T \notin K$, also
-$\P_\vartheta[T \notin K]$ für $\vartheta \in \Theta_A$ ist W. für F. 2. Art
+\shortdefinition[Fehler 1. Art] (Hypothese abgelehnt, ist aber richtig), falls $\vartheta \in \Theta_0$, aber $T \in K$, also
+$\P_\vartheta[T \in K]$ für $\vartheta \in \Theta_0$ ist W. für F. 1. Art
+
+\shortdefinition[Fehler 2. Art] (Hypothese angenommen, aber falsch), falls $\vartheta \in \Theta_A$, aber $T \notin K$, also
+$\P_\vartheta[T \notin K] = 1 - \P_\vartheta[T \in K]$ für $\vartheta \in \Theta_A$ ist W. für F. 2. Art
 
 \shortremark Entscheidung hängt dabei von \bi{Realisierung} $\omega$ ab.
 Da $T$ eine Z.V. ist, können $\P_\vartheta[T \in K]$ in jedem $\P_\vartheta$ betrachten
 
-\bi{Signifikanzniveau} $\alpha \in (0, 1)$. Ziel: $\underset{\vartheta \in \Theta_0}{\sup} \P_\vartheta[T \in K] \leq \alpha$
+\shortdefinition[Signifikanzniveau] $\alpha \in (0, 1)$. Ziel: $\underset{\vartheta \in \Theta_0}{\sup} \P_\vartheta[T \in K] \leq \alpha$
 (Fehler 1. Art so klein wie möglich). Typisch: $\alpha = 0.05$
 
-\bi{Macht} $\beta: \Theta_A \rightarrow [0, 1]$, mit $\beta(\vartheta) = \P_\vartheta[T \in K]$ soll möglichst gross werden (Fehler 2. Art so klein wie möglich)
+\shortdefinition[Macht] $\beta: \Theta_A \rightarrow [0, 1]$, mit $\beta(\vartheta) = \P_\vartheta[T \in K]$ soll möglichst gross werden (Fehler 2. Art so klein wie möglich)
+
+\shortremark Seriöser Test nutzt immer \highlight{negation der Aussage} als Hypothese (da Hypothese eher angenommen als abgelehnt wird).
+Entscheidung ist nicht \textit{Beweis}, sondern \textit{Interpr.}
+
+\shortexample[Tea Tasting Lady] Lady behauptet, sie kann schmecken, ob zuerst Tee oder Milch eingegossen wurde.
+Hypothese: ist Raten ($H_0: \vartheta = 0.5$, $H_A: \vartheta > 0.5$). Unter $\P_\vartheta$, $\cX_i \sim \text{Ber}(\vartheta)$ i.i.d und
+$S_n = \sum_{k = 1}^{n} \cX_k \sim \text{Bin}(n, \vartheta)$. Grosser Wert von $S_n$ eher $H_A$ als $H_0$. 
+
+\bi{Test}: $T = S_n$, $K = (c, \8)$. Für Bestimmung von $\alpha$ brauchen wir $\P_\vartheta[S_n > c]$ für $\vartheta = 0.5$.
+Berechnen Verteilung von $T$ (nicht immer möglich, wenn nicht, nutzen Approximation). Für $\alpha$ muss $\P_\vartheta[S_n > c] \leq \alpha$ sein.
+Wählen $c$ so, dass $\alpha$ ungefähr 5\% ist. 
+
+\bi{Macht} ersichtlich durch Berechnung von $\beta(0.6)$ hier. Fehler 2. Art ist gross ($1 - \beta(\vartheta)$ gross)

semester4/ps/ps-jh/parts/07_tests/01_construction.tex

@@ -1,3 +1,4 @@
+\newpage
 \subsection{Konstruktion von Tests}
 % Slide 401 (P24)
 $\cX_i$ diskret oder gemeinsam stetig unter $\P_{\vartheta_0}$ und $\P_{\vartheta_A}$. Sei $L(x_1, \ldots, x_n; \vartheta)$ die Likelihood-Funktion
@@ -6,20 +7,22 @@ $\cX_i$ diskret oder gemeinsam stetig unter $\P_{\vartheta_0}$ und $\P_{\varthet
 $R(x_1, \ldots, x_n; \vartheta_0, \vartheta_A) = \frac{L(x_1, \ldots, x_n; \vartheta_A)}{L(x_1, \ldots, x_n; \vartheta_0)}$.\\
 $R(x_1, \ldots; \vartheta_0, \vartheta_A) = +\8$ wenn $L(x_1, \ldots; \vartheta_0) = 0$.
 Wenn $R$ gross ist, sind Beobachtungen in $\P_{\vartheta_A}$ deutlich wahrscheinlicher als in $\P_{\vartheta_0}$.
+\hl{Oft verwendeter Test}
 
-% TODO: More places with highlighting
-\shortdefinition[Likelihood-Quotienten-Test] Sei $c \geq 0$. Der LQT mit param $c$ ist Test $(T, K)$ mit $T = R(\cX_1, \ldots, \cX_n; \vartheta_0, \vartheta_A)$ 
+\shortdefinition[Likelihood-Quotienten-Test] Sei $c \geq 0$. Der \bi{LQT} mit param $c$ ist Test $(T, K)$ mit $T = R(\cX_1, \ldots, \cX_n; \vartheta_0, \vartheta_A)$
 und $K = (c, \8)$. $H_0$ wird verworfen wenn $R$ gross wird.
 
+
 \shorttheorem[Neyman-Pearson] Seien $\Theta_0, \Theta_A$ \textit{einfach} und $(T, K)$ ein LQT mit $c$ und sig.-niv. $\alpha^* := \P_{\vartheta_0}[T \in K]$.
 Anderer Test $(T', K')$ mit $\P_{\vartheta_0}[T' \in K'] =: \alpha \leq \alpha^*$, so gilt auch $\P_{\vartheta_A}[T' \in K'] \leq \P_{\vartheta_A}[T \in K]$.
 
 \inlineintuition Jeder Test mit kleinerem Signifikanzniveau hat auch kleinere Macht
 
 \shortdefinition[Verallgemeinerte LQ] ist gegeben durch
-\[
-    R(x_1, \ldots, x_n) = \frac{\sup_{\vartheta \in \Theta_A} L(x_1, \ldots, x_n; \vartheta)}{\sup_{\vartheta \in \Theta_0} L(x_1, \ldots, x_n; \vartheta)}
-\]
+\begin{align*}
+    R(x_1, \ldots, x_n) = \frac{\sup_{\vartheta \in \Theta_A} L(x_1, \ldots, x_n; \vartheta)}{\sup_{\vartheta \in \Theta_0} L(x_1, \ldots, x_n; \vartheta)} \\
+    \tilde{R}(x_1, \ldots, x_n) = \frac{\sup_{\vartheta \in \Theta_A \cup \Theta_0} L(x_1, \ldots, x_n; \vartheta)}{\sup_{\vartheta \in \Theta_0} L(x_1, \ldots, x_n; \vartheta)}
+\end{align*}
 
 % 407
 % TODO: Likelihood-Functions and quotients of common distributions

semester4/ps/ps-jh/parts/07_tests/02_examples.tex

@@ -6,18 +6,19 @@ Teststatistik ist immer:
 \[
     T = \frac{\overline{\cX}_n - \vartheta_0}{\frac{\sigma}{\sqrt{n}}} \sim \cN(0, 1) \qquad \text{unter } \P_{\vartheta_0}
 \]
-Kritischer Bereich $K$: $(c_>, \8)$, bzw. $(-\8, c_<)$ für einseitig, $(-\8, -c_{\neq}) \cup (c_{\neq}, \8)$ für zweiseitig (verw. falls $|T| > c_{\neq}$).
+$K$: $(c_>, \8)$, bzw. $(-\8, c_<)$ für einseitig, $(-\8, -c_{\neq}) \cup$\\
+$(c_{\neq}, \8)$ für zweiseitig (verwerfen $H_0$ falls $|T| > c_{\neq}$).
 
 \bi{Bestimmung $c$s}: Mit Verteilung von $T$. Bsp: $\alpha = \P_{\vartheta_0}[T > c_>] = 1 - \Phi(c_>)$, folglich $c_> = \Phi^{-1}(1 - \alpha) =: z_{1 - \alpha}$
 
 
 \shortexample[t-Test] $\cX_i$ i.i.d. $\sim \cN(\mu, \sigma^2)$ unter $\P_{\overrightarrow{\vartheta}}$
 mit $\overrightarrow{\vartheta} := (\mu, \sigma^2)$ (und insbesondere $\sigma^2)$ unbekannt.
-Testen wieder $H_0 : \mu = \mu_0$. Teststatistik ist hier:
+Testen wieder $H_0 : \mu = \mu_0$. Teststatistik ist hier (see \ref{sec:estimators-properties}, $t_m$-V.):
 \[
     T = \frac{\overline{X}_n - \mu_0}{\frac{S}{\sqrt{n}}} \qquad S^2 = \frac{1}{n - 1} \sum_{k = 1}^{n} (\cX_k - \overline{\cX}_n)^2
 \]
-Kritischer Bereich $K$: $c_> = t_{n - 1, 1 - \alpha}$, $c_< = t_{n - 1, \alpha} = -c_>$ und $c_{\neq} = t_{n - 1, 1 - 0.5 \alpha}$,
+$K$: $c_> = t_{n - 1, 1 - \alpha}$; $c_< = t_{n - 1, \alpha} = -c_>$; $c_{\neq} = t_{n - 1, 1 - 0.5 \alpha}$,
 mit $t_{m, \gamma}$ das $\gamma$-Quantil, mit $\P[\cX \leq t_{m, \gamma}] = \gamma$ für $\cX \sim t_m$
 
 
@@ -30,15 +31,15 @@ Differenzen $\cZ_k = \cX_k - \cY_k$ unter $\P_\vartheta$ i.i.d. $\sim \cN(\mu_\c
 Wenn nicht unabhängig: $\sim \cN(\mu_\cX - \mu_\cY, 2(1 - \rho) \sigma^2)$ mit $\rho \in (-1, 1)$ Korrelation und $\rho = 0$ Unabhängigkeit.
 
 
-\shortexample[Ungepaart] $\cX_i$, $\cY_j$ wie zuvor ($n$ und $m$ je). 
+\shortexample[Ungepaart] $\cX_i$, $\cY_j$ wie zuvor ($n$ und $m$ je).
 
-$z$-Test (falls $\sigma^2$ bekannt):
+\bi{$z$-Test} (falls $\sigma^2$ bekannt):
 \[
     T = \frac{(\overline{\cX}_n - \overline{\cY}_m) - (\mu_\cX - \mu_\cY)}{\sigma \sqrt{\frac{1}{n} + \frac{1}{m}}} \sim \cN(0, 1)
 \]
 $\mu_\cX - \mu_\cY$ muss aus $H_0$ bekannt sein. Der kritische Bereich ist wieder Quantile der $\cN(0, 1)$-Verteilung.
 
-$t$-Test (falls $\sigma^2$ unbekannt):
+\bi{$t$-Test} (falls $\sigma^2$ unbekannt):
 \[
     T = \frac{(\overline{\cX}_n - \overline{\cY}_m) - (\mu_\cX - \mu_\cY)}{S \sqrt{\frac{1}{n} + \frac{1}{m}}} \sim t_{n + m - 2}
 \]

semester4/ps/ps-jh/parts/07_tests/03_p-value.tex

@@ -1,7 +1,7 @@
 \subsection{p-Wert}
 Für Stichprobe $\cX_i$ ($n$ el.) testen $H_0 : \vartheta = \vartheta_0$ gegen eine $H_A : \vartheta \in \Theta_A$.
 
-$p$-Wert ist W unter $H_0$ einen mind. so extremen Wert für $T$ zu bekommen wie $T(\omega) = t(x_1, \ldots, x_n)$ (extrem bezieht sich auf $H_A$).
+$p$-Wert ist W. unter $H_0$ einen mind. so extremen Wert für $T$ zu bekommen wie $T(\omega) = t(x_1, \ldots, x_n)$ (extrem bezieht sich auf $H_A$).
 Für bspw. $H_A: \vartheta > \vartheta_0$, dann ist $p\text{-Wert}(\omega) = \P_{\vartheta_0}[T > t_0] \Big|_{t_0 = t(\cX_1(\omega), \ldots)}$
 
 \shortdefinition[Geordnete Testsammlung]
@@ -19,4 +19,4 @@ Er ist eine Zufallsvariable, hängt direkt von $x_i$ ab. Wiederholen des Tests g
 Wenn $T$ stetig und $K_t = (t, \8)$, dann gleichverteilt auf $[0, 1]$.
 
 \inlineintuition Besagt, welche Tests $H_0$ ablehnen würden (alle Tests mit $\alpha > p$ lehnen $H_0$ ab). $H_A$ spielt \textit{keine} Rolle.
-Es heisst \textit{NICHT}, dass der $p$-Wert die W \textit{IST}, dass die Hypothese richtig ist.
+Es heisst \textit{NICHT}, dass der $p$-Wert die W. \textit{IST}, dass die Hypothese richtig ist.