Wir betrachten Daten $\{x_i\}_{i=1}^n$ als Realisierung von unbekannten Zufallsvariablen $X_1(\omega),\ldots,X_n(\omega)$.
Ziel ist es, die Verteilung von $X_1,\ldots,X_n$ zu finden durch Modellierung.

Man wählt hierzu eine Famile $(\Omega, \mathcal F, \P_\vartheta)_{\vartheta\in\Theta}$ wobei $(\Omega, \mathcal F)$ 
fix ist und $\P_\vartheta$ variabel z.B. $\P_\vartheta = \mathcal{N}(\vartheta_1, \vartheta_2)$ (Modell) und versucht ein optimales $\vartheta$ bzw. $\P_\vartheta$ zu finden.

\textbf{Statistisches Vorgehen}
\begin{enumerate}
    \item Datenbeschreibung, intuitives Verständnis von $\{x_i\}_{i=1}^n$
    \item Definition von $\Theta$ und $(\P_\vartheta)_{\vartheta\in\Theta}$
    \item Schätzer nutzen für $(x_1,\ldots,x_n)\mapsto\vartheta\in\Theta$
    \item Überprüfung von $\vartheta$ via statistischem Test
    \item Alternativ: Konfidenzbereich über $\Theta$ finden
\end{enumerate}

\subsection{Schätzer}

\definition \textbf{Schätzer} \subtext{(Estimator)}
$$
    T_l = t_l\Bigl( X_1,\ldots,X_n \Bigr) \mapsto \vartheta_l \in (\vartheta_1,\ldots,\vartheta_m) 
$$
\smalltext{$t_l$ heisst \textit{Schätzfunktion}, eine Auswertung $T_l(\omega)$ heisst \textit{Schätzwert}.}\\
\subtext{(Estimator function, sample estimate)}

{\footnotesize
    \notation $T = (T_1,\ldots,T_m), \vartheta = (\vartheta_1,\ldots,\vartheta_m)$
}

\definition \textbf{Erwartungstreu} \subtext{(unbiased)}
$$
    T \text{ Erwartungstreu } \iffdef \forall \vartheta \in \Theta:\quad \E_\vartheta\bigl[ T \bigr] = \vartheta
$$

\definition \textbf{Erwarteter Schätzfehler} $\quad\E_\vartheta[T] - \vartheta$ \subtext{(Bias)}

\definition \textbf{MSE} $\quad\text{MSE}_\vartheta[T] = \E_\vartheta\bigl[ (T-\vartheta)^2 \bigr]$ \subtext{(Mean Sq. Error)}

\definition \textbf{Konsistent}
$$
    T^{(n)} \text{ konsistent für } \vartheta \iffdef \underset{n\to\infty}{\lim}\P_\vartheta \Bigl[ \vert T^{(n)}-\vartheta \vert > \epsilon \Bigr] = 0
$$
\subtext{Intuitiv: Bei beliebig hohem $n$ konvergiert $T^{(n)}$ zu $\vartheta$ unter $\P_\vartheta$}

\lemma \textbf{Zerlegung des MSE}
$$
    \text{MSE}_\vartheta[T] = \E_\vartheta\Bigl[ (T-\vartheta)^2 \Bigr] = \V_\vartheta[T] + \underbrace{\Bigl( \E_\vartheta[T]-\vartheta \Bigr)^2}_{=0 \text{ (erwartungstreu)}}
$$
{\footnotesize
    \remark $T$ erwartungstreu $\implies \text{MSE}_\vartheta[T]=\V_\vartheta[T]$ 
}

{\scriptsize
    \textbf{Beispiel}: $T = X_n \sim \text{Ber}(\vartheta)$ ist erwartungstreu, da $\E_\vartheta[T]=\vartheta$ ($T \sim \text{Ber}(\vartheta)$).
    Trotzdem ist $T^{(n)}$ nicht konsistent für $\vartheta \in (0,1)$, da $X_n(\omega)\in\{0,1\}$.
}

\subsection{Maximum Likelihood Methode (MLE)}

\textbf{Motivation}: Wie findet man einen guten Schätzer $T$?

Abhängig ob $(X_1,\ldots,X_n)$ stetig/diskret:
\begin{itemize}
    \item Gemeinsame Gewichtsfunktion $p_X(x_1,\ldots,x_n;\vartheta)$
    \item Gemeinsame Dichtefunktion $f_X(x_1,\ldots,x_m;\vartheta)$
\end{itemize}

{\footnotesize
    \remark $p(x_1,\ldots,x_n;\vartheta) = \P_\vartheta[X_1=x_1,\ldots,X_n=x_n]$

    \remark Häufig ist $X_k$ i.i.d, d.h. $p_X(\ldots)=\prod_{k=1}^np_X(x_k;\vartheta)$
}

\definition \textbf{Likelihood Funktion}
$$
    L(x_1,\ldots,x_n;\vartheta) = \begin{cases}
        p_X(x_1,\ldots,x_n;\vartheta), & \text{diskret} \\
        f_X(x_1,\ldots,x_n;\vartheta), & \text{stetig}
    \end{cases}
$$

\definition \textbf{Maximum Likelihood Schätzer}\\
\smalltext{Maximierung von $\vartheta \mapsto L(X_1,\ldots,X_n;\vartheta)$}
$$
    T_\text{ML} = t_\text{ML}(X_1,\ldots,X_n) \in \underset{\vartheta\in\Theta}{\text{arg max}}\Bigl( L(X_1,\ldots,X_n;\vartheta) \Bigr)
$$

\remark Äquivalent kann man $\log(L)$ maximieren.\\
\subtext{Sinnvoll falls $X_k$ i.i.d. weil dann $\log(L) = \sum_{k=1}^{n}\log\Bigl(p_X(x_k;\vartheta)\Bigr)$}

{\footnotesize
    \textbf{Anwendung}: 
    \begin{enumerate}
        \item Gemeinsame Dichte/Verteilung finden
        \item $f(\vartheta) := \ln\Bigl( L(x_1,\ldots,x_n;\vartheta) \Bigr)$
        \item $\vartheta^*$ finden, s.d. $f'(\vartheta^*) = 0$
        \item Argumentieren, dass $\vartheta^*$ das Maximum ist (z.B. via $f''$)
    \end{enumerate}
}

\subsection{Momentenschätzer}

\textbf{Annahme}: $\P_\vartheta$ s.d. $X_i,\ldots,X_n$ i.i.d.

\definition \textbf{Momentenschätzer}
$$
    T = (T_1, T_2) \text{ für } \Bigl(\E_\vartheta[X], \V_\vartheta[X] \Bigr)
$$
$$
    T_1 = \frac{1}{n}\sum_{i=1}^n X_i \qquad T_2 = \frac{1}{n}\sum_{i=1}^n X_i^2 - \Biggl(\underbrace{\frac{1}{n}\sum_{i=1}^n X_i}_{T_1}\Biggr)^2
$$
{\footnotesize
    \remark Allgemein nicht erwartungstreu
}

\definition \textbf{Empirische Varianz} \subtext{(Unbiased Sample Variance)}
$$
    T_1' = T_1 \qquad T_2' = \frac{n}{n-1}T_2
$$
{\footnotesize
    \remark Erwartungstreu
}

\subsection{Verteilungen von Schätzern}

\textbf{Motivation}: Die Verteilung eines Schätzers $T$.\\
\subtext{Es gibt wenig exakte Aussagen, daher approximativ via ZGS}

{\scriptsize
    \textbf{Beispiel}: $T = \frac{1}{n}\sum_{i=1}^n X_i$\\
    ZGS $\implies T \sim \mathcal{N}\Bigl(n\E_\vartheta[X_i],n\V_\vartheta[X_i]\Bigr)$ (für grosse $n$)
}

\definition $\chi^2$\textbf{-Verteilung}\\
\smalltext{Parameter $m$: \textit{Freiheitsgrade}}
$$
    X \sim \chi^2_m \iffdef f_X(x) = \frac{1}{2^{\frac{m}{2}}\Gamma(\frac{m}{2})}x^{\frac{m}{2}-1}e^{-\frac{x}{2}} \quad (x \geq 0)
$$
\definition \textbf{Euler'sche Gammafunktion}
$$
    \Gamma(x) = \int_0^\infty t^{x-1}e^{-t}\text{d}t \qquad \forall n \in \N_0: \Gamma(n+1) = n!
$$

\remark \textbf{Entstehung der } $\chi^2$\textbf{-Verteilung}\\
\smalltext{$X_1,\ldots,X_m$ i.i.d. s.d. $X_i \sim \mathcal{N}(0,1)$}
$$
    \sum_{i=1}^{m} X_i^2 \sim \chi_m^2
$$

\newpage

\definition \textbf{Student'sche} $t$-\textbf{Verteilung}
$$
    X \sim t_m \iffdef f_X(x) = \frac{\Gamma(\frac{m+1}{2})}{\sqrt{m\pi}\Gamma(\frac{m}{2})}\Biggl( 1+\frac{x^2}{m} \Biggr)^{-\frac{m+1}{2}}
$$

\remark \textbf{Entstehung der } $t$-\textbf{Verteilung}\\
\smalltext{$X\sim\mathcal{N}(0,1)$ und $Y \sim \chi^2_m$}
$$
    \frac{X}{\sqrt{\frac{1}{m}Y}} \sim t_m
$$

{\footnotesize
    \remark $m=1 \implies t_1$ ist Cauchy Verteilung

    \remark $\underset{m\to\infty}{\lim} t_m = \mathcal{N}(0,1)$

    \remark $t_m$ ist symmetrisch um $0$ (wie $\mathcal{N}$)
}

\theorem \textbf{Aussagen für Normalverteilungen}\\
\smalltext{$X_1,\ldots,X_n \sim \mathcal{N}(\mu, \sigma^2)$}
$$
    \bar{X}_n = \sum_{i=1}^{n}X_i,\qquad S^2 = \frac{1}{n-1}\sum_{n}^{i=1}\Bigl( X_i - \bar{X}_n \Bigr)^2
$$
\begin{enumerate}
    \item $\bar{X}_n \sim \mathcal{N}\bigl(\mu, \frac{\sigma^2}{n}\bigr)$ also $\frac{\sigma}{\sqrt{n}}(\bar{X}_n - \mu) \sim \mathcal{N}(0,1)$
    \item $\frac{n-1}{\sigma^2}S^2 = \frac{1}{\sigma^2}\sum_{i=1}^n\Bigl( X_i - \bar{X}_n \Bigr)^2 \sim \chi^2_{n-1}$
    \item $\bar{X}_n \perp S^2$
    \item $\frac{\bar{X}_n-\mu}{\frac{S}{\sqrt{n}}} = \displaystyle\frac{\frac{\bar{X}_n - \mu}{\sigma / \sqrt{n}}}{S / \sigma} = \frac{\frac{\bar{X}_n - \mu}{\sigma / \sqrt{n}}}{\sqrt{\frac{1}{n-1}\frac{n-1}{\sigma^2}S^2}} \sim t_{n-1}$
\end{enumerate}

\newpage

\subsection{Tests}

\textbf{Motivation}: Modelliert $\vartheta\in\Theta$ die Daten $\{x_i\}_{i=1}^n$ gut?

\definition \textbf{Hypothese} $H_0: \Theta_0 \subseteq \Theta$, \textbf{Alternative} $H_A: \Theta_A \subseteq \Theta$

\remark Häufig: $\Theta_A = \Theta_0^\text{C} = \Theta \setminus \Theta_0$

\definition $\Theta_x$ \textbf{Einfach} $\iffdef |\Theta_x| = 1$\\
\subtext{Ansonsten: \textit{Zusammengesetzt}}

\definition \textbf{Test} $(T,K)$\\
\smalltext{Eine \textit{Entscheidungsregel}, um $H_0$ durch $\{x_i\}_{i=1}^n$ zu bewerten}
\begin{align*}
    &   \textbf{Teststatistik}\quad          & T = t(X_1,\ldots,X_n) \quad t: \R^n\to\R \\
    &   \textbf{Kritischer Bereich}\quad     & K \subseteq \R
\end{align*}

\textbf{Entscheidungsregel}: $H_0$ verworfen $\iff T(\omega) \in K$

{\footnotesize
    \remark Da $T$ zufällig: $\{T\in K\} = \{\omega\in\Omega\sep T(\omega)\in K\}$ und $\P_\vartheta[T\in K]$ ist berechenbar.
}

\definition \textbf{Fehler 1. Art}: $H_0$ wird abgelehnt, obwohl korrekt\\
\subtext{$\vartheta\in\Theta_0$ s.d. $T\in K$. $\P_\vartheta[T\in K]$ für $\vartheta\in\Theta_0$ ist  W.-keit 1. Art}

\definition \textbf{Fehler 2. Art}: $H_0$ wird angenommen, obwohl falsch\\
\subtext{$\vartheta\in\Theta_A$ s.d. $T\notin K$. $\P_\vartheta[T\notin K]$ für $\vartheta\in\Theta_A$ ist W.-keit 2. Art}

\subsubsection{Statistisches Vorgehen}

\definition \textbf{Signifikanzniveau} $\alpha$ s.d. $\underset{\vartheta\in\Theta_0}{\sup}\P_\vartheta[T\in K] \leq \alpha$

\definition \textbf{Macht} $\beta: \Theta_A \to [0,1] \quad \vartheta \mapsto \beta(\vartheta) = \P_\vartheta[T \in K]$

\method \textbf{Asymmetrisches Verfahren}:
\begin{enumerate}
    \item $\alpha$ auswählen. (W.-keit Fehler 1. Art auswählen)
    \item $\beta$ maximieren. (W.-keit Fehler 2. Art minimieren)
\end{enumerate}

{\footnotesize
    \remark \textbf{Die Wahl von $H_0,H_A$ ist signifikant.} Gemäss Verfahren ist es schwieriger, die Hypothese zu verwerfen als beizubehalten. Man nutzt d.h. die \textit{Negation} der gewünschten Aussage als Hypothese $H_0$.
}

\newpage

\subsection{Konstruktion von Tests}

\subtext{$X_1,\ldots, X_n$ diskrete/stetig unter $\P_{\vartheta_0}$ und $\P_{\vartheta_A}$}

\definition \textbf{Likelihood Quotient}\\
\subtext{$x_1,\ldots,x_n \in \R,\quad \vartheta_0\in\Theta_0,\quad \vartheta_A\in\Theta_A$}
$$
    R(x_1,\ldots,x_n;\vartheta_0,\vartheta_A) := \frac{L(x_1,\ldots,x_n;\vartheta_0)}{L(x_1,\ldots,x_n;\vartheta_A)}
$$

Intuitiv, wenn $R$ gross ist, ist $\{x_i\}_{i=1}^n$ deutlich wahrscheinlicher in $\P_{\vartheta_0}$ als $\P_{\vartheta_A}$.

{\footnotesize
    \remark $R(x_1,\ldots;\vartheta_0,\vartheta_A) := +\infty \iff L(x_1,\ldots;\vartheta_A)=0$
}

\definition \textbf{Likelihood Quotient Test} \smalltext{$c\geq0$}
$$
    T=R(X_1,\ldots,X_n;\vartheta_0,\vartheta_A) \qquad K = (c,\infty]
$$

\lemma \textbf{Neyman-Pearson}\\
\smalltext{$\forall (T',K') \text{ s.d. } \P_{\vartheta_0}[T'\in K'] = \alpha \leq \alpha^*:$}
$$
    \P_{\vartheta_A}[T'\in K'] \leq \P_{\vartheta_A}[T\in K]
$$
\subtext{$\Theta_0 = \{\vartheta_0\}, \Theta_A = \{\vartheta_A\}, (T,K) \text{ ist L.Q.-Test},\quad \alpha^* = \P_{\vartheta_0}[T\in K]$}

D.h. jeder solcher Test mit kleinerem $\alpha$ hat ein kleineres $\beta$.

{\footnotesize
    \remark Die Situation $|\Theta_0|=|\Theta_A| = 1$ ist selten. Man wendet trotzdem eine Verallgemeinerung des oberen Prinzips für komplexere Fälle an.
}

\definition \textbf{Verallgemeinerter Likelihood Quotient}
\begin{align*}
    R(x_1,\ldots,x_n)           &:= \frac{\underset{\vartheta\in\Theta_0}{\sup} L(x_1,\ldots,x_n;\vartheta)}{\underset{\vartheta\in\Theta_A}{\sup}L(x_1,\ldots,x_n;\vartheta)} \\
    \tilde{R}(x_1,\ldots,x_n)   &:= \frac{\underset{\vartheta\in\Theta_0\cup\Theta_A}{\sup} L(x_1,\ldots,x_n;\vartheta)}{\underset{\vartheta\in\Theta_A}{\sup}L(x_1,\ldots,x_n;\vartheta)}
\end{align*}

\newpage 

\definition \textbf{Gauss-Z-Test}\\
\smalltext{$X_1,\ldots,X_n \overset{\text{i.i.d.}}{\sim} \mathcal N (\vartheta, \sigma^2)$, $\sigma^2$ bekannt}
\begin{align*}
    & H_0:  & \vartheta = \vartheta_0 \\
    & H_A:  & \vartheta > \vartheta_0 \ \lor \ \vartheta < \vartheta_0 \\
    & T:    & T=\frac{\bar{X}_n-\vartheta_0}{\frac{\sigma}{\sqrt{n}}}\sim\mathcal N (0,1) \text{ unter } \P_{\vartheta_0} \\
    & K:    & K=\begin{cases}
        (c_>,\infty) \lor (-\infty, c_<)        & \text{Einseitig} \\
        (-\infty, -c_{\neq}) \cup (c_{\neq},\infty) & \text{Beidseitig}
    \end{cases}
\end{align*}

{\footnotesize
    \remark Im beidseitigen Fall verwirft man $H_0$ falls $|T|>c_{\neq}$.

    \remark Man bestimmt $c_>,c_<,c_{\neq}$ durch Verteilung $T$ unter $\P_{\vartheta_0}$
}

{\scriptsize
    \textbf{Beispiel}: Gauss-z-Test mit Quantilen
    \begin{align*}
        \alpha  &= \P_{\vartheta_0}[T\in K]     \\
                &= \P_{\vartheta_0}[T > c_>]    \\ 
                &= 1-\P_{\vartheta_0}[T \leq c_>] = \boxed{1-\Phi(c_>)}
    \end{align*}
    $c_> = \Phi^{-1}(1-\alpha) =: z_{1-\alpha}$ ist das \textit{$(1-\alpha)$-Quantil} von $\mathcal{N}(1,0)$.\\ 
    Man verwirft für $\vartheta > \vartheta_0$ also $H_0$ falls:
    $$
        \frac{1}{n}\sum_{i=1}^nX_i > \vartheta_0 + z_{1-\alpha}\frac{\sigma}{\sqrt{n}}
    $$
    Wegen der Symmetrie von $\mathcal N (0,1)$: $c_< = z_\alpha = -z_{1-\alpha}$ und $c_{\neq}=z_{1-\frac{\alpha}{2}}$
}

\definition $t$-\textbf{Test}\\
\smalltext{$X_1,\ldots,X_n \overset{\text{i.i.d.}}{\sim} \mathcal{N}(\mu,\sigma^2),\quad \vartheta = (\mu,\sigma^2)$} 
\begin{align*}
    & H_0:  & \mu = \mu_0 \\
    & T:    & T=\frac{\bar{X}_n-\mu_0}{\frac{S}{\sqrt{n}}} \sim t_{n-1} \text{ unter } \P_{\vartheta_0} \\
    & S:    & S^2 = \frac{1}{n-1}\sum_{i=1}^{n}\biggl( X_k-\bar{X}_n \biggr)^2 \\
    & K:    & K=\begin{cases}
        (c_>,\infty) \lor (-\infty, c_<)        & \text{Einseitig} \\
        (-\infty, -c_{\neq}) \cup (c_{\neq},\infty) & \text{Beidseitig}
    \end{cases} \\
    & c:    & c = \begin{cases}
        c_> = t_{n-1,1-\alpha} \\
        c_< = t_{n-1,\alpha} = -t_{n-1,1-\alpha} \\
        c_{\neq} = t_{n-1,1-\frac{\alpha}{2}}
    \end{cases}
\end{align*}

\definition $\gamma$-\textbf{Quantil} $t_{m,\gamma}$ s.d. $\P[X \leq t_{m,\gamma}] = \gamma$ für $X \sim t_m$

\newpage

\definition \textbf{Gepaarter Zweistichproben-Test}\\
\smalltext{$m=n,\quad \sigma^2$ identisch}
\begin{align*}
    X_1,\ldots,X_n \overset{\text{i.i.d.}}{\sim} \mathcal{N}(\mu_X,\sigma^2) \text{ unter } \P_{\vartheta} \\
    Y_1,\ldots,Y_n \overset{\text{i.i.d.}}{\sim} \mathcal{N}(\mu_Y,\sigma^2) \text{ unter } \P_{\vartheta}
\end{align*}

{\footnotesize
    \remark $(X_k-Y_k) \overset{\text{i.i.d.}}{\sim} \mathcal{N}\Bigl(\mu_X-\mu_Y,2(1-\rho)\sigma^2\Bigr)$\\
}
\subtext{$\rho \in (-1,1)$ ist Korrelation $X,Y$. Bei Unabhängigkeit: $\rho=0$}

\definition \textbf{Ungepaarter Zweistichproben-Test} $\iffdef m \neq n$
$$\
    T=\frac{\bar{X}_n - \bar{Y}_m - (\mu_X-\mu_Y)}{\sigma\sqrt{\frac{1}{n}+\frac{1}{m}}} \sim\mathcal{N}(0,1)
$$
Bei unbekanntem $\sigma^2$ wird $S^2$ genutzt:
$$
    S^2 = \frac{1}{m+n-2}\biggl( (n-1)S_X^2+(m-1)S_Y^2 \biggr)
$$

\subsection{p-Wert}

\textbf{Motivation}: Bisherige Tests nutzen alle $\mathcal{N}(\mu,\sigma^2)$.

\smalltext{
    p-Wert Intuitiv: Die W.-keit, unter $H_0$ einen min. so extremen Wert für $T$ zu bekommen wie $T(\omega)$ aus der Stichprobe.
}

\definition \textbf{Geordnete Testsammlung} $(T,K_t)_{t\geq0}$
$$
    \forall t: K_t \subseteq \R \quad\land\quad s\ \leq t \implies K_s \supset K_t
$$
\subtext{z.B. $(T,K_t)_{t\geq0}$ s.d. $K_t=(t,\infty)$ oder $K_t=(-\infty, -t)$}

\definition \textbf{p-Wert}\\
\smalltext{$G:\R_+\to[0,1],\quad G(t) = \P_{\vartheta_0}[T\in K_t]$}
$$
    p\text{-Wert } = G(T): \Omega \to [0,1]
$$
\subtext{$H_0: \vartheta = \vartheta_0$ einfach,$\quad (T,K_t)_{t\geq0}$ geordnet}

\remark \textbf{Interpretation}
\begin{align*}
    \alpha > p      &\implies (T, K_t) \text{ lehnt } H_0 \text{ ab} \\
    \alpha \leq p   &\implies (T, K_t) \text{ akzeptier } H_0 
\end{align*}

{\footnotesize
    \remark $p$-Wert ist unabhängig von $H_A$
}

\newpage

\subsection{Konfidenzinterval}

\textbf{Motivation}: $T$ liefert nur ein $\vartheta$, wieso nicht einen Intervall?

\definition \textbf{Konfidenzbereich}
$$
    C(x_1,\ldots,x_n) \subseteq \Theta \qquad \tilde{C}(X_1,\ldots,X_n) \subseteq \Theta
$$
\definition \textbf{Konfidenzbereich, Niveau} $1-\alpha$
$$
    \forall \vartheta \in \Theta:\quad \P\Bigl[ \vartheta \in C(X_1,\ldots,X_n)\Bigr] \geq 1-\alpha 
$$
\definition \textbf{Konfidenzinterval}\\
\smalltext{$A,B$ sind Zufallsvariablen}
\begin{align*}
    &   I = [A,B] \text{ s.d. } \P\Bigl[ \vartheta \in [A,B] \Bigr] = \P[A\leq\vartheta\leq B] \geq 1-\alpha \\
    &   A = a(X_1,\ldots,X_n) \qquad B = b(X_1,\ldots,X_n)
\end{align*}

\newpage

div

\newpage