diff --git a/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex index 6d816a0..10c82bf 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex @@ -3,28 +3,28 @@ In Modell $\P_\vartheta$ sind $\overrightarrow{\cX} = (\cX_1, \ldots, \cX_n)$ entweder \begin{itemize} - \item \bi{diskret} (gem. Gew. $p_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) - \item \bi{stetig} (gem. Dichte $f_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) + \item \bi{diskret} (gem. Gew. $p_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) + \item \bi{stetig} (gem. Dichte $f_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) \end{itemize} Da oft $X_k$ i.i.d mit individueller Gew. $p_\cX(x; \vartheta)$ bzw. Dichte $f_\cX(x; \vartheta)$ sind, also (mit $g$ ersetzt durch $p$ oder $f$) \[ - g_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n g_\cX(x_k; \vartheta) + g_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n g_\cX(x_k; \vartheta) \] \shortdefinition[Likelihood-Funktion] \[ - L(x_1, \ldots, x_n; \vartheta) = \begin{cases} - p_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im diskreten Fall} \\ - f_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im stetigen Fall} - \end{cases} + L(x_1, \ldots, x_n; \vartheta) = \begin{cases} + p_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im diskreten Fall} \\ + f_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im stetigen Fall} + \end{cases} \] -\bi{log-Likelihood-Funktion} $l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$. Ist im i.i.d-Fall eine Summe. +\bi{log-Likelihood-Funktion} $l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$. Ist im i.i.d-Fall eine Summe. \hl{\textbf{Immer in $p$ $k$ durch $x_k$ ersetzen!!}} \inlineintuition Likelihood-F. gibt W., dass in $\P_\vartheta$ die Stichprobe $\cX_1, \ldots, \cX_n$ genau Werte $x_1, \ldots x_n$ liefert. \shortdefinition[ML-Schätzer] $T_{ML}$ für $\vartheta$ maximiert die Funktion $\vartheta \mapsto L(\cX_1, \ldots, \cX_n; \vartheta)$ für alle $\vartheta$, also \[ - T_{ML} = t_{TM}(\cX_1, \ldots, \cX_n) \in \underset{\vartheta \in \Theta}{\text{argmax}}\; L(\cX_1, \ldots, \cX_n; \vartheta) + T_{ML} = t_{TM}(\cX_1, \ldots, \cX_n) \in \underset{\vartheta \in \Theta}{\text{argmax}}\; L(\cX_1, \ldots, \cX_n; \vartheta) \] {\scriptsize Wir suchen besten $t_{TM}$, durch geschickte Wahl von $\vartheta$}\\ Meistens sind $\cX_k$ i.i.d. unter $\P_\vartheta$, dann $L$ produkt, also besser $\log(L)$ maximieren (da Summe). @@ -55,44 +55,44 @@ Nullstelle von $l'(\theta)$ ist $\hat{\theta} = \frac{n}{S}$, check mit $l''(\fr \highlight{Bernoulli} $\cX_i \sim \text{Ber}(p)$ i.i.d, hier $\vartheta = p$. Dabei: $p_\cX(x; \vartheta) = \P_\vartheta[\cX = x] = \vartheta^x (1 - \vartheta)^{1 - x}$ mit $x \in \{0, 1\}$, $S = \sum_{k = 1}^{n}x_k$ \[ - L(x_1, \ldots, x_n; \vartheta) = \vartheta^{S} (1 - \vartheta)^{n - S} + L(x_1, \ldots, x_n; \vartheta) = \vartheta^{S} (1 - \vartheta)^{n - S} \] Log LH-Func: $\log(\vartheta) \cdot S + \log(1 - \vartheta) \left( n - S \right)$\\ \bi{ML-Schätzer}: $T = \frac{1}{n} \sum_{k = 1}^{n} \cX_k = \overline{\cX}_n$ \fbox{\bi{Normalverteilung}} $\cX_i \sim \cN(\mu, \sigma^2)$ i.i.d. ($\sigma^2 = v$): \[ - f_\cX(x; \vartheta) = \frac{1}{\sqrt{2\pi v}} e^{-\frac{(x - \mu)^2}{2v}} + f_\cX(x; \vartheta) = \frac{1}{\sqrt{2\pi v}} e^{-\frac{(x - \mu)^2}{2v}} \] Weil i.i.d (und $\vartheta = (\mu, \sigma^2) = (\mu, v)$): \[ - L(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n f_\cX(x_k; \vartheta) + L(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n f_\cX(x_k; \vartheta) \] und somit ($l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$): \[ - l(\vartheta) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v} + l(\vartheta) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v} \] Ableitungen nach $\mu$ und $v$ (beide $0$ für Max, $l$ kurz für $l(\vartheta)$): \[ - \partial_\mu l = 2 \sum_{k = 1}^{n} \frac{x_k - \mu}{2v} \quad - \partial_v l = - \frac{n}{2v} + \frac{1}{2v^2} \sum_{k = 1}^n (x_k - \mu)^2 + \partial_\mu l = 2 \sum_{k = 1}^{n} \frac{x_k - \mu}{2v} \quad + \partial_v l = - \frac{n}{2v} + \frac{1}{2v^2} \sum_{k = 1}^n (x_k - \mu)^2 \] Der \bi{Schätzer} ist $T = (T_1, T_2)$ (\textbf{Momentschätzer}): \[ - T_1 = \overline{\cX}_n \quad - T_2 = \frac{1}{n} \sum_{k = 1}^{n} \cX_k^2 - (\overline{\cX}_n)^2 + T_1 = \overline{\cX}_n \quad + T_2 = \frac{1}{n} \sum_{k = 1}^{n} \cX_k^2 - (\overline{\cX}_n)^2 \] Für $T$ gilt: $(\E_\vartheta[\cX], \V_\vartheta[\cX])$. Ist nicht Erwartungstreu. Es gilt $\E_\vartheta[\cX_k \cX_l] = \E_\vartheta[\cX_k] \E_\vartheta[\cX_l] = \E_\vartheta[\cX]^2$ und folglich: \[ - \E_\vartheta[(\overline{\cX}_n)^2] = \frac{1}{n} \E_\vartheta[\cX^2] + \frac{n^2 - n}{n^2} (\E_\vartheta[\cX])^2 + \E_\vartheta[(\overline{\cX}_n)^2] = \frac{1}{n} \E_\vartheta[\cX^2] + \frac{n^2 - n}{n^2} (\E_\vartheta[\cX])^2 \] \bi{Erwartungstreuer Schätzer} für $(\E_\vartheta[\cX], \V_\vartheta[\cX])$ (s. \ref{sec:estimators}): \[ - T_1' = T_1 \quad - T_2' = \frac{n}{n - 1} T_2 + T_1' = T_1 \quad + T_2' = \frac{n}{n - 1} T_2 \] {\scriptsize $T_2'$ ist (korrigierte) empirische (Stichproben)varianz \textit{((un)biased sample variance)}. Bei höherdimensionalen Parametern suchen wir den zugehörigen Nullvektor.} diff --git a/semester4/ps/ps-jh/parts/07_tests/00_basics.tex b/semester4/ps/ps-jh/parts/07_tests/00_basics.tex index 87655f0..1ac58ab 100644 --- a/semester4/ps/ps-jh/parts/07_tests/00_basics.tex +++ b/semester4/ps/ps-jh/parts/07_tests/00_basics.tex @@ -31,7 +31,7 @@ Da $T$ eine Z.V. ist, können $\P_\vartheta[T \in K]$ in jedem $\P_\vartheta$ be \shortdefinition[Macht] $\beta: \Theta_A \rightarrow [0, 1]$, mit $\beta(\vartheta) = \P_\vartheta[T \in K]$ soll möglichst gross werden (Fehler 2. Art so klein wie möglich) -\shortremark Seriöser Test nutzt immer \highlight{negation der Aussage} als Hypothese (da Hypothese eher angenommen als abgelehnt wird). +\shortremark Seriöser Test nutzt immer \hl{negation der Aussage} als Hypothese (da Hypothese eher angenommen als abgelehnt wird). Entscheidung ist nicht \textit{Beweis}, sondern \textit{Interpr.} \shortexample[Tea Tasting Lady] Lady behauptet, sie kann schmecken, ob zuerst Tee oder Milch eingegossen wurde. diff --git a/semester4/ps/ps-jh/parts/07_tests/02_examples.tex b/semester4/ps/ps-jh/parts/07_tests/02_examples.tex index dba82e1..105e701 100644 --- a/semester4/ps/ps-jh/parts/07_tests/02_examples.tex +++ b/semester4/ps/ps-jh/parts/07_tests/02_examples.tex @@ -1,4 +1,5 @@ \subsection{Beispiele} +% TODO: More on Teststatistik \shortexample[Gauss-Test] $\cX_i$ i.i.d. $\sim \cN(\vartheta, \sigma^2)$ unter $\P_\vartheta$ mit bekanntem $\sigma^2$. Die zu testende Hypothese ist $H_0 : \vartheta = \vartheta_0$, mögliche alternative Hypothesen $H_A$ sind $\vartheta > \vartheta_0$, $\vartheta < \vartheta_0$ (einseitig) oder $\vartheta \neq \vartheta_0$ (zweiseitig). diff --git a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf index f207514..729dddd 100644 Binary files a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf and b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf differ