diff --git a/semester4/ps/ps-jh/parts/00_basics/03_properties-of-measures.tex b/semester4/ps/ps-jh/parts/00_basics/03_properties-of-measures.tex index 6f0d2e6..1b48342 100644 --- a/semester4/ps/ps-jh/parts/00_basics/03_properties-of-measures.tex +++ b/semester4/ps/ps-jh/parts/00_basics/03_properties-of-measures.tex @@ -11,13 +11,13 @@ \subsubsection{Nützliche Ungleichungen} \shorttheorem[Monot.] $A, B \in \cF$, dann $A \subseteq B \Rightarrow \P[A] \leq \P[B]$ -\shorttheorem[Union Bound] Für $A_1, A_2, \ldots$ (mögl. disj.) gilt: +\shorttheorem[Union Bound] Für $A_1, A_2, \ldots$ (mögl. disj.) gilt:\\ $\P\left[ \bigcup_{i = 1}^\infty A_i \right] \leq \sum_{i = 1}^{\infty} \P[A_i]$. -Auch für endl. n.-leere Ereignisse -\stepLabelNumber{combined} +Auch für end. n.-leere Ereignisse \newpage +\stepLabelNumber{combined} \subsubsection{Anwendungen der Ungleichungen} Sie sind nützlich für schwer zu berechnende W. diff --git a/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex b/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex index 8e07171..ddbad1b 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex @@ -1,3 +1,23 @@ \subsection{Schätzer} \shortdefinition[Schätzer] ist eine Z.V. der Form $T_l = t_l(\cX_1, \ldots, \cX_n)$, mit zu findender Schätzfunktion $t_l : \R^n \rightarrow \R$. Einsetzen von Daten liefer dann \bi{Schätzwerte}. Oft schreiben wir $T = (T_1, \ldots, T_m)$ und $\vartheta = (\vartheta_1, \ldots, \vartheta_m)$ + +\shortremark \bi{Schätzwert} ist Zahl ($T_l(\omega)$), \bi{Schätzer} ist Z.V. ($T_l$) + +\shortexample \bi{Simple Schätzer} (beide Erwartungstreu)\\ +\bi{Letztes Ergebnis}: $T = X_n$ mit $X_n$ letztes Ergebnis\\ +\bi{Durchschnitt}: $T = \overline{X}_n = \frac{1}{n} S_n$ ($\frac{1}{n} \sum_{k = 1}^{n} x_k$ für Daten $x_i$) + +\shortdefinition[Erwartungstreue] Schätzer $T$ unbiased für $\vartheta$, falls $\forall \vartheta \in \Theta$ gilt $\E_\vartheta [T] = \vartheta$. +($T$ schätzt im Mittel richtig) + +\shortdefinition[Bias] \bi{Erwarteter Schätzf.} von $T$ ($\P_\vartheta$) ist $\E_\vartheta[T] - \vartheta$ + +\shortdefinition[MSE] \bi{Mittlerer quadratischer Schätzfehler} \textit{(mean squared err.)} von $T$ mit $\P_\vartheta$ ist +$\text{MSE}_\vartheta[T] = \E_\vartheta[(T - \vartheta)^2]$ + +\shortremark $\text{MSE}_\vartheta[T] = \V_\vartheta[T] + (\E_\vartheta[T] - \vartheta)^2$ + +\shortdefinition \bi{Folge von Schätzern} $T^{(n)}$, $n \in \N$ ist \bi{konsistent} für $\vartheta$, +falls $T^{(n)}$ für $n \rightarrow \8$ in $\P_\vartheta$-W. gegen $\vartheta$ konvergiert, also $\forall \vartheta \in \Theta, \varepsilon > 0$: +$\limit{n}{\8} \P_\vartheta [|T^{(n)} - \vartheta| > \varepsilon] = 0$ diff --git a/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex new file mode 100644 index 0000000..8c0ebdb --- /dev/null +++ b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex @@ -0,0 +1,70 @@ +\subsection{Maximum-Likelihood-Method} +In Modell $\P_\vartheta$ sind $\overrightarrow{\cX} = (\cX_1, \ldots, \cX_n)$ entweder +\begin{itemize} + \item \bi{diskret} (gem. Gew. $p_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) + \item \bi{stetig} (gem. Dichte $f_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) +\end{itemize} +Da oft $X_k$ i.i.d mit ind. Gew. $p_\cX(x; \vartheta)$ bzw. Dichte $f_\cX(x; \vartheta)$, also (mit $g$ ersetzt durch $p$ oder $f$) +\[ + g_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n g_\cX(x_k; \vartheta) +\] + +\shortdefinition[Likelihood-Funktion] +\[ + L(x_1, \ldots, x_n; \vartheta) = \begin{cases} + p_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im diskreten Fall} \\ + p_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im stetigen Fall} + \end{cases} +\] +\bi{log-Likelihood-Funktion} $\log(L(x_1, \ldots, x_n; \vartheta))$. Ist im i.i.d-Fall eine Summe. + +\newpage +\shortdefinition[ML-Schätzer] $T_{ML}$ für $\vartheta$ maximiert die Funktion $\vartheta \mapsto L(\cX_1, \ldots, \cX_n; \vartheta)$ für alle $\vartheta$, also +\[ + T_{ML} = t_{TM}(\cX_1, \ldots, \cX_n) \in \underset{\vartheta \in \Theta}{\text{argmax}}\; L(\cX_1, \ldots, \cX_n; \vartheta) +\] +Meistens sind $\cX_k$ i.i.d. unter $\P_\vartheta$, dann $L$ produkt, also besser $\log(L)$ maximieren (da Summe). + +\shortremark +Einfacher: Statt maximieren, Nullstellen von Ableitung nach $\vartheta$. +% TODO: Maybe remark from slide 356 (= p33 in 7) + +\shortexample \bi{Verteilungen}\\ +\fbox{\bi{Bernoulli}} $\cX_i \sim \text{Ber}(p)$ i.i.d, hier $\vartheta = p$. Dabei: +$p_\cX(x; \vartheta) = \P_\vartheta[\cX = x] = \vartheta^x (1 - \vartheta)^{1 - x}$ mit $x \in \{0, 1\}$. LH-Func: +\[ + L(x_1, \ldots, x_n; \vartheta) = \vartheta^{\sum_{k = 1}^{n} x_k} (1 - \vartheta)^{n - \sum_{k = 1}^{n} x_k} +\] +Log LH-Func: $\log(\vartheta) \sum_{k = 1}^{n} x_k + \log(1 - \vartheta) \left( n - \sum_{k = 1}^{n} x_k \right)$\\ +\bi{ML-Schätzer}: $T = \frac{1}{n} \sum_{k = 1}^{n} \cX_k = \overline{\cX}_n$ + +\fbox{\bi{Normalverteilung}} $\cX_i \sim \cN(\mu, \sigma^2)$ i.i.d. Dabei: +\[ + f_\cX(x; \vartheta) = \frac{1}{\sqrt{2\pi v}} e^{-\frac{(x - \mu)^2}{2v}} +\] +Weil i.i.d: +\[ + L(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n f_\cX(x_k; \vartheta) +\] +und somit: +\[ + \log(L) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v} +\] + +Der Schätzer ist $T = (T_1, T_2)$ (\bi{Momentschätzer}): +\[ + T_1 = \overline{\cX}_n \quad + T_2 = \frac{1}{n} \sum_{k = 1}^{n} \cX_k^2 - (\overline{\cX}_n)^2 +\] +Für $T$ gilt: $(\E_\vartheta[\cX], \V_\vartheta[\cX])$. Ist nicht Erwartungstreu. +Es gilt $\E_\vartheta[\cX_k \cX_l] = \E_\vartheta[\cX_k] \E_\vartheta[\cX_l] = \E_\vartheta[\cX]^2$ +und folglich: +\[ + \E_\vartheta[(\overline{\cX}_n)^2] = \frac{1}{n} \E_\vartheta[\cX^2] + \frac{n^2 - n}{n^2} (\E_\vartheta[\cX])^2 +\] +Erwartungstreuer Schätzer für $(\E_\vartheta[\cX], \V_\vartheta[\cX])$: +\[ + T_1' = T_1 \quad + T_2' = \frac{n}{n - 1} T_2 +\] +{\scriptsize $T_2'$ ist (korrigierte) empirische (Stichproben)varianz \textit{((un)biased sample variance)}} diff --git a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf index 51fea44..6b815c2 100644 Binary files a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf and b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf differ diff --git a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.tex b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.tex index 38021e2..a3ca642 100644 --- a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.tex +++ b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.tex @@ -95,6 +95,7 @@ \section{Schätzer} \input{parts/06_estimators/00_basics.tex} \input{parts/06_estimators/01_estimators.tex} +\input{parts/06_estimators/02_max-likelihood.tex} % \input{parts/06_estimators/}