eth-summaries/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex

\subsection{Maximum-Likelihood-Method}
{\scriptsize Funktion $p_\cX(x_1, \ldots; \vartheta) = \P_\vartheta[\cX_1 = x_1, \ldots]$ (gleich wie normale Gew.-F.)}

In Modell $\P_\vartheta$ sind $\overrightarrow{\cX} = (\cX_1, \ldots, \cX_n)$ entweder
\begin{itemize}
    \item \bi{diskret} (gem. Gew. $p_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$)
    \item \bi{stetig} (gem. Dichte $f_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$)
\end{itemize}
Da oft $X_k$ i.i.d mit individueller Gew. $p_\cX(x; \vartheta)$ bzw. Dichte $f_\cX(x; \vartheta)$ sind, also (mit $g$ ersetzt durch $p$ oder $f$)
\[
    g_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n g_\cX(x_k; \vartheta)
\]

\shortdefinition[Likelihood-Funktion]
\[
    L(x_1, \ldots, x_n; \vartheta) = \begin{cases}
        p_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im diskreten Fall} \\
        f_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im stetigen Fall}
    \end{cases}
\]
\bi{log-Likelihood-Funktion} $l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$. Ist im i.i.d-Fall eine Summe. \hl{\textbf{Immer in $p$ $k$ durch $x_k$ ersetzen!!}}

\inlineintuition Likelihood-F. gibt W., dass in $\P_\vartheta$ die Stichprobe $\cX_1, \ldots, \cX_n$ genau Werte $x_1, \ldots x_n$ liefert.

\shortdefinition[ML-Schätzer] $T_{ML}$ für $\vartheta$ maximiert die Funktion $\vartheta \mapsto L(\cX_1, \ldots, \cX_n; \vartheta)$ für alle $\vartheta$, also
\[
    T_{ML} = t_{TM}(\cX_1, \ldots, \cX_n) \in \underset{\vartheta \in \Theta}{\text{argmax}}\; L(\cX_1, \ldots, \cX_n; \vartheta)
\]
{\scriptsize Wir suchen besten $t_{TM}$, durch geschickte Wahl von $\vartheta$}\\
Meistens sind $\cX_k$ i.i.d. unter $\P_\vartheta$, dann $L$ produkt, also besser $\log(L)$ maximieren (da Summe).

% ────────────────────────────────────────────────────────────────────

\howto{Finden von ML-Schätzern}{
    \begin{enumerate}
        \item log-LH-Funk. bestimmen ($x_i$ statt $\cX_i$ verwenden)
        \item Nach $\vartheta$ ableiten (oder wodurch $\vartheta$ ersetzt wurde)
        \item Nullstelle davon (für Max (via e.g. $f'' < 0$))
        \item ML-Schätzer ist dann Nullstelle von Ableitung (mit $x_i$ wieder durch $\cX_i$ ersetzt)
    \end{enumerate}
}

\shortexample[ML-Schätzer von Verteilungen]

{\scriptsize $n$ hier wenn nicht anders definiert, die Anzahl an Z.V. als arg von Dichte / Gewicht}

\highlight{Bernoulli} $\cX_i \sim \text{Ber}(p)$ i.i.d, hier $\vartheta = p$. Dabei:
$p_\cX(x; \vartheta) = \P_\vartheta[\cX = x] = \vartheta^x (1 - \vartheta)^{1 - x}$ mit $x \in \{0, 1\}$, $S = \sum_{k = 1}^{n}x_k$
\[
    L(x_1, \ldots, x_n; \vartheta) = \vartheta^{S} (1 - \vartheta)^{n - S}
\]
\bi{Log LH-Func}: $l(\vartheta) = \log(\vartheta) \cdot S + \log(1 - \vartheta) \left( n - S \right)$\\
\bi{ML-Schätzer}: $T = \frac{1}{n} \sum_{k = 1}^{n} \cX_k = \overline{\cX}_n$

% ────────────────────────────────────────────────────────────────────

\highlight{Geometrisch} dabei $\vartheta = p$ und \bi{Log LH-Func}
\[
    l(\vartheta) = n \ln(\vartheta) + (S - n) \ln(1 - \vartheta) \qquad S \text{ wie bei Ber}
\]
\bi{ML-Schätzer} $T = \frac{n}{S}$

% ────────────────────────────────────────────────────────────────────

\highlight{Poisson} dabei $\vartheta = \lambda$ und \bi{Log LH-Func}
\[
    l(\vartheta) = -n \vartheta \lambda + \log(\lambda) \sum_{i = 1}^{n} x_i - \sum_{i = 1}^{n} \log(x_i!)
\]
\bi{ML-Schätzer} ist $T = \frac{1}{n} \sum_{i = 1}^{n} X_i$

\fbox{\bi{Normalverteilung}}\\
$\cX_i \sim \cN(\mu, \sigma^2)$ i.i.d. und $\vartheta = (\mu, \sigma^2) = (\mu, v)$). \bi{Likelihood-Funktion} wie üblich und somit ist \bi{Log LH-Func}:
\[
    l(\vartheta) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v}
\]

\[
    \partial_{\mu} l = 2 \sum_{k = 1}^{n} \frac{x_k - \mu}{2 v}
    \quad
    \partial_v l = -\frac{n}{2v} + 2v^{-2}\sum_{k = 1}^{n} (x_k - \mu)^2
\]
Der \bi{Momentschätzer} ist $T = (T_1, T_2) = (E_\vartheta[\cX], \V_\vartheta[\cX])$:
\[
    T_1 = \overline{\cX}_n \qquad
    T_2 = \frac{1}{n} \sum_{k = 1}^{n} \cX_k^2 - (\overline{\cX}_n)^2
\]
\bi{Erwartungstreuer Schätzer} für $(\E_\vartheta[\cX], \V_\vartheta[\cX])$ (s. \ref{sec:estimators}):
\[
    T_1' = T_1 \quad
    T_2' = \frac{n}{n - 1} T_2
\]
{\scriptsize $T_2'$ ist (korrigierte) empirische (Stichproben)varianz \textit{((un)biased sample variance)}.
Bei höherdimensionalen Parametern suchen wir den zugehörigen Nullvektor.}