diff --git a/semester4/ps/ps-jh/TODO.md b/semester4/ps/ps-jh/TODO.md index a90e0e4..f026bb6 100644 --- a/semester4/ps/ps-jh/TODO.md +++ b/semester4/ps/ps-jh/TODO.md @@ -6,4 +6,4 @@ - [ ] Shorten defs, etc - [ ] Link together better (decide on style for that) - [ ] Convex function def -- [ ] Multiplication, div diff rules +- [ ] Multiplication, div diff rules (Analysis) diff --git a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/05_cont-distributions/00_eq.tex b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/05_cont-distributions/00_eq.tex index 5677f4d..8ba87ce 100644 --- a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/05_cont-distributions/00_eq.tex +++ b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/05_cont-distributions/00_eq.tex @@ -1,6 +1,6 @@ \subsection{Stetige Verteilungen} -\subsubsection{Gleichverteilung} +\subsubsection{Gleichverteilung (Uniformmodell)} \shortdefinition $\cX \sim \cU([a, b])$, falls $f_\cX = \begin{cases} diff --git a/semester4/ps/ps-jh/parts/03_expected-value/05_variance.tex b/semester4/ps/ps-jh/parts/03_expected-value/05_variance.tex index 6012636..5495d52 100644 --- a/semester4/ps/ps-jh/parts/03_expected-value/05_variance.tex +++ b/semester4/ps/ps-jh/parts/03_expected-value/05_variance.tex @@ -11,7 +11,7 @@ $\E[\cX^2] = \sum_{x \in W} x^2 \cdot p_\cX(x)$ ($\cX$ diskret) $\V[\cX] = \E[\cX^2] - \E[\cX]^2 = a^2\E[1_\Omega] - a^2 = 0$ % Task 4.42 (needs proof?) -\shortremark $\E[\cX] < \8$, dann $\V[\cX] \geq 0$ mit $=$ g.d.w. $\cX$ konst; zudem $\V[a \cX] = a^2 \V[\cX]$ und $\V[\cX + a] = \V[\cX]$ +\shortremark $\E[\cX] < \8$, dann $\V[\cX] \geq 0$ mit $=$ g.d.w. $\cX$ konst; \hl{zudem} $\V[a \cX] = a^2 \V[\cX]$ und $\V[\cX + a] = \V[\cX]$ \shortproposition $\cX_k$ paarw. unabh. $\V\left[ \sum_{k = 1}^{n} \cX_k \right] = \sum_{k = 1}^{n} \V[\cX_k]$. Falls $\cX_k$ abhängig, dann gilt $\neq$ diff --git a/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex b/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex index 6f41e77..8096c61 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex @@ -1,4 +1,5 @@ \subsection{Schätzer} +\label{sec:estimators} \shortdefinition[Schätzer] ist eine Z.V. der Form $T_l = t_l(\cX_1, \ldots, \cX_n)$, mit zu findender \bi{Schätzfunktion} $t_l : \R^n \rightarrow \R$. Einsetzen von Daten liefer dann \bi{Schätzwerte}. Oft schreiben wir $T = (T_1, \ldots, T_m)$ und $\vartheta = (\vartheta_1, \ldots, \vartheta_m)$ diff --git a/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex index 2233db5..678a4c6 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex @@ -18,7 +18,7 @@ Da oft $X_k$ i.i.d mit individueller Gew. $p_\cX(x; \vartheta)$ bzw. Dichte $f_\ f_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im stetigen Fall} \end{cases} \] -\bi{log-Likelihood-Funktion} $\log(L(x_1, \ldots, x_n; \vartheta))$. Ist im i.i.d-Fall eine Summe. +\bi{log-Likelihood-Funktion} $l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$. Ist im i.i.d-Fall eine Summe. \inlineintuition Likelihood-F. gibt W., dass in $\P_\vartheta$ die Stichprobe $\cX_1, \ldots, \cX_n$ genau Werte $x_1, \ldots x_n$ liefert. @@ -30,11 +30,27 @@ Da oft $X_k$ i.i.d mit individueller Gew. $p_\cX(x; \vartheta)$ bzw. Dichte $f_\ Meistens sind $\cX_k$ i.i.d. unter $\P_\vartheta$, dann $L$ produkt, also besser $\log(L)$ maximieren (da Summe). \shortremark -Einfacher: Statt max., Nullstellen von Abl. nach $\vartheta$. +\hl{Einfacher:} Statt max., Nullstellen von Abl. (einfachheitshalber von $l(\vartheta)$) nach $\vartheta$. \shortremark Suchen oft optimales $L(x_1, \ldots, x_n; \vartheta)$, da es einfacher ist, ersetzen dann $x_1, \ldots$ durch $\cX_1, \ldots$ -% TODO: Maybe remark from slide 356 (= p33 in 7) + +\shortexample[Von Serie] Kalibrierung von Gerät bis erfolgreich. $\cX \sim \text{Geo}(\theta)$ Anzahl Versuche, mit $\P_\theta[\cX = k] = \theta (1 - \theta)^{k - 1}$, +gesucht $\theta$, $\cX_i$ unter $\P_\theta$ u.i.v. \bi{Aufgaben} + +\underline{LH-Func und $\log$-LH}: Mit Beobachtungen $x_i$ berechnen.\\ +$L(x_1, \ldots; \theta) = \ldots = \prod_{k = 1}^n \theta (1 - \theta)^{x_k - 1}$ (s. \ref{sec:series}),\\ +$l(\theta) = n \ln(\theta) + (S - n) \ln(1 - \theta)$, mit $S = \sum_{k = 1}^n x_k$.\\ +$\log(0)$ möglich (wenn $\theta = 1$ und $S \neq n$, ohne expanding) + +\underline{ML-Sch}: $S > n$: $l'(\theta) = \frac{n}{\theta} + \frac{S - n}{1 - \theta}$, +Nullstelle von $l'(\theta)$ ist $\hat{\theta} = \frac{n}{S}$, check mit $l''(\frac{n}{S}) < 0$, ist max. Also ist $T_{ML} = \frac{n}{\sum_{k = 1}^{n} \cX_k}$ + +\underline{Mit Werten} Einfach einsetzen und auflösen. + + +% ──────────────────────────────────────────────────────────────────── +\hrule \shortexample \bi{Verteilungen} (Dimension $\vartheta$ gleich dim. param der V.)\\ \highlight{Bernoulli} $\cX_i \sim \text{Ber}(p)$ i.i.d, hier $\vartheta = p$. Dabei: @@ -45,17 +61,22 @@ $p_\cX(x; \vartheta) = \P_\vartheta[\cX = x] = \vartheta^x (1 - \vartheta)^{1 - Log LH-Func: $\log(\vartheta) \cdot S + \log(1 - \vartheta) \left( n - S \right)$\\ \bi{ML-Schätzer}: $T = \frac{1}{n} \sum_{k = 1}^{n} \cX_k = \overline{\cX}_n$ -\fbox{\bi{Normalverteilung}} $\cX_i \sim \cN(\mu, \sigma^2)$ i.i.d. Dabei: +\fbox{\bi{Normalverteilung}} $\cX_i \sim \cN(\mu, \sigma^2)$ i.i.d. ($\sigma^2 = v$): \[ f_\cX(x; \vartheta) = \frac{1}{\sqrt{2\pi v}} e^{-\frac{(x - \mu)^2}{2v}} \] -Weil i.i.d (und $\vartheta = (\mu, \sigma^2)$): +Weil i.i.d (und $\vartheta = (\mu, \sigma^2) = (\mu, v)$): \[ L(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n f_\cX(x_k; \vartheta) \] -und somit: +und somit ($l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$): \[ - \log(L) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v} + l(\vartheta) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v} +\] +Ableitungen nach $\mu$ und $v$ (beide $0$ für Max, $l$ kurz für $l(\vartheta)$): +\[ + \partial_\mu l = 2 \sum_{k = 1}^{n} \frac{x_k - \mu}{2v} \quad + \partial_v l = - \frac{n}{2v} + \frac{1}{2v^2} \sum_{k = 1}^n (x_k - \mu)^2 \] Der \bi{Schätzer} ist $T = (T_1, T_2)$ (\textbf{Momentschätzer}): @@ -69,7 +90,7 @@ und folglich: \[ \E_\vartheta[(\overline{\cX}_n)^2] = \frac{1}{n} \E_\vartheta[\cX^2] + \frac{n^2 - n}{n^2} (\E_\vartheta[\cX])^2 \] -\bi{Erwartungstreuer Schätzer} für $(\E_\vartheta[\cX], \V_\vartheta[\cX])$: +\bi{Erwartungstreuer Schätzer} für $(\E_\vartheta[\cX], \V_\vartheta[\cX])$ (s. \ref{sec:estimators}): \[ T_1' = T_1 \quad T_2' = \frac{n}{n - 1} T_2 diff --git a/semester4/ps/ps-jh/parts/06_estimators/03_properties.tex b/semester4/ps/ps-jh/parts/06_estimators/03_properties.tex index 0b98955..5776b5c 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/03_properties.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/03_properties.tex @@ -1,4 +1,3 @@ -\newpage \subsection{Verteilungsaussagen} \label{sec:estimators-properties} Approx. V. von Schätzer unter $\P_\vartheta$ (wenn $T = \sum_{k = 1}^{n} \cY_k$, mit $\cY_k$ i.i.d in $\P_\vartheta$). @@ -25,6 +24,8 @@ $\chi^2_2 = \text{Exp}(\frac{1}{2})$ \shortremark $\cX \sim \cN(0, 1)$, $\cY \sim \chi^2_m$ unabh., dann: $\frac{\cX}{\sqrt{\frac{1}{m} \cY}} \sim t_m$ Mit $m = 1$ Cauchy-V. mit $m \rightarrow \8$ asympt. $\cN(0, 1)$. $t_m$ symm. um $0$ wie $\cN(0, 1)$, aber \bi{langschwänziger} (see \ref{sec:cauchy-dist}) +\hl{Untenstehendes sehr nützlich zur Bestimmung von V.} + \shorttheorem Für $\cX_k \sim \cN(\mu, \sigma^2)$ i.i.d. und \[ \overline{\cX}_n = \sum_{k = 1}^{n} \cX_k, \qquad S^2 = \frac{1}{n - 1} \sum_{k = 1}^{n} (\cX_k - \overline{\cX}_n)^2 @@ -34,5 +35,6 @@ Mit $m = 1$ Cauchy-V. mit $m \rightarrow \8$ asympt. $\cN(0, 1)$. $t_m$ symm. um \item $\frac{n - 1}{\sigma^2} S^2 = \frac{1}{\sigma^2} \sum_{k = 1}^{n} (\cX_k - \overline{\cX}_n)^2 \sim \chi^2_{n - 1}$ \item $\overline{\cX}_n$ und $S^2$ sind unabhängig \item $\displaystyle \frac{\overline{\cX}_n - \mu}{\frac{S}{\sqrt{n}}} - = \frac{\frac{\overline{\cX}_n - \mu}{\sigma \div \sqrt{n}}}{\sqrt{\frac{1}{n - 1} \frac{n - 1}{\sigma^2} S^2}}$ + \sim t_{n - 1}$ + $\left( = \frac{\frac{\overline{\cX}_n - \mu}{\sigma \div \sqrt{n}}}{\sqrt{\frac{1}{n - 1} \frac{n - 1}{\sigma^2} S^2}} \right)$ \end{enumerate} diff --git a/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex b/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex index 8eda31d..44a73d7 100644 --- a/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex +++ b/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex @@ -1,6 +1,7 @@ \rmvspace \subsection{Verschiedene Funktionen} \subsubsection{Logarithmen} +Hier ist wieder $\log = \ln$ (wenn keine Basis gegeben) \begin{itemize} \item \textit{(Basiswechsel)} $\log_a(x) = \frac{\ln(x)}{\ln(a)}$ \item \textit{(Potenzen)} $\log_a(x^y) = y\log_a(x)$ @@ -50,4 +51,5 @@ $\cosh(x) := \frac{\sinh(x)}{\cosh(x)} = \frac{e^x - e^{-x}}{e^x + e^{-x}} : \R \subsubsection{Reihen} +\label{sec:series} $\prod_{k = 1}^{n} \vartheta (1 - \vartheta)^{x_k - 1} = \vartheta^n (1 - \vartheta)^{S - n}$ mit $S = \sum_{k = 1}^{n} x_k$ diff --git a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf index 01dae1f..5299b8b 100644 Binary files a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf and b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf differ