diff --git a/semester4/ps/ps-jh/parts/00_basics/05_independence.tex b/semester4/ps/ps-jh/parts/00_basics/05_independence.tex index 098fd99..8b93953 100644 --- a/semester4/ps/ps-jh/parts/00_basics/05_independence.tex +++ b/semester4/ps/ps-jh/parts/00_basics/05_independence.tex @@ -1,4 +1,7 @@ \subsection{Unabhängigkeit} +\label{sec:basics-indep} +\bi{Siehe zudem} Abschnitt \ref{sec:rv-indep} + \shortdefinition $A, B \in \cF$ \bi{unabh.} falls $\P[A \cap B] = \P[A] \cdot \P[B]$ \shortremark Falls $\P[A] \in \{0, 1\}$: $\forall B \in \cF \; \P[A \cap B] = \P[A] \P[B]$. diff --git a/semester4/ps/ps-jh/parts/01_random-variables/02_independence.tex b/semester4/ps/ps-jh/parts/01_random-variables/02_independence.tex index f90fce0..fcfbc9c 100644 --- a/semester4/ps/ps-jh/parts/01_random-variables/02_independence.tex +++ b/semester4/ps/ps-jh/parts/01_random-variables/02_independence.tex @@ -1,6 +1,8 @@ % P26 \subsection{Unabhängigkeit} \label{sec:rv-indep} +\bi{Siehe zudem} Abschnitt \ref{sec:basics-indep} + \shortdefinition Z.V. $\cX_1, \ldots, \cX_n$ sind \bi{unabh.} falls $\forall x_1, \ldots, x_n \in \R$ $\P[\cX_1 \leq x_1, \ldots, \cX_n \leq x_n] = \P[\cX_1 \leq x_1] \cdots \P[\cX_n \leq x_n]$ @@ -9,6 +11,8 @@ $\{ \cX_1 \in I_1 \}, \ldots, \{ \cX_n \in I_n \}$ unabhängig \shortdefinition u.i.v. (i.i.d.) (unabhängig \& identisch verteilt) Z.V. +\shortremark Paarweise unabh. $\centernot{\Rightarrow}$ unabh. von allen Z.V. zusammen + \subsubsection{Gruppierung} \shorttheorem $n$ ZV $\cX_i$ und $1 \leq i_1 < \ldots < i_k \leq n$ sind indizes und $\phi_1, \ldots, \phi_k$ Abbildungen. Dann sind unabhängig:\\ $Y_1 = \phi_1(\cX_1, \ldots, \cX_{i_1}), \ldots, Y_k = \phi_k(X_{i_k + 1}, \ldots, X_n)$ diff --git a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/00_bin.tex b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/00_bin.tex index e03202b..f6037e7 100644 --- a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/00_bin.tex +++ b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/00_bin.tex @@ -1,16 +1,15 @@ \newpage \subsection{Verteilungen} \subsubsection{Bernoulli-Verteilung} -\shortdefinition $\cX \sim \text{Ber}(p)$: $\P[\cX = 0] = 1 - p$ und $\P[\cX = 1] = p$ +\shortdefinition $\cX \sim \text{Ber}(p)$: $\P[\cX = k] = p^k(1 - p)^{1 - k}$ mit $k \in \{ 0, 1 \}$ \subsubsection{Binomialverteilung} -\shortdefinition $\cX \sim \text{Bin}(n, p)$, falls\\ -$\forall k \in \{ 0, \ldots, n \}\; \P[\cX = k] = {n \choose k} p^k (1 - p)^{n - k}$ +\shortdefinition $\cX \sim \text{Bin}(n, p)$, falls $\forall k \in \{ 0, \ldots, n \}$\\ +$\P[\cX = k] = {n \choose k} p^k (1 - p)^{n - k}$ ($F_\cX$ mit Summe berechnen) \shortremark $\sum_{k = 0}^{n} p(k) = \sum_{k = 0}^{n} \P[\cX = k] = (p + 1 - p)^n = 1$ \shorttheorem $X_i \sim \text{Ber}(p_i)$ unab: $(S_n := \sum_{i = 0}^{n} X_i) \sim \text{Ber}(n, p)$ \shortremark $\text{Bin}(1, p)$ ist $\text{Ber}(p)$ verteilt. Für $X, Y \sim \text{Bin}(n_i, p)$ mit $X, Y$ unabhängig dann ist $X + Y \sim \text{Bin}(n_1 + n_2, p)$ - diff --git a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/01_geom.tex b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/01_geom.tex index aa5d902..fd99c40 100644 --- a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/01_geom.tex +++ b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/01_geom.tex @@ -1,8 +1,8 @@ \subsubsection{Geometrische Verteilung} {\scriptsize Warten auf den ersten Erfolg (in $\8$ Folge von Bernoulli-Experimenten)} -\shortdefinition $\cX \sim \text{Geom}(p)$ mit $W = \N \backslash \{0\}$ falls $\forall k \in W$\\ -$\P[\cX = k] = (1 - p)^{k - 1} p$ +\shortdefinition $\cX \sim \text{Geom}(p)$ mit $W = \N \backslash \{0\}$ und $p \in [0, 1]$,\\ +falls $\forall k \in W$ $\P[\cX = k] = (1 - p)^{k - 1} p$ \shortremark[Verteilung] $F_\cX(k) = 1 - (1 - p)^k$ diff --git a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/02_negbin.tex b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/02_negbin.tex index 3977124..88deb97 100644 --- a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/02_negbin.tex +++ b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/02_negbin.tex @@ -1,8 +1,8 @@ \subsubsection{Negativbinomiale Verteilung} {\scriptsize Warten auf den $r$-ten Erfolg (in $\8$ Folge von Bernoulli-Experimenten)} -\shortdefinition $\cX \sim \text{NBin}(r, p)$, falls\\ -$\displaystyle \forall k \in \{r, r + 1, \ldots \} \quad \P[\cX = k] = {k - 1 \choose r - 1} p^r (1 - p)^{k - r}$ +\shortdefinition $\cX \sim \text{NBin}(r, p)$, falls $\forall k \in \{r, r + 1, \ldots \}$\\ +$\displaystyle \P[\cX = k] = {k - 1 \choose r - 1} p^r (1 - p)^{k - r}$ ($F_\cX$ mit Summe) \shorttheorem $\cX_i \sim \text{Ber}(p)$, dann\\ $T_r := \inf \left\{ n \geq 1\; \big|\; \sum_{l = 1}^{n} \cX_l = r \right\} \sim \text{NBin}(r, p)$ diff --git a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/03_hyp-geom.tex b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/03_hyp-geom.tex index dcfe143..e59b38c 100644 --- a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/03_hyp-geom.tex +++ b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/03_hyp-geom.tex @@ -1,5 +1,5 @@ \subsubsection{Hypergeometrische Verteilung} {\scriptsize $r$ Elemente vom Typ I, $n - r$ El. vom Typ II, $m$ davon gezogen, ohne Zurücklegen} -\shortdefinition $\cX \sim \text{H}(n, r, m)$, falls\\ -$\displaystyle \forall k \in \{ 0, \ldots, \min(m, r) \} \quad \P[\cX = k] = \frac{{r \choose k} {n - r \choose m - k}}{{n \choose m}}$ +\shortdefinition $\cX \sim \text{H}(n, r, m)$, falls $\forall k \in \{ 0, \ldots, \min(m, r) \}$ \\ +$\displaystyle \P[\cX = k] = \frac{{r \choose k} {n - r \choose m - k}}{{n \choose m}}$ ($F_\cX$ mit Summe berechnen) diff --git a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/04_poisson.tex b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/04_poisson.tex index f594b49..4792fdd 100644 --- a/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/04_poisson.tex +++ b/semester4/ps/ps-jh/parts/02_discrete-continuous-rv/03_distributions/04_poisson.tex @@ -2,7 +2,7 @@ {\scriptsize Approximation von Binomialverteilung} \shortdefinition $\cX \sim \text{Poisson}(\lambda)$ mit $\lambda > 0 \in \R$, falls\\ -$\forall k \in \N \quad \P[\cX = k] = \frac{\lambda^k}{k!} e^{-\lambda}$ +$\forall k \in \N \quad \P[\cX = k] = \frac{\lambda^k}{k!} e^{-\lambda} \qquad F_\cX(k) = e^{-\lambda} \sum_{j = 0}^{k} \frac{\lambda^j}{j!}$ \shorttheorem Für $n \in \N$ Z.V. $\cX_i \sim \text{Bin}\left( n, \frac{\lambda}{n} \right)$ und $\cN \sim \text{Poisson}(\lambda)$: $\forall k \in \N \quad \limni \P[\cX_i = k] = \P[\cN = k]$ diff --git a/semester4/ps/ps-jh/parts/04_joint-distribution/00_discrete.tex b/semester4/ps/ps-jh/parts/04_joint-distribution/00_discrete.tex index a5a846d..1a4a477 100644 --- a/semester4/ps/ps-jh/parts/04_joint-distribution/00_discrete.tex +++ b/semester4/ps/ps-jh/parts/04_joint-distribution/00_discrete.tex @@ -40,7 +40,7 @@ $\forall k \in \{ 1, \ldots, n \}$ und $\forall x \in W_k$ gilt: F_{\cX_k}(x) = \lim_{\elementstack{x_l \rightarrow \8}{l \in \{ 1, \ldots, n \} \backslash \{ k \}}} F(x_1, \ldots, x_{k - 1}, x, x_{k + 1}, \ldots, x_n) \] -\shorttheorem[Erwartungswert Bild] (Solange Summe wohldefiniert ist, summieren über $x_1 \in W_1, \ldots, x_n \in W_n$) +\shorttheorem[Erwartungswert Bild] (Solange $\Sigma$ wohldef, summieren über $x_1 \in W_1, \ldots, x_n \in W_n$), siehe rechts für details \[ \E[\varphi(\cX_1, \ldots, \cX_n)] = \sum_{x_1, \ldots, x_n} \varphi(x_1, \ldots, x_n) p(x_1, \ldots, x_n) \] @@ -49,5 +49,5 @@ $\forall k \in \{ 1, \ldots, n \}$ und $\forall x \in W_k$ gilt: \begin{itemize} \item $\cX_1, \ldots, \cX_n$ sind unabhängig \item $\forall x_1 \in W_1, \ldots, x_n \in W_n$ gilt (prod. Randv. von $\cX_i$) - \[ p(x_1, \ldots, x_n) = \P[\cX_1 = x_1] \cdot \ldots \cdot \P[\cX_n = x_n] \] + \[ p(x_1, \ldots, x_n) = \P[\cX_1 = x_1] \cdot \ldots \cdot \P[\cX_n = x_n] \] \end{itemize} diff --git a/semester4/ps/ps-jh/parts/04_joint-distribution/01_continuous.tex b/semester4/ps/ps-jh/parts/04_joint-distribution/01_continuous.tex index 4146b48..3562d26 100644 --- a/semester4/ps/ps-jh/parts/04_joint-distribution/01_continuous.tex +++ b/semester4/ps/ps-jh/parts/04_joint-distribution/01_continuous.tex @@ -29,6 +29,7 @@ Jeder Funk. $f$ die obiges erfüllt ein W-Raum $(\Omega, \cF, \P)$ und $n$-Z.V. \[ \E[\varphi(\cX_1, \ldots)] \! = \! \int_{-\8}^{\8} \ldots \int_{-\8}^{\8} \varphi(x_1, \ldots) f(x_1, \ldots) \dx x_n \ldots \] +{\scriptsize $\varphi$ ist bspw. für $\E[\cX\cY]$, $\varphi(\cX, \cY) = \cX \cdot \cY$, Integralgrenzen nach $f(x_1, \ldots)$} \shortdefinition[Randverteilung] Falls $\cX, \cY$ gemeinsame Verteilung $F$ haben, so ist die Verteilungsfunktion der \bi{Randverteilung} von $\cX$, $F_\cX : \R \rightarrow [0, 1]$ gegeben durch: diff --git a/semester4/ps/ps-jh/parts/05_limit-theorems/00_intro.tex b/semester4/ps/ps-jh/parts/05_limit-theorems/00_intro.tex index 5ba5ec2..922b6c6 100644 --- a/semester4/ps/ps-jh/parts/05_limit-theorems/00_intro.tex +++ b/semester4/ps/ps-jh/parts/05_limit-theorems/00_intro.tex @@ -2,4 +2,6 @@ {\scriptsize \shortterm In Zusammenhang mit Zufallsvariablen auch \bi{Sichprobenmittel} genannt. Realisierung wird \bi{empirischer Mittelwert} genannt} +\shortremark \hl{Vereinfacht}: Beide besagen, dass $\limit{n}{\8} \overline{\cX}_n \approx \E[\cX_k]$ + % TODO: Possibly add the remark from P288 (P6 in Slide Deck 6) on expected value diff --git a/semester4/ps/ps-jh/parts/05_limit-theorems/02_strong-law-of-large-numbers.tex b/semester4/ps/ps-jh/parts/05_limit-theorems/02_strong-law-of-large-numbers.tex index 578ec95..ac9e723 100644 --- a/semester4/ps/ps-jh/parts/05_limit-theorems/02_strong-law-of-large-numbers.tex +++ b/semester4/ps/ps-jh/parts/05_limit-theorems/02_strong-law-of-large-numbers.tex @@ -1,7 +1,7 @@ \subsection{Starkes Gesetz der grossen Zahlen} \shorttheorem[Starkes GGZ] Für $\cX_1, \ldots$ mit $\cX_k$ unabhängig mit $\E[\cX_k]$ endlich. Für \[ - \overline{\cX}_n = \frac{1}{n} S_n = \frac{1}{n} \sum_{k = 1}^{n} \cX_k + \overline{\cX}_n = \frac{1}{n} S_n = \frac{1}{n} \sum_{k = 1}^{n} \cX_k \] gilt $\overline{\cX}_n \overset{n \rightarrow \8}{\longrightarrow} \mu \quad \P$-fast sicher, also \[ diff --git a/semester4/ps/ps-jh/parts/06_estimators/00_basics.tex b/semester4/ps/ps-jh/parts/06_estimators/00_basics.tex index 8eab541..acd72d0 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/00_basics.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/00_basics.tex @@ -2,7 +2,7 @@ \shortterm \bi{Stichprobe} Die Gesamtheit der Beobachtungen $x_1, \ldots, x_n$ oder Z.V. $\cX_1, \ldots, \cX_n$. $n$ ist \bi{Stichprobenumfang} % TODO: Think of more concise def -\shortdefinition[Parameterraum] Ein Datensatz $x_1, \ldots, x_n$ aus einer Stichprobe $\cX_1, \ldots, \cX_n$ kann durch (evtl. hochdimimensionalem) -\bi{Param.} $\vartheta$ aus \bi{Param.-Raum} $\Theta$ dargestellt werden. +\shortdefinition[Parameterraum] Ein Datensatz $x_1, \ldots, x_n$ aus einer Stichprobe $\cX_1, \ldots, \cX_n$ kann durch (evtl. hochdim.) +\bi{Param.} $\vartheta$ aus \bi{Param.-Raum} $\Theta$ dargestellt werden. $\vartheta$ ist dabei oft die Param der Verteilung (bspw. $\vartheta = (\mu, \sigma^2)$ bei Normalv.). Wir betrachten jeweils \textit{Familie von W-Räumen}, $(\Omega, \cF, \P_\vartheta)_{\vartheta \in \Theta}$.\\ {\scriptsize Wir haben normalen Grundraum plus W-Mass $\P_\vartheta$} diff --git a/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex b/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex index 8096c61..954a9c6 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/01_estimators.tex @@ -1,6 +1,7 @@ \subsection{Schätzer} \label{sec:estimators} \shortdefinition[Schätzer] ist eine Z.V. der Form $T_l = t_l(\cX_1, \ldots, \cX_n)$, mit zu findender \bi{Schätzfunktion} $t_l : \R^n \rightarrow \R$. + Einsetzen von Daten liefer dann \bi{Schätzwerte}. Oft schreiben wir $T = (T_1, \ldots, T_m)$ und $\vartheta = (\vartheta_1, \ldots, \vartheta_m)$ \shortremark \bi{Schätzwert} ist Zahl ($T_l(\omega)$), \bi{Schätzer} ist Z.V. ($T_l$) diff --git a/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex index 10c82bf..23a1e22 100644 --- a/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex +++ b/semester4/ps/ps-jh/parts/06_estimators/02_max-likelihood.tex @@ -3,20 +3,20 @@ In Modell $\P_\vartheta$ sind $\overrightarrow{\cX} = (\cX_1, \ldots, \cX_n)$ entweder \begin{itemize} - \item \bi{diskret} (gem. Gew. $p_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) - \item \bi{stetig} (gem. Dichte $f_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) + \item \bi{diskret} (gem. Gew. $p_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) + \item \bi{stetig} (gem. Dichte $f_{\overrightarrow{\cX}} (x_1, \ldots, x_n; \vartheta)$) \end{itemize} Da oft $X_k$ i.i.d mit individueller Gew. $p_\cX(x; \vartheta)$ bzw. Dichte $f_\cX(x; \vartheta)$ sind, also (mit $g$ ersetzt durch $p$ oder $f$) \[ - g_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n g_\cX(x_k; \vartheta) + g_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n g_\cX(x_k; \vartheta) \] \shortdefinition[Likelihood-Funktion] \[ - L(x_1, \ldots, x_n; \vartheta) = \begin{cases} - p_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im diskreten Fall} \\ - f_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im stetigen Fall} - \end{cases} + L(x_1, \ldots, x_n; \vartheta) = \begin{cases} + p_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im diskreten Fall} \\ + f_{\overrightarrow{\cX}}(x_1, \ldots, x_n; \vartheta) & \text{im stetigen Fall} + \end{cases} \] \bi{log-Likelihood-Funktion} $l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$. Ist im i.i.d-Fall eine Summe. \hl{\textbf{Immer in $p$ $k$ durch $x_k$ ersetzen!!}} @@ -24,75 +24,68 @@ Da oft $X_k$ i.i.d mit individueller Gew. $p_\cX(x; \vartheta)$ bzw. Dichte $f_\ \shortdefinition[ML-Schätzer] $T_{ML}$ für $\vartheta$ maximiert die Funktion $\vartheta \mapsto L(\cX_1, \ldots, \cX_n; \vartheta)$ für alle $\vartheta$, also \[ - T_{ML} = t_{TM}(\cX_1, \ldots, \cX_n) \in \underset{\vartheta \in \Theta}{\text{argmax}}\; L(\cX_1, \ldots, \cX_n; \vartheta) + T_{ML} = t_{TM}(\cX_1, \ldots, \cX_n) \in \underset{\vartheta \in \Theta}{\text{argmax}}\; L(\cX_1, \ldots, \cX_n; \vartheta) \] {\scriptsize Wir suchen besten $t_{TM}$, durch geschickte Wahl von $\vartheta$}\\ Meistens sind $\cX_k$ i.i.d. unter $\P_\vartheta$, dann $L$ produkt, also besser $\log(L)$ maximieren (da Summe). -\shortremark -\hl{Einfacher:} Statt max., Nullstellen von Abl. (einfachheitshalber von $l(\vartheta)$) nach $\vartheta$. - -\shortremark Suchen oft optimales $L(x_1, \ldots, x_n; \vartheta)$, -da es einfacher ist, ersetzen dann $x_1, \ldots$ durch $\cX_1, \ldots$ - -\shortexample[Von Serie] Kalibrierung von Gerät bis erfolgreich. $\cX \sim \text{Geo}(\theta)$ Anzahl Versuche, mit $\P_\theta[\cX = k] = \theta (1 - \theta)^{k - 1}$, -gesucht $\theta$, $\cX_i$ unter $\P_\theta$ u.i.v. \bi{Aufgaben} - -\underline{LH-Func und $\log$-LH}: Mit Beobachtungen $x_i$ berechnen.\\ -$L(x_1, \ldots; \theta) = \ldots = \prod_{k = 1}^n \theta (1 - \theta)^{x_k - 1}$ (s. \ref{sec:series}),\\ -$l(\theta) = n \ln(\theta) + (S - n) \ln(1 - \theta)$, mit $S = \sum_{k = 1}^n x_k$.\\ -$\log(0)$ möglich (wenn $\theta = 1$ und $S \neq n$, ohne expanding) - -\underline{ML-Sch}: $S > n$: $l'(\theta) = \frac{n}{\theta} + \frac{S - n}{1 - \theta}$, -Nullstelle von $l'(\theta)$ ist $\hat{\theta} = \frac{n}{S}$, check mit $l''(\frac{n}{S}) < 0$, ist max. Also ist $T_{ML} = \frac{n}{\sum_{k = 1}^{n} \cX_k}$ - -\underline{Mit Werten} Einfach einsetzen und auflösen. - - % ──────────────────────────────────────────────────────────────────── -\shortexample \bi{Verteilungen} (Dimension $\vartheta$ gleich dim. param der V.)\\ +\coloredbox{red}{REWRITE}{ + This section is undergoing a rewrite currently. + When complete, there will be estimators for (pretty much) every covered distribution +} + +\shortexample[How To] Finden von ML-Schätzern: +\begin{enumerate} + \item log-LH-Funk. bestimmen ($x_i$ statt $\cX_i$ verwenden) + \item Nach $\vartheta$ ableiten (oder wodurch $\vartheta$ ersetzt wurde) + \item Nullstelle davon berechnen + \item ML-Schätzer ist dann Nullstelle von Ableitung (mit $x_i$ wieder durch $\cX_i$ ersetzt) +\end{enumerate} + +\shortexample[ML-Schätzer von Verteilungen] + +{\scriptsize $n$ hier wenn nicht anders definiert, die Anzahl an Z.V. als arg von Dichte / Gewicht} + \highlight{Bernoulli} $\cX_i \sim \text{Ber}(p)$ i.i.d, hier $\vartheta = p$. Dabei: $p_\cX(x; \vartheta) = \P_\vartheta[\cX = x] = \vartheta^x (1 - \vartheta)^{1 - x}$ mit $x \in \{0, 1\}$, $S = \sum_{k = 1}^{n}x_k$ \[ - L(x_1, \ldots, x_n; \vartheta) = \vartheta^{S} (1 - \vartheta)^{n - S} + L(x_1, \ldots, x_n; \vartheta) = \vartheta^{S} (1 - \vartheta)^{n - S} \] -Log LH-Func: $\log(\vartheta) \cdot S + \log(1 - \vartheta) \left( n - S \right)$\\ +\bi{Log LH-Func}: $l(\vartheta) = \log(\vartheta) \cdot S + \log(1 - \vartheta) \left( n - S \right)$\\ \bi{ML-Schätzer}: $T = \frac{1}{n} \sum_{k = 1}^{n} \cX_k = \overline{\cX}_n$ -\fbox{\bi{Normalverteilung}} $\cX_i \sim \cN(\mu, \sigma^2)$ i.i.d. ($\sigma^2 = v$): -\[ - f_\cX(x; \vartheta) = \frac{1}{\sqrt{2\pi v}} e^{-\frac{(x - \mu)^2}{2v}} -\] -Weil i.i.d (und $\vartheta = (\mu, \sigma^2) = (\mu, v)$): -\[ - L(x_1, \ldots, x_n; \vartheta) = \prod_{k = 1}^n f_\cX(x_k; \vartheta) -\] -und somit ($l(\vartheta) = \log(L(x_1, \ldots, x_n; \vartheta))$): -\[ - l(\vartheta) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v} -\] -Ableitungen nach $\mu$ und $v$ (beide $0$ für Max, $l$ kurz für $l(\vartheta)$): -\[ - \partial_\mu l = 2 \sum_{k = 1}^{n} \frac{x_k - \mu}{2v} \quad - \partial_v l = - \frac{n}{2v} + \frac{1}{2v^2} \sum_{k = 1}^n (x_k - \mu)^2 -\] +% ──────────────────────────────────────────────────────────────────── -Der \bi{Schätzer} ist $T = (T_1, T_2)$ (\textbf{Momentschätzer}): +\highlight{Geometrisch} dabei $\vartheta = p$ und \bi{Log LH-Func} \[ - T_1 = \overline{\cX}_n \quad - T_2 = \frac{1}{n} \sum_{k = 1}^{n} \cX_k^2 - (\overline{\cX}_n)^2 + l(\vartheta) = n \ln(\vartheta) + (S - n) \ln(1 - \vartheta) \qquad S \text{ wie bei Ber} \] -Für $T$ gilt: $(\E_\vartheta[\cX], \V_\vartheta[\cX])$. Ist nicht Erwartungstreu. -Es gilt $\E_\vartheta[\cX_k \cX_l] = \E_\vartheta[\cX_k] \E_\vartheta[\cX_l] = \E_\vartheta[\cX]^2$ -und folglich: +\bi{ML-Schätzer} $T = \frac{n}{S}$ + +% ──────────────────────────────────────────────────────────────────── + +\highlight{Poisson} dabei $\vartheta = \lambda$ und \bi{Log LH-Func} \[ - \E_\vartheta[(\overline{\cX}_n)^2] = \frac{1}{n} \E_\vartheta[\cX^2] + \frac{n^2 - n}{n^2} (\E_\vartheta[\cX])^2 + l(\vartheta) = -n \vartheta \lambda + \log(\lambda) \sum_{i = 1}^{n} x_i - \sum_{i = 1}^{n} \log(x_i!) +\] +\bi{ML-Schätzer} ist $T = \frac{1}{n} \sum_{i = 1}^{n} X_i$ + +\fbox{\bi{Normalverteilung}}\\ +$\cX_i \sim \cN(\mu, \sigma^2)$ i.i.d. und $\vartheta = (\mu, \sigma^2) = (\mu, v)$). \bi{Likelihood-Funktion} wie üblich und somit ist \bi{Log LH-Func}: +\[ + l(\vartheta) = -\frac{1}{2} n(\log(2 \pi) + \log(v)) - \sum_{k = 1}^{n} \frac{(x_k - \mu)^2}{2v} +\] +Der \bi{Momentschätzer} ist $T = (T_1, T_2) = (E_\vartheta[\cX], \V_\vartheta[\cX])$: +\[ + T_1 = \overline{\cX}_n \qquad + T_2 = \frac{1}{n} \sum_{k = 1}^{n} \cX_k^2 - (\overline{\cX}_n)^2 \] \bi{Erwartungstreuer Schätzer} für $(\E_\vartheta[\cX], \V_\vartheta[\cX])$ (s. \ref{sec:estimators}): \[ - T_1' = T_1 \quad - T_2' = \frac{n}{n - 1} T_2 + T_1' = T_1 \quad + T_2' = \frac{n}{n - 1} T_2 \] {\scriptsize $T_2'$ ist (korrigierte) empirische (Stichproben)varianz \textit{((un)biased sample variance)}. Bei höherdimensionalen Parametern suchen wir den zugehörigen Nullvektor.} diff --git a/semester4/ps/ps-jh/parts/07_tests/00_basics.tex b/semester4/ps/ps-jh/parts/07_tests/00_basics.tex index 1ac58ab..3d2f3b2 100644 --- a/semester4/ps/ps-jh/parts/07_tests/00_basics.tex +++ b/semester4/ps/ps-jh/parts/07_tests/00_basics.tex @@ -12,7 +12,7 @@ Sie heissen \bi{Einfach}, falls $\Theta_0 = \{ \vartheta_0 \}$, resp. $\Theta_A \shortdefinition[Test] ist ein Paar $(T, K)$ mit \begin{itemize} - \item \bi{Teststatistik} $T = t(\cX_1, \ldots, \cX_n)$ eine Zufallsvariable mit messbarer Funktion $t: \R^n \rightarrow \R$ + \item \bi{Teststatistik} $T = t(\cX_1, \ldots, \cX_n)$ eine Zufallsvariable mit messbarer Funktion $t: \R^n \rightarrow \R$ (oft LQ) \item \bi{Verwerfungsbereich} $K \subseteq \R$ (auch \textit{kritischer Bereich}) \end{itemize} \shade{gray}{Entscheidungsregel} $H_0$ wird \textit{verworfen}, falls $T(\omega) \in K$, sonst \textit{angenommen}, bzw. nicht verworfen diff --git a/semester4/ps/ps-jh/parts/09_combinatorics/00_permutations.tex b/semester4/ps/ps-jh/parts/09_combinatorics/00_permutations.tex index 3bf5aae..0354e73 100644 --- a/semester4/ps/ps-jh/parts/09_combinatorics/00_permutations.tex +++ b/semester4/ps/ps-jh/parts/09_combinatorics/00_permutations.tex @@ -1,4 +1,4 @@ \subsection{Permutationen} {\scriptsize Auf wieviele Arten kann man $n$ Objekte anordnen} -\bi{ohne Wiederholung} $n!$ +\bi{ohne Wiederholung} $n!$. Zudem \hl{${n \choose 0} = 1$} nach Konvention diff --git a/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex b/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex index 6f34f3f..747c39b 100644 --- a/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex +++ b/semester4/ps/ps-jh/parts/10_tips-and-tricks/01_various.tex @@ -55,3 +55,6 @@ $\cosh(x) := \frac{\sinh(x)}{\cosh(x)} = \frac{e^x - e^{-x}}{e^x + e^{-x}} : \R \subsubsection{Reihen} \label{sec:series} $\prod_{k = 1}^{n} \vartheta (1 - \vartheta)^{x_k - 1} = \vartheta^n (1 - \vartheta)^{S - n}$ mit $S = \sum_{k = 1}^{n} x_k$ + + +% TODO: Add log and power laws diff --git a/semester4/ps/ps-jh/parts/10_tips-and-tricks/02_diff-table.tex b/semester4/ps/ps-jh/parts/10_tips-and-tricks/02_diff-table.tex index ebe00e1..b90bfca 100644 --- a/semester4/ps/ps-jh/parts/10_tips-and-tricks/02_diff-table.tex +++ b/semester4/ps/ps-jh/parts/10_tips-and-tricks/02_diff-table.tex @@ -1,4 +1,6 @@ +\newpage \subsection{Tabelle von Auf- und Ableitungen} +Für Integrale von stückweisen Funktionen, stückweise Integrieren und aufsummieren. \begin{scriptsize} \begin{tables}{lll}{\tr{Antiderivative}{Stammfunktion} & \tr{Function}{Funktion} & \tr{Derivative}{Ableitung}} $\displaystyle \frac{x^{n + 1}}{n + 1}$ & $x^n$ & $n \cdot x^{n - 1}$ \\ @@ -40,14 +42,14 @@ $\arcsin \left( \frac{x}{|a|} \right)$ & $\frac{1}{\sqrt{x^2 - a^2}}$ \\ $\frac{1}{a}\arctan \left( \frac{x}{|a|} \right)$ & $\frac{1}{a^2 - x^2}$ \\ \end{tables} -\begin{tables}{cc}{$F(x)$ & $f(x)$} - $-\frac{1}{a} \cos(ax + b)$ & $\sin(ax + b)$ \\ - $\frac{1}{a} \sin(ax + b)$ & $\cos(ax + b)$ \\[1mm] - \hline - $x^x$ & $x^x \cdot (1 + \ln|x|)$ \\ - $(x^x)^x$ & $(x^x)^x \cdot (x + 2x\ln|x|)$ \\ - $x^{(x^x)}$ & $x^{(x^x)} \cdot (x^{x - 1} + \ln|x| \cdot x^x (1 + \ln|x|))$ \\ - \hline \\[-3mm] - $\frac{1}{2}(x - \frac{1}{2} \sin(2x))$ & $\sin(x)^2$ \\[1mm] - $\frac{1}{2}(x + \frac{1}{2} \sin(2x))$ & $\cos(x)^2$ \\ -\end{tables} +% \begin{tables}{cc}{$F(x)$ & $f(x)$} +% $-\frac{1}{a} \cos(ax + b)$ & $\sin(ax + b)$ \\ +% $\frac{1}{a} \sin(ax + b)$ & $\cos(ax + b)$ \\[1mm] +% \hline +% $x^x$ & $x^x \cdot (1 + \ln|x|)$ \\ +% $(x^x)^x$ & $(x^x)^x \cdot (x + 2x\ln|x|)$ \\ +% $x^{(x^x)}$ & $x^{(x^x)} \cdot (x^{x - 1} + \ln|x| \cdot x^x (1 + \ln|x|))$ \\ +% \hline \\[-3mm] +% $\frac{1}{2}(x - \frac{1}{2} \sin(2x))$ & $\sin(x)^2$ \\[1mm] +% $\frac{1}{2}(x + \frac{1}{2} \sin(2x))$ & $\cos(x)^2$ \\ +% \end{tables} diff --git a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf index 77c9e89..0132784 100644 Binary files a/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf and b/semester4/ps/ps-jh/probability-and-statistics-cheatsheet.pdf differ