[PS] Limit theorems, law of large numbers complete

semester4/ps/ps-jh/parts/05_limit-theorems/01_weak-law-of-large-numbers.tex

@@ -0,0 +1,7 @@
+\subsection{Schwaches Gesetz der grossen Zahlen}
+\shorttheorem[Schwaches Ges. der grossen Zahlen] Sei $K = \{ 1, 2, \ldots \}$ und $\forall k \in K : \cX_k$ unabh. Z.V. mit $\E[\cX_k] = \mu$; $\V[\cX_k] = \sigma^2$:
+\[
+    \overline{\cX}_n = \frac{1}{n} S_n = \frac{1}{n} \sum_{k = 1}^{n} \cX_k
+\]
+Dann konvergiert $\overline{\cX}_n$ für $n \rightarrow \8$ in Wahrscheinlichkeit gegen $\mu = \E[\cX_k]$,
+also $\forall \varepsilon > 0$ gilt $\P[|\overline{\cX}_n - \mu| > \varepsilon] \overset{n \rightarrow \8}{\longrightarrow} 0$

semester4/ps/ps-jh/parts/05_limit-theorems/02_strong-law-of-large-numbers.tex

@@ -0,0 +1,9 @@
+\subsection{Starkes Gesetz der grossen Zahlen}
+\shorttheorem[Starkes Ges. der grossen Zahlen] Für $\cX_1, \ldots$ mit $\cX_k$ unabhängig mit $\E[\cX_k]$ endlich. Für
+\[
+    \overline{\cX}_n = \frac{1}{n} S_n = \frac{1}{n} \sum_{k = 1}^{n} \cX_k
+\]
+gilt $\overline{\cX}_n \overset{n \rightarrow \8}{\longrightarrow} \mu \quad \P$-fast sicher, also
+\[
+    \P\left[ \{ \omega \in \Omega \divider \overline{X}_n(\omega) \overset{n \rightarrow \8}{\longrightarrow} \mu \} \right] = 1
+\]

semester4/ps/ps-jh/parts/05_limit-theorems/03_central-limit-theorem.tex

@@ -15,5 +15,12 @@ $\cX_k$ i.i.d mit $\E[\cX_k] = \mu$, $\V[\cX_k] = \sigma^2$. Für Partialsummen
     \limit{n}{\8} \P \left[ \frac{S_n - n\mu}{\sigma \sqrt{n}} \leq x \right] = \Phi(x)
 \]
 
-\shortremark $\E[S_n] = n \mu$, $\V[S_n] = n \sigma^2$; $S_n^* = \frac{S_n - \mu}{\sigma \sqrt{n}} \overset{\text{approx}}{\sim} \cN(0, 1)$
-für grosse $n$, mit $\overset{\text{approx}}{\sim}$ gespr. ``approx. gleichverteilt gemäss''
+\shortremark $\E[S_n] = n \mu$, $\V[S_n] = n \sigma^2$; $S_n^* = \frac{S_n - \mu}{\sigma \sqrt{n}} \! \overset{\text{approx}}{\sim} \! \cN(0, 1)$
+für grosse $n$, mit $\overset{\text{approx}}{\sim}$ gespr. ``approx. gleichverteilt gemäss''.
+Also ist für $\E[S_n^*] = 0$ und $\V[S_n^*] = 1$.
+
+Für $S_n$ also: $S_n \! \overset{\text{approx}}{\sim} \! \cN(n\mu, n\sigma^2)$,
+bzw. $\overline{\cX}_n \! \overset{\text{approx}}{\sim} \! \cN \left( \mu, \frac{1}{n} \sigma^2 \right)$
+
+\shortremark Für $S_n \sim \text{Bin}(n, p)$ ist $S_n \overset{\text{approx}}{\sim} \cN(np, np(1 - p))$ und
+$\P[a < S_n \leq b] \approx \Phi \left( \frac{b + \frac{1}{2} - np}{\sqrt{np(1 - p)}} \right) - \Phi \left( \frac{a + \frac{1}{2} - np}{\sqrt{np(1 - p)}} \right)$

semester4/ps/ps-jh/parts/05_limit-theorems/04_chernoff-bounds.tex

@@ -0,0 +1,15 @@
+\subsection{Chernoff-Schranken}
+\shortdefinition[Momenterzeugende Funktion] von $\cX$ ist für $t \in \R$ $M_\cX(t) + \E[e^{t\cX}]$
+
+\shortexample $\cX \sim \text{Ber}(p)$, dann $M_\cX(t) = 1 - p + p e^t$;\\
+$\cX \sim \text{Bin}(n, p)$, dann $M_\cX(t) = (1 - p + pe^t)^n$
+
+\shorttheorem[Chernoff-Ungleichung] $\cX_k$ i.i.d. Z.V. mit jeweils $\forall t \in \R \; M_\cX(t)$ endl.; $\forall b \in \R$
+\[
+    \P[S_n \geq b] \leq \exp \left( \inf_{t \in \R}(n \log(M_\cX(t) - tb)) \right)
+\]
+
+\shorttheorem[Chernoff-Schranke] $\cX_k \sim \text{Ber}(p_k)$ unabhängig; $S_n\! = \! \sum_{k = 1}^{n} \cX_k$; $\mu_n = \E[S_n] = \sum_{k = 1}^{n} p_k$ und $\delta > 0$. Dann:
+\[
+    \P[S_n \geq (1 + \delta) \mu_n] \leq \left( \frac{e^\delta}{(1 + \delta)^{1 + \delta}} \right)
+\]

semester4/ps/ps-jh/probability-and-statistics-cheatsheet.tex

@@ -87,6 +87,7 @@
 \input{parts/05_limit-theorems/01_weak-law-of-large-numbers.tex}
 \input{parts/05_limit-theorems/02_strong-law-of-large-numbers.tex}
 \input{parts/05_limit-theorems/03_central-limit-theorem.tex}
+\input{parts/05_limit-theorems/04_chernoff-bounds.tex}
 % \input{parts/05_limit-theorems/}