eth-summaries/semester4/ps/ps-rb/parts/02_variables.tex

\definition \textbf{Zufallsvariable}
$$
    X: \Omega \to \R \qquad \text{s.d} \quad \forall a \in \R:\quad \Bigl\{ \omega \in \Omega\ \Big|\ X(\omega)\leq a \Bigr\} \in \F
$$
\subtext{$(\Omega, \F, \P)$ ein Wahrscheinlichkeitsraum}

\footnotesize
\definition \textbf{Indikatorfunktion}
$$
    \forall \omega \in \Omega:\quad \mathbb{I}_A(\omega) := \begin{cases}
        0 & \omega \notin A \\
        1 & \omega \in A
    \end{cases}
    \color{gray}
    \qquad A \in \F
    \color{black}
$$
\normalsize

\notation Ereignisse bezüglich Zufallsvariablen
\begin{align*}
    & \{ X \leq a \}      &=\quad& \Bigl\{ \omega \in \Omega \ \Big|\ X(\omega) \leq a \Bigr\} \\
    & \{ a < X \leq b \}  &=\quad& \Bigl\{ \omega \in \Omega \ \Big|\ a < X(\omega) \leq b \Bigr\} \\
    & \P[X \leq a]        &=\quad& \P\Bigl[\{ X \leq a \}\Bigr]
\end{align*}

\definition \textbf{Verteilungsfunktion} $F_X: \R \to [0,1]$
$$
    \forall a \in \R:\qquad F_X(a) = \P[X \leq a]
$$

{\scriptsize
    \notation $\underset{x \to a^-}{\lim}F_X(a) = F(a^-) = \P[X < a]$

    \lemma $\P[a < X \leq b] = F_X(b) - F_X(a)$
}

\theorem \textbf{Eigenschaftern der Verteilungsfunktion}

\begin{tabular}{ll}
    (i)     & $F_X$ monoton \\
    (ii)    & $F_X$ rechtsstetig \\
    (iii)   & $\underset{a \to -\infty}{\lim} F_X(a) = 0 \quad\land\quad \underset{a \to \infty}{\lim}F_X(a)=1$
\end{tabular}

\definition \textbf{Unabhängigkeit}\\
\smalltext{$X_1,\cdots,X_n \text{ unabhängig } \iffdef§  \forall x_1,\cdots,x_n \in \R:$}
$$
    \P[X_1 \leq x_q,\cdots, X_n \leq x_n] = \P[X_1 \leq x_1] \cdots \P[X_n \leq x_n]
$$

\newpage

\theorem \textbf{Unabhängigkeit von Gruppierungen}\\
\smalltext{$X_1,\cdots X_n$ sind unabhängig, dann sind auch $Y_1,\cdots,Y_k$ unabhängig:}
$$
    Y_1 = \phi_1(X_1,\cdots,X_{i_1}), \cdots , Y_k = \phi_k(X_{i_{k-1}+1},\cdots,X_{i_k})
$$
\subtext{$1 \leq i_1 < i_2 < \cdots < i_k \leq n \text{ sind Indizes},\quad \phi_1,\cdots,\phi_k \text{ sind Abbildungen}$}

\definition \textbf{Folgen von Zufallsvariablen}

\begin{tabular}{llll}
    (i)     & unabhängig & $\iffdef$ & $\forall n \geq 1: X_1,\cdots,X_n \text{ unabhängig}$ \\
    (ii)    & i.i.d      & $\iffdef$ & unabhängig, und $\forall i, j: F_{X_i} = F_{X_j}$
\end{tabular}

\subtext{i.i.d = Independent \& identically distributed}

\subsection{Diskrete Zufallsvariablen}

\definition \textbf{Diskrete Zufallsvariable}
$$
    X: \Omega \to \R \text{ diskret } \iffdef \exists (W \subset \R) \preceq \N:\quad \P[X \in W] = 1
$$
\subtext{bzw. die Werte von $X$ liegen f.s. in $W$}

\lemma \textbf{Variablen diskreter Grundräume sind diskret}
$$
    \Omega \preceq \N \implies X: \Omega \to \R \text{ ist diskret}
$$

\definition \textbf{Verteilung diskreter Variablen}
$$
    \Bigl( p(x) \Bigr)_{x \in W} \text{ s.d. } p(x) := \P[X = x] \text{ heisst Verteilung}
$$
\subtext{$X$ ist diskret mit $W \preceq \N\quad p(x)$ ist \textit{nicht} $F_X$}

\theorem $\forall p(x):\quad \displaystyle\sum_{x \in W} p(x) = 1$ \subtext{$\quad p(x)$ ist eine diskrete Verteilung}

\lemma \textbf{Zur diskreten Verteilung existiert eine Variable}
$$
    \forall \Bigl( p(x) \Bigr)_{x \in W} \in [0,1]:\quad \exists (\Omega, \F, \P), X \text{ mit Verteilung } p(x)
$$
\subtext{D.h man kann sagen: "Sei $X$ eine Variable mit Verteilung $\bigl(p(x)\bigr)_{x \in W}$"}

\theorem \textbf{Diskrete Verteilungsfunktion}
$$
    F_X(x) = \P[x \leq X] = \sum_{y \leq x} p(y) \qquad y \in W
$$

\newpage

\subsection{Diskrete Verteilungen}

\definition \textbf{Bernoulli-Verteilung} $X \sim \text{Ber}(p)$\\
\smalltext{Intuitiv: Münzwurf}
$$
    \P[X=1] = p \qquad \P[X=0] = 1-p
$$
\subtext{$0 \leq p \leq 1,\quad W = \{0,1\}$}

\definition \textbf{Binomial-Verteilung} $X \sim \text{Bin}(n,p)$\\
\smalltext{Intuitiv: Anzahl Erfolge bei wiederholtem Bernoulli-Experiment}
$$
    \P[X=k] = \binom{n}{k}p^k(1-p)^{n-k}
$$
\subtext{$0 \leq p \leq 1,\quad n \in \N,\quad W = \{0,\ldots, n\}$}

\theorem \textbf{Bernoulli-Summen sind Binomial-verteilt}
$$
    S_n := X_1 + \ldots + X_n \sim \text{Bin}(p, n)
$$
\subtext{$0\leq p\leq n,\quad n \in N,\quad X_1,\ldots,X_n \sim \text{Ber}(p) \text{ unabhängig}$}

\scriptsize
\lemma $\text{Bin}(1,p) = \text{Ber}(p)$

\lemma $X_1 \sim \text{Bin}(n, p), X_2 \sim \text{Bin}(m, p) \implies X_1 + X_2 \sim \text{Bin}(n+m,p)$

\normalsize

\definition \textbf{Geometrische Verteilung} $X \sim \text{Geom}(p)$\\
\smalltext{Intuitiv: Bernoulli Experiment erfolgreich beim $k$-ten Versuch}
$$
    \P[X=k] = p\cdot(1-p)^{k-1}
$$
\subtext{$0 < p \leq 1,\quad k \in \N_{\neq0}$}

\definition \textbf{Negativbinomiale Verteilung} $X \sim \text{NBin}(r,p)$\\
\smalltext{Intuitiv: Wartezeit zum $r$-ten Erfolg}
$$
    \P[X = k] = \binom{k-1}{r-1}p^r(1-p)^{k-r}
$$
\subtext{$r \in \N,\quad p \in [0,1],\quad k \in \{r, r+1,\ldots \},\quad \text{Nur auf Folien}$}

\theorem \textbf{Interpretation}\\
\smalltext{Für $X_1, X_2, \ldots$ unabhängig s.d. $X_i \sim \text{Ber}(p)$:}
$$
    T_r := \text{inf}\Bigl\{ n \geq 1 \Big| \sum_{i=1}^{n}X_i=r \Bigr\} \sim \text{NBin}(r,p)
$$

\scriptsize

\lemma $X_1,X_2,\ldots,X_r \sim \text{Geom}(p) \implies X := \sum_{i=1}^{r}X_i \sim \text{NBin}(r,p)$

\normalsize


\newpage

\definition \textbf{Hypergeometrische Verteilung} $X \sim \text{H}(n, r, m)$
$$
    \P[X = K] = \frac{\binom{r}{k}\binom{n-r}{m-k}}{\binom{n}{m}}
$$
\subtext{$n \in \N,\quad m,r \in \{0,1,\ldots,n\},\quad k \in \{0,1,\ldots \min(m,r) \}$}

\theorem \textbf{Interpretation}\\
\smalltext{$n$ Objekte in einer Urne, $r$ von Typ 1, $n-r$ von Typ 2 \\ Ziehe $m$, Sei $X$ die Anzahl Objekte Typ 1, dann $X \sim \text{H}(n,r,m)$}\\
\subtext{Das modelliert z.B. Lotto}

\definition \textbf{Poisson-Verteilung}\\
\smalltext{Intuitiv: Sehr seltene Ereignisse}
$$
    \P[X=k] = \frac{\lambda^k}{k!}e^{-\lambda}
$$
\subtext{$\lambda \in \R_{>0},\quad k \in \N_0$}

\theorem \textbf{Poisson-Approximation der Binomialverteilung}\\
\smalltext{$X_n \sim \text{Bin}(\frac{\lambda}{n}),\quad N \sim \text{Poisson}(\lambda),\quad n \geq 1$}
$$
    \limn \P[X_n=k] = \P[N=k]
$$
\subtext{Intuitiv: Für grosse $n$ haben $X_n$ und $N$ sehr ähnliche Eigenschaften}

\scriptsize

\remark Auch genannt: \textit{Konvergenz in Verteilung, Schwache Konvergenz}\\
\color{gray}
Convergence in distribution/law, weak convergence
\color{black}

\normalsize

\newpage

\subsection{Stetige Verteilungen}

\definition \textbf{Stetig verteilte Zufallsvariable} $X: \Omega \to \R$\\
\smalltext{Intuitiv: $f_X(t)dt$ ist Die W.-keit, dass $X$ in $[t, t+dt]$ ist}
$$
    \exists f_X \R \to \R_+ \quad\text{ s.d. }\quad F_X(x) = \int_{-\infty}^{x}f_X(t)\ dt
$$
\subtext{Stetig, da $F_X$ somit eine stetige Funktion ist}

{\scriptsize
    \remark $f_X$ heisst \textit{Dichtefunktion} von $X$
}

\theorem \textbf{Dichtefunktion ist die Ableitung der Verteilung}
\smalltext{$F_X$ stetig, stückweise diff.-bar $-\infty = x_0 < x_1 < \ldots x_{n-1} < x_n = \infty$}
$$
    f_X = \begin{cases}
        F_X'(x) & \exists k \in \{0,\ldots,n-1\} \text{ s.d. } x \in (x_k,x_{k+1}) \\
        a_k     & x \in \{x_1,\ldots,x_{n-1}\}
    \end{cases}
$$

{\scriptsize
    \remark $f_X$ (Stetig) ist Intuitiv das Analogon zu $p_x$ (Diskret)
}

\definition \textbf{Gleichverteilung} $X \sim \mathcal{U}([a,b])$\\
\smalltext{Intuitiv: Zufälliger Punkt in $[a,b]$}
$$
    f_X(x) = \begin{cases}
        \frac{1}{b-a}   & x \in [a,b] \\
        0               & \text{sonst}
    \end{cases}
$$

\definition \textbf{Exponentialverteilung} $T \sim \text{exp}(\lambda)$
$$
    f_T(x) = \begin{cases}
        \lambda e^{-\lambda x}  & x \geq 0 \\
        0                       & x < 0
    \end{cases}
$$
\subtext{$\lambda > 0$}

\lemma \textbf{Eigenschaften von} $\text{exp}$

\definition \textbf{Normalverteilung} $X \sim \mathcal{N}(m, \sigma^2)$
$$
    f_X(x) = \frac{1}{ \sqrt{2\pi\sigma^2} } e^{ -\frac{(x-m)^2}{2\sigma^2} }
$$

\lemma \textbf{Eigenschaften von} $\mathcal{N}$