[TI] Summarized reduction chapter

semester3/numcs/numcs-summary.tex

@@ -152,6 +152,7 @@ Moral of the story: Use descriptive variable names and do NOT use $t$, $tt$, $tt
 \input{parts/03_zeros/00_intro.tex}
 \input{parts/03_zeros/01_termination-criteria.tex}
 \input{parts/03_zeros/02_fix-point-iteration.tex}
+\input{parts/03_zeros/03_interval-splitting.tex}
 
 
 

semester3/numcs/parts/03_zeros/01_termination-criteria.tex

@@ -1,3 +1,7 @@
+% ┌                                                ┐
+% │     AUTHOR: Janis Hutz<info@janishutz.com>     │
+% └                                                ┘
+
 \newsection
 \subsection{Abbruchkriterien}
 Wir müssen irgendwann unsere Iteration abbrechen können, dazu haben wir folgende Möglichkeiten:
@@ -9,8 +13,4 @@ Wir müssen irgendwann unsere Iteration abbrechen können, dazu haben wir folgen
 \end{fullTable}
 
 \drmvspace
-\inlineremark Für das \textit{a posteriori} Abbruchkriterium mit linearer Konvergenz und bekanntem $L$ gilt folgende Abschätzung:
-\drmvspace
-\begin{align*}
-    ||x^{(k + 1)} - x^*|| \leq \frac{L}{1 - L} ||x^{(k + 1)} - x^{(k)}||
-\end{align*}
+\inlineremark Für das \textit{a posteriori} Abbruchkriterium mit linearer Konvergenz und bekanntem $L$ gilt die Abschätzung aus Lemma \ref{all:6-3-6} mit Korollar \ref{all:6-3-17}

semester3/numcs/parts/03_zeros/02_fix-point-iteration.tex

@@ -1,7 +1,66 @@
-\drmvspace\drmvspace
-\newsectionNoPB
+% ┌                                                ┐
+% │     AUTHOR: Janis Hutz<info@janishutz.com>     │
+% └                                                ┘
+
+\rmvspace\newsectionNoPB
 \subsection{Fixpunktiteration}
 Ein $1$-Punkt-Verfahren benötigt nur den vorigen Wert: $x^{(k + 1)} = \phi(x^{(k)})$
 
 % FIXME: Below konsistent is probably wrong, but is what is in the script
 \inlinedef Eine Fixpunktiteration heisst konsistent mit $F(x) = 0$ falls $F(x) = 0 \Leftrightarrow \phi(x) = x$
+
+\inlineex Für $F(x) = xe^x - 1$ mit $x \in [0, 1]$ liefert $\phi_1(x) = e^{-x}$ lineare Konvergenz,
+$\phi_2(x) = \frac{1 + x}{1 + e^x}$ quadratische Konvergenz und $\phi_3(x) = x + 1 - xe^x$ eine divergente Folge.
+
+\setLabelNumber{all}{5}
+\fancydef{Kontraktion} $\phi$ falls es ein $L < 1$ gibt, so dass $||\phi(x) - \phi(y)|| \leq L||x - y|| \ \forall x, y$
+
+\inlineremark Falls $x^*$ ein Fixpunkt der Kontraktion $\phi$ ist, dann ist
+\drmvspace
+\begin{align*}
+    ||x^{(k + 1)} - x^*|| = ||\phi(x^{(k)}) - \phi(x^*)|| \leq L||x^{(k)} - x^*||
+\end{align*}
+
+\drmvspace
+\begin{theorem}[]{Banach'scher Fixpunktsatz}
+    Sei $D \subseteq \K^n$ ($\K = \R, \C$) mit $D$ abgeschlossen und $\phi: D \rightarrow D$ eine Kontraktion.
+    Dann existiert ein eindeutiger Fixpunkt $x^*$, für welchen also gilt, dass $\phi(x^*) = x^*$.
+    Dieser ist der Grenzwert der Folge $x^{(k + 1)} = \phi(x^{(k)})$.
+\end{theorem}
+
+% NOTE: If need be, we can switch to theorem here, or I can add a new environment for "support theorem" or the like,
+% I however feel like a Lemma suits the idea of "Hilfstheorem" quite well
+\inlinelemma Für $U \subseteq \R^n$ konvex und $\phi : U \rightarrow \R^n$ stetig differenzierbar mit $L := \sup_{x \in U} ||D_\phi(x)|| < 1$
+($D_\phi(x)$ ist die Jacobi-Matrix von $\phi(x)$).
+Wenn $\phi(x^*) = x^*$ für $x^* \in U$, dann konvergiert $x^{(k + 1)} = \phi(x^{(k)})$ gegen $x^*$ lokal mindestens linear.
+Dies ist eine hinreichende (= sufficient) Bedingung.
+
+\setLabelNumber{all}{11}
+\inlinelemma Für $\phi : \R^n \rightarrow \R^n$ mit $\phi(x^*) = x^*$ und $\phi$ stetig differenzierbar in $x^*$.
+Ist $||D_\phi(x^*)|| < 1$, dann konvergiert $x^{(k + 1)} = \phi(x^{(k)})$ lokal und mindestens linear mit $L = ||D_\phi(x^*)||$
+
+\stepLabelNumber{all}
+\fancytheorem{Satz von Taylor} Sei $I \subseteq \R$ ein Intervall, $\phi : I \rightarrow \R$ $(m + 1)$-mal differenzierbar und $x \in I$.
+Dann gilt für jedes $y \in I$
+\drmvspace
+\begin{align*}
+    \phi(y) - \phi(x) = \sum_{k = 1}^{m} \frac{1}{k!} \left( \phi^{(k)}(x) (y - x)^k \right) + \tco{|y - x|^{m + 1}}
+\end{align*}
+
+\drmvspace
+\inlinelemma Sei $I$ und $\phi$ wie in Satz \ref{all:6-3-13}. Sei zudem $\phi^{(l)}(x^*) = 0$ für $l \in \{ 1, \ldots, m \}$ mit $m \geq 1$.
+Dann konvergiert $x^{(k + 1)} = \phi(x^{(k)})$ lokal gegen $x^*$ mit Ordnung $p \geq m + 1$
+
+\stepLabelNumber{all}
+\inlinelemma Konvergiert $\phi$ linear mit $L < 1$, dann gilt:
+\drmvspace
+\begin{align*}
+    ||x^{*} - x^{(k)}|| \leq \frac{L^{k - l}}{1 - L} ||x^{(l + 1)} - x^{(l)}||
+\end{align*}
+
+\drmvspace
+\inlinecorollary für $l = 0$ haben wir ein \textit{a priori} und für $l = k - 1$ ein \textit{a posteriori} Abbruchkriterium:
+\drmvspace
+\begin{align*}
+    ||x^* - x^{(k)}|| \leq \frac{L^k}{1 - L} ||x^{(1)} - x^{(0)}|| \leq \tau & & ||x^* - x^{(k)}|| \leq \frac{L}{1 - L} ||x^{(k)} - x^{(k - 1)}|| \leq \tau
+\end{align*}

semester3/numcs/parts/03_zeros/03_interval-splitting.tex

@@ -0,0 +1,2 @@
+\newsection
+\subsection{Intervallhalbierungsverfahren}

semester3/ti/parts/04_computability/01_reduction.tex

@@ -1 +1,74 @@
+\newpage
 \subsection{Die Methode der Reduktion}
+\fancydef{Rekursiv reduzierbare Sprache} Eine Sprache $L_1 \subseteq \word_1$ ist auf $L_2 \subseteq \word_2$ rekursiv reduzierbar, geschrieben $L_1 \leq_R L_2$,
+falls $L_2 \in \cL_R \Rightarrow L_1 \in \cL_R$.
+
+\shade{teal}{Intuition:} $L_2$ ist bezüglich der algorithmischen Lösbarkeit mindestens so schwer wie $L_1$. $\cL_R$ ist die Menge aller rekursiv reduzierbaren Sprachen.
+Ist also $L_2$ lösbar, so muss auch $L_1$ lösbar sein.
+
+\fancydef{EE-reduzierbare Sprache} $L_1$ ist auf $L_2$ \bi{EE-reduzierbar}, geschrieben $L_1 \leq_{EE} L_2$, wenn eine TM $M$ existiert,
+die eine Abbildung $f_M : \word_1 \rightarrow \word_2$ mit der Eigenschaft $x \in L_1 \Leftrightarrow f_M(x) \in L_2$ für alle $x \in \word_1$ berechnet.
+Anders ausgedrückt: die TM $M$ reduziert die Sprache $L_1$ auf die Sprache $L_2$
+
+\inlinelemma Falls $L_1 \leq_{EE} L_2$, dann auch $L_1 \leq_R L_2$. \inlineproof Im Buch auf Seite 135 (= 148 im PDF)
+
+Wir müssen also nur zeigen, dass $L_1 \leq_{EE} L_2$ um zu zeigen, dass $L_1 \leq_R L_2$
+
+\inlinelemma Für jede Sprache $L \subseteq \word$ gilt: $L \leq_R L^C$ und $L^C \leq_R L$
+
+\inlinecorollary $(L_\text{diag})^C \notin \cL_R$
+\inlineproof Folgt davon, dass $L_\text{diag} \notin \cL_{RE}$ (was heisst, dass $L_\text{diag} \notin \cL_R$)
+und nach Lemma 5.4 $L_\text{diag} \leq_R (L_\text{diag})^C$ und das umgekehrte gelten muss.
+
+\inlinelemma $(\ldiag)^C \in \cL_{RE}$
+\inlineproof Auf Seite 137 (= 150 im PDF) wird eine Turingmaschine aufgezeigt, die $(L_\text{diag})^C$ akzeptiert.
+
+\inlinecorollary $(\ldiag)^C \in \cL_{RE} - \cL_R$ und daher $\cL_R \subsetneq \cL_{RE}$
+
+Folgende Sprachen sind nicht rekursiv, liegen aber in $\cL_{RE}$
+
+\fancydef{Universelle Sprache} $L_U = \{ \text{Kod}(M)\# w \divides w \in \wordbool \text{ und TM } M \text{ akzeptiert } w \}$
+
+\fancytheorem{Universelle TM} Eine TM $U$, so dass $L(U) = L_U$, also gilt $L_U \in \cL_{RE}$\\
+%
+\inlineproof Auf Seite 138 (= 151 im PDF)
+
+Was dies bedeutet, es existiert eine TM ohne Haltegarantie, die eine beliebige Turingmaschine auf einer gegebenen Eingabe simulieren kann.
+Untenstehendes Resultat bedeutet, dass man das Resultat der Berechnung einer TM $M$ auf einer Eingabe $x$ anders berechnen kann, als die Berechnung von $M$ auf $x$ zu simulieren.
+
+\inlinetheorem $L_U \notin \cL_R$
+
+Wenn jetzt aber $M$ unendlich lange auf $x$ arbeitet, so wissen wir nicht, ob wir die Simulation beenden können. Dies führt zum Halteproblem
+
+\begin{definition}[]{Halteproblem}
+    Das Halteproblem ist das Entscheidungsproblem $(\{ 0, 1, \# \}, L_H)$ mit
+    \begin{align*}
+        L_H = \{ \text{Kod}(M)\# x \divides x \in \{ 0, 1 \}^* \text{ und } M \text{ hält auf } x \}
+    \end{align*}
+\end{definition}
+
+Dies scheint vorerst nicht ein allzu grosses Problem zu sein, jedoch besagt das nächste Resultat, dass es keinen Algorithmus gibt,
+der testen kann, ob ein gegebenes Programm immer terminiert.
+
+\inlinetheorem $L_H \in \cL_R$
+\inlineproof Auf Seiten 140 - 142 (153 - 155 im PDF)
+
+Betrachten wir die Sprache $\lempty = \{ \text{Kod}(M) \divides L(M) = \emptyset \}$, die die Kodierungen aller Turingmaschinen enthält,
+die die leere Menge (kein Wort) akzeptieren. Es gilt
+\rmvspace
+\begin{align*}
+    (\lempty)^C = \{ x \in \wordbool \divides x \notin \text{Kod}(\overline{M}) \forall \text{ TM } \overline{M} \text{ oder } x = \text{Kod}(M) \text{ und } L(M) \neq \emptyset \}
+\end{align*}
+
+\drmvspace
+\inlinelemma $(\lempty)^C \in \cL_{RE}$
+\inlineproof Auf Seiten 142 - 143 (155 - 156 im PDF)
+
+\inlinelemma $(\lempty)^C \notin \cL_R$
+
+Wir haben als wiederum die Nichtexistenz eines Algorithmus zur Überprüfung, ob ein gegebenes Programm die leere Menge akzeptiert.
+Ein Beweis dazu findet sich auf Seiten 143 und 144 im Buch (156 - 157 im PDF)
+
+\inlinecorollary $\lempty \notin \cL_R$
+
+\inlinecorollary $L_{EQ} = \{ \text{Kod}(M)\# \text{Kod}(\overline{M}) \divides L(M) = L(\overline{M}) \}$ ist nicht entscheidbar (also $L_{EQ} \notin \cL_R$)

semester3/ti/ti-summary.tex

@@ -8,6 +8,8 @@
 \newcommand{\hdelta}{\hat{\delta}}
 \newcommand{\qacc}{q_{\text{accept}}}
 \newcommand{\qrej}{q_{\text{reject}}}
+\newcommand{\ldiag}{L_{\text{diag}}}
+\newcommand{\lempty}{L_{\text{empty}}}
 
 \begin{document}
 \startDocument