[TI] Start NP class and proof verification section

semester3/numcs/numcs-summary.tex

@@ -152,8 +152,15 @@ Moral of the story: Use descriptive variable names and do NOT use $t$, $tt$, $tt
 \input{parts/03_zeros/00_intro.tex}
 \input{parts/03_zeros/01_termination-criteria.tex}
 \input{parts/03_zeros/02_fix-point-iteration.tex}
-\input{parts/03_zeros/03_interval-splitting.tex}
-
+\input{parts/03_zeros/03_bisection-method.tex}
+\input{parts/03_zeros/04_newton-one-d.tex}
+\input{parts/03_zeros/05_sectant-method.tex}
+\input{parts/03_zeros/06_newton-nd.tex}
+\input{parts/03_zeros/07_damped-newton.tex}
+\input{parts/03_zeros/08_quasi-newton.tex}
 
+\newsection
+\section{Intermezzo: Lineare Algebra}
+\input{parts/04_linalg/00_intro.tex}
 
 \end{document}

semester3/numcs/parts/03_zeros/03_bisection-method.tex

@@ -0,0 +1,13 @@
+\newsection
+\subsection{Intervallhalbierungsverfahren}
+Die Idee hier ist, das Intervall immer weiter zu halbieren und ein bekannterer Namen für dieses Verfahren ist \bi{Bisektionsverfahren}.
+
+\innumpy haben wir \texttt{scipy.optimize.bisect} und \texttt{scipy.optimize.fsolve}, wobei \texttt{fsolve} ein alter Algorithmus ist.
+
+Im Skript auf Seiten 206 - 207 findet sich eine manuelle implementation des Bisektionsverfahren.
+Der Code ist jedoch (at the time of writing) nicht ausführbar aufgrund von \texttt{IndentationErrors}
+
+Das Bisektionsverfahren konvergiert linear und kann nur für Funktionen verwenden, bei welchen die Nullstellen auf beiden Seiten jeweils ungleiche Vorzeichen haben.
+
+Für jeden Iterationsschritt ermitteln wir die Mitte des Intervalls und berechnen die Funktionswerte an den Rändern, wie auch dem Mittelpunkt.
+Dann ersetzen wir den Rand des Intervalls, dessen Funktionswert dasselbe Vorzeichen hat, wie der Funktionswert des Mittelpunkts.

semester3/numcs/parts/03_zeros/03_interval-splitting.tex

@@ -1,2 +0,0 @@
-\newsection
-\subsection{Intervallhalbierungsverfahren}

semester3/numcs/parts/03_zeros/04_newton-one-d.tex

@@ -0,0 +1,17 @@
+\newsectionNoPB
+\subsection{Newtonverfahren in 1D}
+Beim Newtonverfahren verwendet man für jeden Iterationsschritt die lineare Funktion $\tilde{F} = F(x^(k)) + F'(x^{(k)})(x - x^{(k)})$. Die Nullstelle ist dann:
+\rmvspace
+\begin{align*}
+    x^{(k + 1)} := x^{(k)} - \frac{F(x^{(k)})}{F'(x^{(k)})}, \mediumhspace \text{falls } F'(x^{(k)}) \neq 0
+\end{align*}
+
+\stepLabelNumber{all}
+\inlineremark Die Newton-Iteration ist eine Fixpunktiteration mit quadratischer lokaler Konvergenz, mit
+\rmvspace
+\begin{align*}
+    \phi(x) = x - \frac{F(x)}{F'(x)} \Longrightarrow \phi'(x) = \frac{F(x) F''(x)}{(F'(x))^2} \Longrightarrow \phi'(x^*) = 0
+\end{align*}
+
+\drmvspace
+falls $F(x^*) = 0$ und $F^(x^*) \neq 0$

semester3/numcs/parts/03_zeros/05_sectant-method.tex

@@ -0,0 +1,8 @@
+\newsectionNoPB
+\subsection{Sekantenverfahren}
+Falls die Ableitung zu teuer oder nicht verfügbar ist, kann man sie durch $q^(k) := \frac{F(x^{(k)}) - F(x^{(k - 1)})}{x^{(k)} - x^{(k - 1)}}$.
+Dann ist ein Schritt:
+\rmvspace
+\begin{align*}
+    \tilde{F}(x) = F(x^{(k)}) + q^{(k)} (x - x^{(k)}) \Longrightarrow x^{(k + 1)} := x^{(k)} - \frac{F(x^{(k)})}{q^{(k)}}, \smallhspace \text{ falls } q^{(k)} \neq 0
+\end{align*}

semester3/numcs/parts/03_zeros/06_newton-nd.tex

@@ -0,0 +1,36 @@
+\newsectionNoPB
+\subsection{Newton-Verfahren in $n$ Dimensionen}
+Sei $D \subseteq \R^n$ und $F: D \rightarrow \R^n$ stetig differenzierbar. Die Nullstelle ist
+\rmvspace
+\begin{align*}
+    x^{(k + 1)} := x^{(k)} - DF(x^{(k)})^{-1} F(x^{(k)})
+\end{align*}
+
+\drmvspace
+wobei $DF(x^{(k)}) =
+    \begin{bmatrix}
+        \frac{\partial F_j}{\partial x_k} (x)
+    \end{bmatrix}_{j, k = 1, 2, \ldots, n}$ die Jacobi-Matrix von $F$ ist.
+
+Wichtig ist dabei, dass wir \bi{niemals} das Inverse der Jacobi-Matrix (oder irgend einer anderen Matrix) von der Form $s = A^{-1} b$,
+sondern immer das Gleichungssystem $As = b$ lösen sollten, da dies effizienter ist:
+
+\begin{code}{python}
+def newton(x, F, DF, tol=1e-12, maxit=50):
+    x = np.atleast_2d(x)  # ’solve’ erwartet x als 2-dimensionaler numpy array
+    # Newton Iteration
+    for _ in range(maxit):
+        s = np.linal.solve(DF(x), F(x))
+        x -= s
+        if np.linalgnorm(s) < tol * np.linalg.norm(x):
+            return x
+\end{code}
+
+Wollen wir aber garantiert einen Fehler kleiner als unsere Toleranz $\tau$ können wir das Abbruchkriterium
+\rmvspace
+\begin{align*}
+    ||DF(x^{(k - 1)})^{-1}F(x^{(k)})|| \leq \tau
+\end{align*}
+
+\drmvspace
+verwenden. Code, welcher dies implementiert findet sich auf Seite 213-216 im Skript.

semester3/numcs/parts/03_zeros/07_damped-newton.tex

@@ -0,0 +1,16 @@
+\newsection
+\subsection{Gedämpftes Newton-Verfahren}
+Wir wenden einen einen Dämpfungsfaktor $\lambda^{(k)}$ an, welcher heuristisch gewählt wird:
+\rmvspace
+\begin{align*}
+    x^{(k + 1)} := x^{(k)} - \lambda^{(k)}DF(x^{(k)})^{-1} F(x^{(k)})
+\end{align*}
+
+\drmvspace
+Wir wählen $\lambda^{(k)}$ so, dass für $\Delta x^{(k)} = DF(x^{(k)})^{-1} F(x^{(k)})$ und $\Delta(\lambda^{(k)}) = DF(x^{(k)})^{-1} F(x^{(k)} - \lambda^{(k)} \Delta x^{(k)})$
+\rmvspace
+\begin{align*}
+    ||\Delta x(\lambda^{(k)})||_2 \leq \left( 1 - \frac{\lambda^{(k)}}{2} \right) ||\Delta x^{(k)}||_2
+\end{align*}
+
+\drmvspace

semester3/numcs/parts/03_zeros/08_quasi-newton.tex

@@ -0,0 +1,13 @@
+\newsectionNoPB
+\subsection{Quasi-Newton-Verfahren}
+Falls $DF(x)$ zu teuer ist oder nicht zur Verfügung steht, können wir im Eindimensionalen das Sekantenverfahren verwenden.
+
+Im höherdimensionalen Raum ist dies jedoch nicht direkt möglich und wir erhalten die Broyden-Quasi-Newton Methode:
+\rmvspace
+\begin{align*}
+    J_{k + 1} := J_k + \frac{F(x^{(k + 1)}) (\Delta x^{(k)})^\top}{||\Delta x^{(k)}||_2^2}
+\end{align*}
+
+\drmvspace
+Dabei ist $J_0$ z.B. durch $DF(x^{(0)})$ definiert.
+% Page 222

semester3/numcs/parts/04_linalg/00_intro.tex

@@ -0,0 +1,44 @@
+Das Skript-Kapitel hierzu existiert nicht. Die Vorlesung orientiert sich an dem äquivalenten Teil des NumCSE Dokuments.
+
+\textbf{Perturbierte LGS}
+
+Statt $Ax = b$ ist das LGS ungenau gegeben: $(A + \Delta A)(\tilde{x} - x) = \Delta b - \Delta Ax$.
+
+$\text{cond}(A) := \left\lvert\left\lvert A^{-1} \right\rvert\right\rvert \cdot \lvert\lvert A \rvert\rvert \in \mathbb{R}$ (Konditionszahl von $A$)
+
+$\text{cond}(A) \gg 1$ bedeutet intuitiv: kleine Änderung der Daten $\mapsto$ grosse Änderung in der Lösung
+
+\textbf{Gauss Elimination / LU Zerlegung}
+
+$A \in \mathbb{R}^{n\times m} = PLU$ wie bekannt.
+
+\textbf{Cholesky Zerlegung} ($A$ pos. def. und hermitesch)
+
+$A = LDL^\top = \underbrace{L\sqrt{D}}_{R^\top}\underbrace{\sqrt{D}L^\top}_{R} = R^\top R$
+
+Kann $Ax = b$ potenziell schneller lösen als LU.
+
+\begin{code}{python}
+    L = np.linalg.solve(A)      # A = L @ L.T
+    y = np.linalg.solve(L, b)
+    x = np.linalg.solve(L.T, y)
+\end{code}
+
+\textbf{Grosse Matrizen}
+
+Passen oft nicht (direkt) in den Speicher: effizientere Speicherung nötig, möglich für z.B. Diagonalmatrizen, Dreiecksmatrizen. Auch für Cholesky möglich.
+
+\textbf{Dünnbesetzte Matrizen}
+
+$\text{nnz}(A) := |\{ (i,j) \ |\ a_{ij} \in A, a_{ij} \neq 0 \}| \ll m\cdot n$
+
+$\underset{l \to \infty}{\lim} \frac{\text{nnz}(A^{(l)})}{n_l m_l} = 0$
+
+Einfacher zu speichern: \verb|val, col, row| vektoren s.d. \verb|val[k]| $ = a_{ij}$ wobei $i=$ \verb|row[k]|, $j=$ \verb|col[k]|. (nur $a_{ij} \neq 0$)
+
+Viele Formate, je nach Anwendung gewisse sinnvoller als andere. (Siehe Tabelle, NumCSE)
+
+\verb|scipy.sparse.csr_matrix(A)| $\mapsto$ Dramatische Speichereinsparung.\\
+Deprecated: \verb|bsr_array| und \verb|coo_array| verwenden, kompatibel mit \verb|numpy| arrays.
+
+\verb|CSC, CSR| erlauben weitere Optimierungen, je nach Gewichtung der $a_{ij}$ auf Zeilen, Spalten.

semester3/ti/parts/04_computability/01_reduction.tex

@@ -1,5 +1,6 @@
 \newpage
 \subsection{Die Methode der Reduktion}
+% TODO: Add guide for reducing languages
 \fancydef{Rekursiv reduzierbare Sprache} Eine Sprache $L_1 \subseteq \word_1$ ist auf $L_2 \subseteq \word_2$ rekursiv reduzierbar, geschrieben $L_1 \leq_R L_2$,
 falls $L_2 \in \cL_R \Rightarrow L_1 \in \cL_R$.
 

semester3/ti/parts/04_computability/02_rice.tex

@@ -0,0 +1,18 @@
+\subsection{Der Satz von Rice}
+\inlinedef $L$ heisst \bi{semantisch nichttriviales Entscheidungsproblem über Turingmaschinen}, falls folgende Bedingungen gelten:
+\begin{enumerate}[label=(\roman*)]
+    \item Es gibt eine TM $M_1$, so dass $\text{Kod}(M_1) \in L$ (also $L \neq \emptyset$)
+    \item Es gibt eine TM $M_2$, so dass $\text{Kod}(M_2) \notin L$ (also sind nicht alle Kodierungen in $L$)
+    \item für zwei TM $A$ und $B$: $L(A) = L(B) \Rightarrow \text{Kod}(A) \in L \Leftrightarrow \text{Kod}(B) \in L$
+\end{enumerate}
+
+Sei $L_{H, \lambda} = \{ \text{Kod}(M) \divides M \text{ hält auf } \lambda \}$ ein spezifisches Halteproblem.
+
+\inlinelemma $L_{H, \lambda} \notin \cL_R$
+\inlineproof Auf Seite 146 im Buch (= 159 im PDF)
+
+\begin{theorem}[]{Satz von Rice}
+    Jedes semantisch nichttriviale Entscheidungsproblem über Turingmaschinen ist unentscheidbar.
+\end{theorem}
+\inlineproof Ausführlich im Buch auf Seiten 146 - 149 beschrieben (= 159 - 162 im PDF)
+\stepcounter{subsection}

semester3/ti/parts/04_computability/03_kolmogorov.tex

@@ -0,0 +1,6 @@
+\subsection{Die Methode der Kolmogorov-Komplexität}
+\inlinetheorem Das Probelem, für jedes $x \in \wordbool$ die Kolmogorov-Komplexität $K(x)$ von $x$ zu berechnen ist algorithmisch unlösbar.
+
+\inlinelemma Falls $L_H \in \cL_R$, dann existiert ein Algorithmus zur Berechnung der Kolmogorov-Komplexität $K(x)$ für jedes $x\in \wordbool$
+
+% TODO: See if we need to do these kinds of proofs and if so, elaborate

semester3/ti/parts/05_complexity/00_intro.tex

@@ -0,0 +1,61 @@
+\subsection{Komplexitätsmasse}
+\begin{definition}[]{Zeitkomplexität}
+    Sei $M$ eine Mehrband-TM oder TM, die immer hält, $x \in \word$ und $D = C_1, C_2, \ldots, C_k$ die Berechnung von $M$ auf $x$, deren Zeitkomplexität definiert ist durch:
+    \rmvspace
+    \begin{align*}
+        \tc_M(x) = k - 1
+    \end{align*}
+
+    \rmvspace
+    also durch die Anzahl der Berechnungsschritte in $D$
+    Die Zeitkomplexität der TM $M$ ist dabei definiert durch:
+    \drmvspace
+    \begin{align*}
+        \tc_M(n) = \max\{ \tc_M(x) \divides x \in \Sigma^n \}
+    \end{align*}
+\end{definition}
+Wir können weiterhin die big-O-notation verwenden um den Worstcase anzugeben.
+
+\begin{definition}[]{Speicherplatzkomplexität}
+    Sei $C = (q, x, i, \alpha_1, i_1, \alpha_2, i_2, \ldots, \alpha_k, i_k)$ mit $0 \leq i |x| + 1$ und $0 \leq i_j \leq |\alpha_j|$
+    für $j = 1, \ldots, k$ eine Konfiguration von $M$, welche eine $k$-Band TM ist.
+    \bi{Die Speicherplatzkomplexität von} $C$ ist
+    \rmvspace
+    \begin{align*}
+        \spc_M(C) = \max\{ |\alpha_i| \divides i = 1, \ldots, k \}
+    \end{align*}
+
+    \rmvspace
+    Für die Berechnung $C_1, C_2, \ldots, C_l$ von $M$ auf $x$ haben wir:
+    \rmvspace
+    \begin{align*}
+        \spc_M(x) = \max\{ \spc_M(C_i) \divides i = 1, \ldots, l \}
+    \end{align*}
+
+    \rmvspace
+    Und die \bi{Speicherplatzkomplexität von} $M$ ist
+    \rmvspace
+    \begin{align*}
+        \spc_M(n) = \max\{ \spc_M(x) \divides x \in \Sigma^n \}
+    \end{align*}
+\end{definition}
+Es ist auch möglich $\spc_M(n)$ als eine Summe zu definieren, aber laut Lemma \ref{lemma:4-2} wissen wir, dass man eine $k$-Band-TM mit einer $1$-Band-TM simulieren kann.
+
+\inlinelemma Sei $k \in \N$. Für jede $k$-Band-TM $A$, die immer hält existiert eine äquivalente $1$-Band-TM $B$, so dass $\spc_B(n) \leq \spc_A(n)$
+
+\inlinelemma Für jede $k$-Band-TM $A$, existiert eine äquivalente $k$-Band-TM $B$, so dass $L(A) = L(B)$ und $\spc_B(n) \leq \frac{\spc_A(n)}{2} + 2$
+
+\inlinedef Wir notieren mit der big-O-notation folgendermassen: Falls $r \in \tco{f(n)}$, so wächst $r$ asymptotisch nicht schneller als $f$.
+Äquivalent für $s \in \tcl{g(n)}$ und $l \in \tct{h(n)}$ sagen wir asymptotisch mindestens so (gleich) schnell.
+Falls $\limni \frac{f(n)}{g(n)} = 0$, dann wächst $g$ asymptotisch schneller als $f$ und $f(n) = o(g(n))$
+% TODO: Check if above really is a typo (pretty sure it is)
+
+\inlinetheorem Es existiert ein Entscheidungsproblem $(\alphabetbool, L)$, so dass für jede MTM $A$, die $(\alphabetbool, L)$ entscheidet,
+eine MTM $B$ existiert, die es auch entscheidet und für die gilt: $\tc_B(n) \leq \log_2(\tc_A(n))$ für alle $n \in \N$
+
+\begin{definition}[]{Schranken, Optimal}
+    $\tco{g(n)}$ ($\tcl{f(n)}$) ist eine \bi{obere (untere) Schranke für die Zeitkomplexität von} $L$,
+    falls eine MTM $A$ ($B$) existiert, die $L$ entscheidet und $\tc_A(n) \in \tco{g(n)}$ ($\tc_B(n) \in \tcl{f(n)}$)
+
+    Eine MTM $C$ heisst \bi{optimal für} $L$, falls $\tc_C(n) \in \tco{f(n)}$ gilt und $\tct{f(n)}$ eine untere Schranke für die Zeitkomplexität von $K$ ist.
+\end{definition}

semester3/ti/parts/05_complexity/01_class_p.tex

@@ -0,0 +1,86 @@
+\newpage
+\subsection{Komplexitätsklassen und die Klasse P}
+\begin{definition}[]{Komplexitätsklasen}
+    Für alle Funktionen $f, g : \N \rightarrow \R^+$ definieren wir:
+    \begin{align*}
+        \text{TIME}(f)  & = \{ L(B) \divides B \text{ ist eine MTM mit } \tc_B(n) \in \tco{f(n)} \}  \\
+        \text{SPACE}(g) & = \{ L(A) \divides A \text{ ist eine MTM mit } \spc_A(n) \in \tco{g(n)} \} \\
+        \text{DLOG}     & = \text{SPACE}(\log_2(n))                                                  \\
+        \text{P}        & = \bigcup_{c \in \N} \text{TIME}(n^c)                                      \\
+        \text{PSPACE}   & = \bigcup_{c \in \N} \text{SPACE}(n^c)                                     \\
+        \text{EXPTIME}  & = \bigcup_{d \in \N} \text{TIME}(2^{n^d})
+    \end{align*}
+\end{definition}
+
+\inlinelemma Für alle $t : \N \rightarrow \R^+$ gilt $\text{TIME}(t(n)) \subseteq \text{SPACE}(t(n))$
+\inlinecorollary $\text{P} \subseteq \text{PSPACE}$
+
+\begin{definition}[]{Platz- und Zeitkonstruierbarkeit}
+    Eine Funktion $s : \N \rightarrow \N$ heisst \bi{platzkonstruierbar}, falls eine $1$-Band-TM $M$ existiert, so dass
+    \begin{enumerate}
+        \item $\spc_M(n) \leq s(n) \smallhspace \forall n \in \N$
+        \item für jede Eingabe $0^n$ für $n \in \N$, generiert $M$ das Wort $0^{s(n)}$ auf ihrem Arbeitsband und hält in $\qacc$
+    \end{enumerate}
+
+    \vspace{0.25cm}
+
+    Eine Funktion $t : \N \rightarrow \N$ heisst \bi{zeitkonstruierbar}, falls eine MTM $A$ existiert, so dass
+    \begin{enumerate}
+        \item $\tc_A(n) \in \tco{t(n)}$
+        \item für jede Eingabe $0^n$ für $n \in \N$, generiert $A$ das Wort $0^{t(n)}$ auf dem ersten Arbeitsband und hält in $\qacc$
+    \end{enumerate}
+\end{definition}
+Wichtig ist, dass wir hier nicht \textit{zwingend} eine $1$-Band-TM konstruieren müssen, eine MTM geht auch.
+
+% TODO: Possibly include construction guide here
+
+\inlinelemma Sei $s$ platzkonstruierbar und $M$ eine MTM mit $\spc_M(x) \leq s(|x|) \ \forall x \in L(M)$.
+Dann existiert MTM $A$ mit $L(A) = L(M)$ und $\spc_A(n) \leq s(n)$, es gilt also $\spc_A(y) \leq s(|y|) \ \forall y \in \Sigma_M$
+
+\inlinelemma Sei $t$ zeitkonstruierbar und $M$ eine MTM mit $\tc_M(x) \leq t(|x|) \ \forall x \in L(M)$.
+Dann existiert eine MTM $A$ mit $L(A) = L(M)$ und $\tc_A(n) \in \tco{t(n)}$
+
+\inlinetheorem Für jede Funktion $s$ mit $s(n) \geq \log_2(n)$ gilt $\text{SPACE}(s(n)) \subseteq \bigcup_{c\in \N} \text{TIME}(c^{s(n)})$
+
+Obiger Satz trifft auch für $s(n)$-platzbeschränkten TM zu, die nicht halten, aber nur, wenn $s(n)$ platzkonstruierbar ist.
+
+\inlinecorollary $\text{DLOG} \subseteq \text{P}$ und $\text{PSPACE} \subseteq \text{EXPTIME}$
+
+Die Korollare \ref{corollary:6-1} und \ref{corollary:6-2} geben zusammen $\text{DLOG} \subseteq \text{P} \subseteq \text{PSPACE} \subseteq \text{EXPTIME}$
+
+
+\inlinetheorem Für $s_1, s_2 : \N \rightarrow \N$ mit folgenden Eigenschaften:
+\drmvspace
+\begin{multicols}{3}
+    \begin{enumerate}
+        \item $s_2(n) \geq \log_2(n)$
+        \item $s_2$ ist platzkonstruierbar
+        \item $s_1(n) = o(s_2(n))$
+    \end{enumerate}
+\end{multicols}
+
+\drmvspace\rmvspace
+Dann gilt: $\text{SPACE}(s_1) \subsetneq \text{SPACE}(s_2)$
+
+
+\inlinetheorem Für $t_1, t_2 : \N \rightarrow \N$ mit folgenden Eigenschaften:
+\drmvspace
+\begin{multicols}{2}
+    \begin{enumerate}
+        \item $t_2$ ist platzkonstruierbar
+        \item $t_1(n) \cdot \log_2(t_1(n)) = o(t_2(n))$
+    \end{enumerate}
+\end{multicols}
+
+\drmvspace\rmvspace
+Dann gilt: $\text{TIME}(s_1) \subsetneq \text{TIME}(s_2)$
+
+In den Sechzigerjahren entstand folgende ``Definition'' von parktisch lösbaren Problemen:
+\begin{center}
+    \fbox{
+        \parbox{16cm}{
+            \textit{Ein Problem ist praktisch lösbar genau dann, wenn ein polynomialer Algorithmus zu seiner Lösung existiert.
+                Die Klasse P ist die Klasse der praktisch entscheidbaren Probleme}
+        }
+    }
+\end{center}

semester3/ti/parts/05_complexity/02_non-deterministic-complexity.tex

@@ -0,0 +1,65 @@
+\newpage
+\subsection{Nichtdeterministische Komplexitätsmasse}
+
+\begin{definition}[]{Zeit- und Speicherkomplexität}
+    Sei $M$ eine NMTM oder MTM und $x \in L(M) \subseteq \word$. $\tc_M(x)$ ist die länge einer kürzesten akzeptierenden Berechnung von $M$ auf $x$
+    und $\tc_M(n) = \max(\{ \tc_M(x) \divides x \in L(M) \text{ und }|x| = n \} \cup \{ 0 \} )$.
+
+    \vspace{0.25cm}
+
+    $\spc_M(C_i)$ ist die Speicherkomplexität von Konfiguration $C_i$ und $\spc_M(C) = \max\{ \spc_M(C_i) \divides i = 1, 2, \ldots, m \}$.
+    Zudem ist $\spc_M(x) = \min\{ \spc_M(C) \divides C \text{ ist akzeptierende Berechnung von $M$ auf } x \}$.
+    Ausserdem ist $\spc_M(n) = \max(\{ \spc_M(x) \divides x \in L(M) \text{ und } |x| = n \} \cup \{ 0 \})$
+\end{definition}
+
+
+\begin{definition}[]{Komplexitätsklassen}
+    Für alle $f, g : \N \rightarrow \R^+$ definieren wir:
+    \begin{align*}
+        \text{NTIME}(f)  & = \{ L(M) \divides M \text{ ist eine NMTM mit } \tc_M(n) \in \tco{f(n)} \}  \\
+        \text{NSPACE}(g) & = \{ L(M) \divides M \text{ ist eine NMTM mit } \spc_M(n) \in \tco{g(n)} \} \\
+        \text{NLOG}      & = \text{NSPACE}(\log_2(n))                                                  \\
+        \text{NP}        & = \bigcup_{c \in \N} \text{NTIME}(n^c)                                      \\
+        \text{NPSPACE}   & = \bigcup_{c \in \N} \text{NSPACE}(n^c)
+    \end{align*}
+\end{definition}
+
+
+\inlinelemma Für alle $t$ und $s$ mit $s(n) \geq \log_2(n)$ gilt: $\text{NTIME}(t) \subseteq \text{NSPACE}(t)$, $\text{NSPACE}(s) \subseteq \bigcup_{c \in \N} \text{NTIME}(c^{s(n)})$
+
+\inlinetheorem Für jedes $t : \N \rightarrow \R^+$ und jedes platzkonstruierbare $s$ mit $s(n) \geq \log_2(n)$ gilt:
+\rmvspace
+\begin{multicols}{2}
+    \begin{enumerate}[label=(\roman*)]
+        \item $\text{TIME}(t) \subseteq \text{NTIME}(t)$
+        \item $\text{SPACE}(t) \subseteq \text{NSPACE}(t)$
+        \item $\text{NTIME}(s(n)) \subseteq \text{SPACE}(s(n)) \subseteq \bigcup_{c \in \N} \text{TIME}(c^{s(n)})$
+    \end{enumerate}
+\end{multicols}
+
+\drmvspace
+\inlinecorollary $\text{NP} \subseteq \text{PSPACE}$
+
+\inlineremark Für jede platzkonstruierbare Funktion $s$ mit $s(n) \geq \log_2(n)$ gilt 
+\rmvspace
+\begin{align*}
+    \text{NSPACE}(s(n)) \subseteq \bigcup_{c \in \N} \text{TIME}(c^{s(n)})
+\end{align*}
+
+\drmvspace
+\inlinecorollary $\text{NLOG} \subseteq \text{P}$ und $\text{NPSPACE} \subseteq \text{EXPTIME}$
+
+
+\fancytheorem{Satz von Savitch} Sei $s$ mit $s(n) \geq \log_2(n)$ eine platzkonstruierbare Funktion. Dann gilt:
+\rmvspace
+\begin{align*}
+    \text{NSPACE}(s(n)) \subseteq \text{SPACE}(s(n)^2)
+\end{align*}
+
+\drmvspace
+\inlinecorollary $\text{PSPACE} = \text{NPSPACE}$
+
+Aus den obigen Resultaten resultiert die Komplexitätsklassenhierarchie der sequentiellen Berechnungen:
+\begin{align*}
+    \text{DLOG} \subseteq \text{NLOG} \subseteq \text{P} \subseteq \text{NP} \subseteq \text{PSPACE} \subseteq \text{EXPTIME}
+\end{align*}

semester3/ti/parts/05_complexity/03_class-np.tex

@@ -0,0 +1,31 @@
+\newpage
+\subsection{Die Klasse NP und Beweisverifikation}
+Da praktische Lösbarkeit eines Problems mit polynomieller Zeit verbunden wird, ist es wichtig zu wissen, welche Probleme in polynomieller Zeit lösbar sind und welche nicht.
+
+Der Vergleich zwischen den Klassen $P$ und $NP$ ist äquivalent zu der Frage, ob es einfacher ist, gegebene Beweise zu verifizieren, als sie herzustellen.
+
+Betrachten wir folgendes: Sei $L = SAT$, wobei
+\rmvspace
+\begin{align*}
+    SAT = \{ x \in \words{logic} \divides x \text{ kodiert eine erfüllbare Formel in CNF} \}.
+\end{align*}
+
+\drmvspace
+Dann ist die Aussage $\Phi \in SAT$ äquivalent zu der Behauptung ``$\Phi$ ist eine erfüllbare Formel in CNF''
+
+Für nichtdeterministische Berechnungen nennen wir $\alpha_1, \ldots, \alpha_n$ \bi{Zertifikate} für eine Aussage $\Xi$, falls für diese $\Xi(\alpha_1, \ldots, \alpha_n)$ hält.
+
+\begin{definition}[]{Verifizierer}
+    Sei $L \subseteq \word$ und $p : \N \rightarrow \N$.
+    Eine MTM $A$ ist ein $p$-Verifizierer und $V(A) = L$, falls $A$ mit folgenden Eigenschaften auf allen Eingaben aus $\word \times \wordbool$ arbeitet:
+    \begin{enumerate}[label=(\roman*)]
+        \item $\tc_A(w, x) \leq p(|w|)$ für jede Eingabe $(w, x) \in \word \times \wordbool$
+        \item Für jedes $w \in L$ existiert ein $x \in \wordbool$, so dass $|x| \leq p(|w|)$ und $(w, x) \in L(A)$. $x$ ist \bi{Zeugen} (oder \bi{Beweis}) der Behauptung $w \in L$
+        \item Für jedes $y \notin L$ gilt $(y, z) \notin L(A)$ für alle $z \in \wordbool$
+        \item Falls $p(n) \in \tco{n^k}$ für ein $k \in \N$, so ist $p$ ein \bi{Polynomialzeit-Verifizierer}. Die Klasse ist
+              \vspace{-0.8pc}
+              \begin{align*}
+                  VP = \{ V(A) \divides A \text{ ist ein Polynomialzeit-Verifizierer } \}
+              \end{align*}
+    \end{enumerate}
+\end{definition}

semester3/ti/parts/05_complexity/04_np-completeness.tex

@@ -0,0 +1,2 @@
+\newpage
+\subsection{NP-Vollständigkeit}

semester3/ti/ti-summary.tex

@@ -10,6 +10,8 @@
 \newcommand{\qrej}{q_{\text{reject}}}
 \newcommand{\ldiag}{L_{\text{diag}}}
 \newcommand{\lempty}{L_{\text{empty}}}
+\renewcommand{\tc}{\text{Time}}
+\newcommand{\spc}{\text{Space}}
 
 \begin{document}
 \startDocument
@@ -96,6 +98,17 @@
 \stepcounter{subsection}
 \input{parts/04_computability/00_intro.tex}
 \input{parts/04_computability/01_reduction.tex}
+\input{parts/04_computability/02_rice.tex}
+\input{parts/04_computability/03_kolmogorov.tex}
+
+\newsection
+\section{Komplexitätstheorie}
+\stepcounter{subsection}
+\input{parts/05_complexity/00_intro.tex}
+\input{parts/05_complexity/01_class_p.tex}
+\input{parts/05_complexity/02_non-deterministic-complexity.tex}
+\input{parts/05_complexity/03_class-np.tex}
+\input{parts/05_complexity/04_np-completeness.tex}
 
 
 \end{document}