[NumCS] Non-linear curve fitting start

semester3/numcs/parts/05_curve-fitting/02_non-linear/00_intro.tex

@@ -1,2 +1,3 @@
 \newsection
 \subsection{Nichtlineare Ausgleichsrechnung}
+Es ist natürlich auch möglich, dass das Modell für das Ausgleichsproblem nicht linear ist.

semester3/numcs/parts/05_curve-fitting/02_non-linear/01_newton-method-in-rn.tex

@@ -0,0 +1,15 @@
+\subsubsection{Newton-Verfahren}
+Aus der Analysis ist bekannt, dass für gesuchtes $x \in \R^n$, so dass $\Phi(x)$ minimal ist, eine notwendige Bedingung durch $\text{grad}(\Phi(x)) = 0$ gegeben ist.
+
+Da wir also eine Nullstellensuche in $\R^n$ haben, können wir dies mit dem Newton-Verfahren lösen:
+\rmvspace
+\begin{align*}
+    x^{(k + 1)} = x^{(k)} - (D \text{grad}(\Phi(x)))^{-1}\text{grad}(\Phi(x))
+\end{align*}
+
+\drmvspace
+Da $H_\Phi(x) := D(\text(grad)(\Phi(x)))$ ist, haben wir also:
+\rmvspace
+\begin{align*}
+    x^{(k + 1)} = x^{(k)} - (H_\Phi(x))^{-1}\text{grad}(\Phi(x))
+\end{align*}

semester3/numcs/parts/05_curve-fitting/02_non-linear/02_gauss-newton.tex

@@ -0,0 +1,20 @@
+\subsubsection{Gauss-Newton Verfahren}
+Direkt das Newton-Verfahren auf ein Problem anzuwenden kann unmöglich oder schwer praktikabel sein.
+
+Die Idee des Gauss-Newton Verfahrens ist es, die komplizierte Funktion $F(x)$ lokal durch eine lineare Funktion approximiert, also:
+\begin{align*}
+    F(x) \approx F(y) + DF(y) (x - y) = F(y) + DF(y)x - DF(y)y
+\end{align*}
+Falls man $A := DF(y)$ und $b = DF(y)y - F(y)$ definiert, so erhält man ein lineares Ausgleichsproblem:
+\rmvspace
+\begin{align*}
+    \argmin{x \in \R^n} \frac{1}{2} ||F(x)||^2_2 \approx \argmin{x \in \R^n} \frac{1}{2} ||F(y) + DF(y) x||^2_2 = \argmin{x \in \R^n} \frac{1}{2} ||Ax - b||^2_2
+\end{align*}
+
+\drmvspace
+wobei $y$ eine Näherung der Lösung $x$ ist.
+Die Iterationsvorschrift ist gegeben durch:
+\rmvspace
+\begin{align*}
+    x^{(k + 1)} = x^{(k)} - s \smallhspace \text{ mit } s := \argmin{z \in \R^n} ||F(x^{(k)}) - DF(x^{(k)})z||^2_2
+\end{align*}