\documentclass[12pt,a4paper]{article}
\usepackage{german}
\usepackage{graphicx}
\graphicspath{{eps/}{pdf/}}
\pagestyle{empty}
\oddsidemargin 2.1mm
\textwidth     155mm
\topmargin     -15mm
\textheight    242mm

\def\IR{\mbox{I\kern-0.2em R}}
\def\IQ{\mbox{$\;$\raise0.1ex\hbox{\rule{0.5pt}{1.4ex}}\kern-0.26em Q}}

\begin{document}

%-----------------------------------------------------------------------

\noindent
{\bf K"unstliche Neuronale Netze und Deep Learning}
\hfill Sommer 2018 \\
Christian Borgelt und Christoph Doell \hfill ab 2018.06.05

%-----------------------------------------------------------------------

\vskip3ex
\centerline{\bf 5.~"Ubungsblatt}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 19 \quad\rm Funktionsapproximation}

\begin{enumerate}\itemsep0pt
\item[a)] Geben Sie ein mehrschichtiges Perzeptron mit ca.~10~Neuronen
     an, das die Funktion $y = x^2$ im Intervall $[0.5,4.5]$ durch eine
     Treppenfunktion ann"ahert! Beachten Sie, da"s es (mindestens) zwei
     M"oglichkeiten gibt: eine, die zwei versteckte Schichten, und eine,
     die nur eine versteckte Schicht verwendet.
\item[b)] Wie kann man diese N"aherung verbessern?
     (Geben Sie zwei M"oglichkeiten an.)
\end{enumerate}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 20 \quad\rm Funktionsapproximation}

\begin{enumerate}\itemsep0pt
\item[a)] Wir betrachten die Indikatorfunktion der rationalen Zahlen
          "uber der Menge der reellen Zahlen (auch als
          Dirichlet-Funktion bekannt), d.h.\ die Funktion
          \[ f : \IR \to \{ 0, 1 \}, \qquad
                 x \mapsto \left\{\begin{array}{ll}
                           1, & \mbox{falls $x \in \IQ$,} \\
                           0, & \mbox{sonst.}
                           \end{array}\right. \]
          Kann diese Funktion durch ein neuronales Netz
          (mehrschichtiges Perzeptron) beliebig genau angen"ahert
          werden (der Einfachheit halber: im Interval $[-1,1]$)?
\item[b)] Wir betrachten die einfache Funktion
          \[ g: \IR \to \IR, \qquad x \mapsto x^{-1}. \]
          Kann diese Funktion durch ein neuronales Netz
          (mehrschichtiges Perzeptron) beliebig genau angen"ahert
          werden (der Einfachheit halber: im Interval $[-1,1]$)?
\item[c)] Was zeigt das Ergebnis der Teilaufgaben~a) und b)
          "uber die Berechnungsf"ahigkeiten neuronaler Netze
          (mehrschichtiger Perzeptren)?
\end{enumerate}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 21 \quad\rm Gradientenabstieg}

N"ahern Sie das Minimum der Funktion
$f(x_1,x_2) = 2x_1^2 -2x_1 +x_2^2 -x_2$
mit Hilfe des Gradientenabstiegs an!
Verwenden Sie als Anfangsn"aherung $(x_1,x_2) = (0,0)$ und als
Schrittweitenparameter $\eta = 0.2$!

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 22 \quad\rm Gradientenabstieg}

In Aufgabe~15a haben wir die Anpassung einer Gerade $y = a+bx$
an die Datenpunkte $(-2,0), (0,1), (1,3), (2,5)$ betrachtet. Dort
haben wir die analytische L"osung "uber das Aufstellen und L"osen
des Systems der Normalgleichungen benutzt. In dieser Aufgabe
wollen wir das gleiche Problem mit Hilfe eines Gradientenabstiegs
l"osen.
\begin{enumerate}\itemsep0pt
\item[a)] Was ist die Fehlerfunktion f"ur diese Aufgabe?
\item[b)] Was ist die Aktualisierungsregel f"ur den Gradientenabstieg
          f"ur diese Aufgabe?
\item[c)] Berechnen Sie einige Aktualisierungsschritte ausgehend
          von $a = b = 0$! Probieren Sie verschiedene
          Schrittweitenparameter, z.B.\ aus der Folge
          0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1, 3 etc.!
\end{enumerate}

%-----------------------------------------------------------------------

\end{document}
