\documentclass[12pt,a4paper]{article}
\usepackage{german}
\usepackage{graphicx}
\graphicspath{{eps/}{pdf/}}
\pagestyle{empty}
\oddsidemargin 2.1mm
\textwidth     155mm
\topmargin     -15mm
\textheight    240mm

\def\net{\mathop{\rm net}\nolimits}

\begin{document}

%-----------------------------------------------------------------------

\noindent
{\bf K"unstliche Neuronale Netze und Deep Learning}
\hfill Sommer 2018 \\
Christian Borgelt und Christoph Doell \hfill ab 2018.06.12

%-----------------------------------------------------------------------

\vskip3ex
\centerline{\bf 6.~"Ubungsblatt}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 23 \quad\rm Gradientenabstieg}

\hangindent-60mm\hangafter-4\leavevmode
\hbox to0pt{\vbox to10pt{\hbox to\textwidth{\hss
\includegraphics{nnex-04}}\vss}\hss}%
Gegeben sei ein zweischichtiges Perzeptron mit $n$ Ein\-g"angen und
einem Ausgang, in dem das Ausgabeneuron die gewichtete Summe der
Eing"ange als Netzeingabefunktion, eine semilineare Funktion\\
\parbox{95mm}{
\[ f_{\rm act}(\net,\theta) = \left\{\begin{array}{ll}
   1, & \mbox{wenn $\net > \theta +\frac{1}{2},$} \\[.5ex]
   0, & \mbox{wenn $\net < \theta -\frac{1}{2},$} \\
   (\net -\theta) +\frac{1}{2}, & \mbox{sonst,}
   \end{array}\right. \]}\\
(siehe Diagramm) als Aktivierungsfunktion und die Identit"at als
Ausgabefunktion besitzt. Leiten Sie die "Anderungsregel f"ur die
Gewichte ab, die sich aus einem Ansatz mit Gradientenabstieg ergibt,
wenn der Netzfehler als Summe ("uber alle Muster) der quadrierten
Differenzen von gew"unschter und tats"achlicher Ausgabe berechnet wird!

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 24 \quad\rm Gradientenabstieg}

\hangindent-60mm\hangafter-4\leavevmode
\hbox to0pt{\vbox to10pt{\hbox to\textwidth{\hss
\includegraphics{nnex-05}}\vss}\hss}%
Gegeben sei ein zweischichtiges Perzeptron mit $n$ Ein\-g"angen und
einem Ausgang, in dem das Ausgabeneuron die gewichtete Summe der
Eing"ange als Netzeingabefunktion, eine logistische Funktion \\
\parbox{90mm}{%
\[ f_{\rm act}(\net,\theta) = \frac{1}{1 +e^{-(\net -\theta)}} \]} \\
(siehe Diagramm) als Aktivierungsfunktion und die Identit"at als
Ausgabefunktion besitzt. Leiten Sie die "Anderungsregel f"ur die
Gewichte f"ur ein einzelnes Trainingsmuster ab, die sich aus einem
Ansatz mit Gradientenabstieg ergibt, wenn der Netzfehler als absoluter
Betrag der Differenz von gew"unschter und tats"achlicher Ausgabe
berechnet wird! Welche "Anderungen m"u\3te man (bei mehrschichtigen
Perzeptren) an dem R"uckpropagationsverfahren vornehmen?

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 25 \quad\rm {\tt xmlp/wmlp}:
                                    Biimplikation}

Starten Sie eines der Programme {\tt xmlp} (f"ur GNU/Linux)
oder {\tt wmlp} (f"ur Windows) \linebreak (diese Programme stehen unter
{\tt http://www.borgelt.net/mlpd.html} zur Verf"ugung), das den
Lernvorgang eines dreischichtigen Perzeptrons visualisiert. W"ahlen
Sie {\tt Actions > Biimplication} oder {\tt Actions > Exclusive~Or}.
Nach den Erl"auterungen zum Biimplikationsproblem und seiner L"osung
in der Vorlesung sollte die Darstellung verst"andlich sein.
Sie k"onnen "uber {\tt Settings > Parameters...} die Parameter des
Lernverfahrens einstellen. F"uhren Sie auch mit diesem Programm mehrere
Trainingsl"aufe durch und experimentieren Sie mit den Werten der
Parameter (Momentterm, Lernrate und Anfangswertebereich der Gewichte).

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 26 \quad\rm {\tt xmlp/wmlp}:
                                    Funktionsapproximation}

Mit dem in Aufgabe~25 verwendeten Programm {\tt xmlp} oder {\tt wmlp}
l"a\3t sich auch die Ann"aherung zweier einfacher reellwertiger
Funktionen visualisieren. W"ahlen Sie dazu {\tt Actions > Function 1}
oder {\tt Actions > Function 2}. F"uhren Sie f"ur diese beiden
Lernaufgaben mehrere Trainingsl"aufe durch. Wie werden die Funktionen
durch das neuronale Netz angen"ahert? Erkl"aren Sie die Bedeutung der
Gewichte und der Schwellen-/Biaswerte. Experimentieren Sie auch wieder
mit den Werten der Parameter (Momentterm, Lernrate, Anfangswertebereich
der Gewichte). Welche Wirkungen lassen sich erzielen?

%-----------------------------------------------------------------------

\end{document}
