\documentclass[12pt,a4paper]{article}
\usepackage{german}
\usepackage{graphicx}
\graphicspath{{eps/}{pdf/}}
\pagestyle{empty}
\oddsidemargin 2.1mm
\textwidth     155mm
\topmargin     -15mm
\textheight    240mm

\def\net{\mathop{\rm net}\nolimits}

\begin{document}

%-----------------------------------------------------------------------

\noindent
{\bf K"unstliche Neuronale Netze und Deep Learning}
\hfill Sommer 2018 \\
Christian Borgelt und Christoph Doell \hfill ab 2018.06.26

%-----------------------------------------------------------------------

\vskip3ex
\centerline{\bf 8.~"Ubungsblatt}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 31 \quad\rm Momentterm}

Wir betrachten die Variante des Gradientenabstiegs, die einen Momentterm
verwendet, um das Training zu beschleunigen, d.h., wir betrachten
Gewichts"anderungen nach der Formel
$\Delta w_t = -\frac{\eta}{2} \nabla\!_w e|_{w_t}
              +\alpha\;\Delta w_{t-1}$, $t = 0,1,2,3, \ldots$.
Nehmen Sie an, diese Trainingsregel werde f"ur eine Fehlerfunktion
angewandt, die eine unendlich ausgedehnte konstante Steigung aufweist.
Wachsen in diesem Fall die Gewichts"anderungen "uber jede Grenze hinaus?
Falls nicht: Was ist die Grenze f"ur die Gewichts"anderungen?

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 32 \quad\rm Deep Learning: Autokodierer}

Ein Autokodierer (``autoencoder'') ist, wie in der Vorlesung besprochen,
ein dreischichtiges Perzeptron mit so vielen Ausgabe- wie
Eingabeneuronen, das seine Eingaben auf (eine Rekonstruktion) diese(r)
Eingaben abbilden soll. Wir nehmen an, da\3 sowohl in der versteckten
Schicht als auch in der Ausgabeschicht die Aktivierungsfunktion ein
gleichgerichtetes Maximum ({\em rectified maximum\/}) bzw.\ eine
Rampenfunktion ist und da\3 weder Dropout-Training noch eine Begrenzung
der Zahl der aktiven Neuronen verwendet wird. Warum ist es in diesem
Fall unangebracht, in der versteckten Schicht genausoviele Neuronen
zu verwenden wie in der Eingabe- bzw.\ Ausgabeschicht? \\
(Hinweis: "Uberlegen Sie, mit welchen (sehr einfachen) Parametern
so ein Netz die Eingaben unver"andert auf die Ausgaben abbilden kann.)

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 33 \quad\rm Deep Learning: Autoenkodierer}

Aufgabe~32 zeigte ein Problem auf, das man beim Training eines
Autokodierers (``autoencoder'') antrifft. In der Vorlesung wurden
(bis zu) vier Ans"atze angesprochen, mit denen man dieses Problem
angehen und vermeiden kann. Was sind diese Ans"atze und warum helfen
sie, dieses Problem zu l"osen?

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 34 \quad\rm Lernen von Spielen}

In der Vorlesung wurde kurz betrachtet, wie
Deep-Learning-Neuronale-Netze zu einem Programm gef"uhrt haben, das
in der Lage ist, das asiatische Brettspiel Go zu spielen und einen
in der Weltrangliste f"uhrenden menschlichen Spieler "uberzeugend
zu besiegen. Als grobe Analogie betrachten wir in dieser Aufgabe
das einfache Brettspiel Tic-Tac-Toe. Wie kann man ein k"unstliches
neuronales Netz trainieren, so da"s es in die Lage versetzt wird,
dieses Spiel zu spielen? Wie kann man das Brett als Eingabe und den
auszuf"uhrenden Zug als Ausgabe kodieren? Ist es sinnvoll, ein
Faltungsnetz (``convolutional neural network'') zu verwenden?

%-----------------------------------------------------------------------

\end{document}
