\documentclass[12pt,a4paper]{article}
\usepackage{german}
\usepackage{graphicx}
\graphicspath{{eps/}{pdf/}}
\pagestyle{empty}
\oddsidemargin 2.1mm
\textwidth     155mm
\topmargin     -15mm
\textheight    240mm

\def\net{\mathop{\rm net}\nolimits}

\begin{document}

%-----------------------------------------------------------------------

\noindent
{\bf K"unstliche Neuronale Netze und Deep Learning}
\hfill Sommer 2018 \\
Christian Borgelt und Christoph Doell \hfill ab 2018.07.03

%-----------------------------------------------------------------------

\vskip3ex
\centerline{\bf 9.~"Ubungsblatt}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 35 \quad\rm Radiale-Basisfunktionen-Netze:
                                    Bin"are Funktionen}

Bestimmen Sie die Parameter (Gewichte~$\vec{w}_u$ und Radien~$\sigma_u$)
von Radiale-Basis\-funk\-tionen-Netzen mit der Aktivierungsfunktion
\[ f_{\rm act}^{(u)}(\net_u, \sigma_u) =
   \left\{\begin{array}{ll}
   1, & \mbox{wenn $\net_u \le \sigma_u$,} \\
   0, & \mbox{sonst,}
   \end{array}\right. \]
f"ur die Neuronen der versteckten Schicht, die f"ur Punkte innerhalb der
grauen Fl"achen, die in den unten gezeigten Diagrammen dargestellt sind,
den Wert~1 und f"ur Punkte au\3erhalb den Wert~0 liefern! Ob die Netze
f"ur Punkte auf den R"andern der Fl"achen den Wert~0 oder den Wert~1
liefern, ist gleichg"ultig. Sie sollten jedoch sicherstellen, da\3
f"ur jeden Punkt der $x_1$-$x_2$-Ebene {\em entweder\/} der Wert~0
{\em oder\/} der Wert~1 berechnet wird.
\begin{center}\unitlength1mm
\begin{picture}(145,29)
%\multiput(0,0)(145,0){2}{\line(0,1){29}}
%\multiput(0,0)(0, 29){2}{\line(1,0){145}}
\put(  0,29){\makebox(0,0)[lt]{a)}}
\put(  5, 0){\includegraphics{nnex-06}}
\put( 50,29){\makebox(0,0)[lt]{b)}}
\put( 55, 0){\includegraphics{nnex-07}}
\put(100,29){\makebox(0,0)[lt]{c)}}
\put(105, 0){\includegraphics{nnex-08}}
\end{picture}
\end{center}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 36 \quad\rm Radiale-Basisfunktionen-Netze:
                                    Funktionsapproximation}

\begin{enumerate}\itemsep0pt
\item[a)] Geben Sie ein Radiale-Basisfunktionen-Netz mit ca.~10~Neuronen
     an, das die Funktion $y = x^2$ im Intervall $[0.5,4.5]$ durch eine
     Treppenfunktion ann"ahert!
\item[b)] Wie kann man diese N"aherung verbessern?
     (Geben Sie zwei M"oglichkeiten an.)
\end{enumerate}

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 37 \quad\rm Radiale-Basisfunktionen-Netze:
                                    Initialisierung}

Bestimmen Sie mit Hilfe der Methode der Pseudoinversen die
Parameter (Gewichte~$\vec{w}_u$ und Biaswerte~$\theta_u$) von
Radiale-Basis\-funk\-tionen-Netzen, die die Konjunktion
$x_1 \wedge x_2$ berechnen!
Verwenden Sie
\begin{enumerate}\itemsep0pt\parskip0pt
\item[a)] zwei radiale Basisfunktionen mit Zentren~$(0,0)$ und $(1,1)$,
\item[b)] eine radiale Basisfunktion mit Zentrum~$(1,1)$.
\end{enumerate}
Alle Basisfunktionen sollen den Radius~$\frac{1}{2}$ haben.
Die versteckten Neuronen sollen den euklidischen Abstand als
Netzeingabefunktion und eine Gau\3sche Aktivierungsfunktion
\[ f_{\rm act}({\rm net}_u, \sigma_u)
   = e^{\textstyle -\frac{{\rm net}_u^2}{2\sigma_u^2}} \]
besitzen. Berechnen Sie die tats"achlichen Ausgaben der beiden Netze
und vergleichen Sie sie mit den gew"unschten Ausgaben! Warum erh"alt
man in Teilaufgabe~a) eine perfekte L"osung des Lernproblems?

%-----------------------------------------------------------------------

\subsubsection*{Aufgabe 38 \quad\rm Radiale-Basisfunktionen-Netze:
                                    Initialisierung}

Bestimmen Sie mit Hilfe der Methode der Pseudoinversen die
Parameter (Gewichte~$\vec{w}_u$ und Biaswert~$\theta_u$) eines
Radiale-Basis\-funk\-tionen-Netzes, das das Exklusive Oder
$x_1 \;\dot{\vee}\; x_2$ (bzw.\ $x_1 \oplus x_2$) berechnet!
Verwenden Sie
\begin{enumerate}\itemsep0pt\parskip0pt
\item[a)] zwei radiale Basisfunktionen mit Zentren~$(0,0)$ und $(1,1)$,
\item[b)] eine radiale Basisfunktion mit Zentrum~$(1,1)$.
\end{enumerate}
Alle Basisfunktionen sollen den Radius~$\frac{5}{4}$ haben.
Die versteckten Neuronen sollen den City-Block-Abstand (auch
Manhattanabstand genannt) als Netzeingabefunktion und eine
Dreiecksfunktion als Aktivierungsfunktion besitzen.
Berechnen Sie die tats"achlichen Ausgaben der beiden Netze und
vergleichen Sie sie mit den gew"unschten Ausgaben!

%-----------------------------------------------------------------------

\end{document}
