Neuronale Netze

Fragen zum 1. Kapitel


Frage 1

Wo findet in neuronalen Netzen typischerweise das Lernen statt?


Antwort zu Frage 1

Lernen wird in neuronalen Netzen meist als Gewichtsmodifikation zwischen den einzelnen Einheiten definiert. Das Lernen findet in der Regel folglich in den Verbindungsgewichten statt.



Frage 2

Wozu dienen Units in neuronalen Netzen?


Antwort zu Frage 2

Units, auch als Einheiten oder Knoten bezeichnet, sind Neuronen, welche Informationen in Form von Zahlenwerten aus der Umwelt oder von anderen Neuronen aufnehmen und an andere Units oder die Umwelt in modifizierter Form weiterleiten.



Frage 3

Was versteht man unter einer Propagierungsfunktion?


Antwort zu Frage 3

Die Propagierungsfunktion bestimmt, wie sich der Netzinput aus den einzelnen Inputwerten ermitteln lässt.



Frage 4

Wie ist der Netzinput definiert?


Antwort zu Frage 4

Der Netzinput (auch Netzeingabe, Netinput oder Netto-Input) ist der gesamte Input einer Unit.



Frage 5

Welche Aktivitätsfunktionen gibt es und worin unterscheiden sich diese?


Antwort zu Frage 5

Es gibt viele verschiedene Aktivitätsfunktionen, die sich vor allem in ihrem Verlauf und ihrem Wertebereich unterscheiden.

 

  • Lineare Aktivitätsfunktion: Linearer Zusammenhang zwischen dem Netzinput und dem Aktivitätslevel (Wertebereich nach oben und unten hin unbeschränkt); Spezialfall: Identitätsfunktion; Sonderform: Lineare Aktivitätsfunktion mit Schwelle

  • Binäre Aktivitätsfunktion/Heaviside-Funktion/Schrittfunktion: Es existieren lediglich zwei Zustände des Aktivitätslevels, 0/-1 oder +1

  • Sigmoide Aktivitätsfunktion: Zwei verschiedene Typen:
    Logistische Aktivitätsfunktion/Fermifunktion: Wertebereich auf 0 bis +1 begrenzt.
    Tangens Hyperbolicus Aktivitätsfunktion: Wertebereich liegt zwischen -1 und +1.

  • Normalverteilte Aktivitätsfunktion: Diese Aktivitätsfunktion besitzt den Kurvenverlauf einer Normalverteilung.

 

 

 



Frage 6

Wie sieht die logistische Aktivierungsfunktion aus?


Antwort zu Frage 6

Bei der logistischen Aktivitätsfunktion ist der Wertebereich auf 0 bis +1 begrenzt. Ist der Netzinput, bezogen auf den Betrag, groß und negativ (z. B. –100), dann ist der Aktivitätslevel nahe 0. Dieser steigt mit zunehmendem Netzinput zunächst langsam an (eine Art Schwelle), wobei der Anstieg immer steiler wird und zwischenzeitlich einer linearen Funktion gleicht. Bei einem hohen Netzinput nähert sich der Wert dann asymptotisch der +1 an.



Frage 7

Welche Vorteile besitzen sigmoide Aktivitätsfunktionen gegenüber der binären Aktivitätsfunktion?


Antwort zu Frage 7

Der Wertebereich der sigmoiden Aktivitätsfunktion ist nach oben und unten begrenzt, diese Eigenschaft ist biologisch plausibel, da auch im menschlichen Gehirn bei der Signalübertragung nur ein begrenztes Aktionspotential von ca. -40 bis -80 mV auf maximal etwas unter +55 mV entsteht. Außerdem verhindert diese Eigenschaft ein ungewolltes überlaufen durch rekurrente Verbindungen und vermeidet so Fehlerwerte. Darüber hinaus kann die sigmoide Aktivitätsfunktion an allen Stellen abgeleitet werden, was eine notwendige Voraussetzung für das Gradientenabstiegsverfahren darstellt.



Frage 8

Wovon hängt der Aktivitätslevel eines Neurons ab?


Antwort zu Frage 8

Im einfachsten Fall (Zuordnung nach Identitätsfunktion) entspricht der Aktivitätslevel dem Output einer Unit.



Frage 9

Was ist eine Bias-Unit und wozu dient sie?


Antwort zu Frage 9

Eine Bias-Unit, auch On-Neuron genannt erhält selbst keinen Input, weshalb ihr Aktivitätslevel immer +1 beträgt. Das Gewicht einer Bias-Unit zu anderen Units kann positiv oder negativ sein. Bei einem positiven Gewicht stellt die Bias-Unit sicher, dass die empfangene Einheit auch dann aktiv bleibt, wenn kein starker, positiver Input von anderen Einheiten vorliegt (Voraktivierung). Bei negativem Gewicht sorgt die Bias-Einheit dafür, dass Units in ihrem negativen, inaktiven Zustand verharren (schwellwertähnlicher Kurvenverlauf).



Frage 10

Worin unterscheidet sich eine Schwelle, die mit bzw. ohne Hilfe einer Bias-Unit vorgenommen wird?


Antwort zu Frage 10

Aktivitätsfunktionen mit Schwellen, aber ohne Bias-Unit besitzen eine vorab fixierte Schwelle. Schwellen, die mit einer Bias-Unit konzipiert werden, haben hingegen aufgrund des variablen Gewichts zwischen Bias-Unit und der mit ihr verbundenen Einheit eine veränderliche Schwelle.



Frage 11

Welche weiteren Unterscheidungen kann man bei neuronalen Netzen innerhalb der Trainingsphase und welche innerhalb der Testphase vornehmen?


Antwort zu Frage 11

Während der Trainingsphase unterscheidet man zwischen folgenden Klassifikationen der Gewächtsveränderung:

– wie werden Gewichte verändert:

- supervised learning

- reinforcment learning

- unsupervised learning

- direct design methods

– wann werden Gewichte verändert:

- incremental training

- batch training

Während der Testphase wird getestet was das Netzt gelernt hat, dazu nutzt man verschiedene Reize bzw. Informationen:

– Ausgangsreize

– neue Reize



Frage 12

Grenzen Sie supervised von unsupervised learning ab!


Antwort zu Frage 12

Supervised lerning bedeutet, dass der korrekte Output vom Netz vorgegeben wird und die Gewichte an diesem optimiert werden. Beim unsupervised learining hingegen wird dem Netz kein Output vorgegeben, hier erfolgt die Gewichtsveränderung in Abhängigkeit der Ähnlichkeit der Inputreize.



Frage 13

Was ist der Unterschied zwischen batch und incremental training?


Antwort zu Frage 13

Beim incremental training werden die Gewichte nach jeder erfolgreichen Darbietung jedes einzelnen Inputreizes verändert. Beim batch training hingegen werden die Gewichte sämtlicher Inputreize erst nach Darbitung aller Inputreize (Epoche) modifiziert.



Frage 14

Wie können neuronale Netze mathematisch dargestellt werden?


Antwort zu Frage 14

Mathematisch kann man neuronale Netze auch als Matrizen darstellen.



 

Ihr Suchergebnis leitet Sie auf die Website www.testzentrale.de.