Perzeptron
aus Wikipedia, der freien Enzyklopädie
Das Perzeptron (engl. perceptron, nach engl. percept, „wahrnehmen“) ist ein vereinfachtes Neuronales Netz, das zuerst von Frank Rosenblatt 1958 vorgestellt wurde. Es besteht in der Grundversion aus einem einzelnen künstlichen Neuron mit anpassbaren Gewichtungen und einem Schwellenwert. Unter diesem Begriff werden heute verschiedene Kombinationen des ursprünglichen Modells verstanden, dabei wird zwischen einlagigen und mehrlagigen Perzeptrons (engl. multi-layer perceptron, MLP) unterschieden. Die prinzipielle Arbeitsweise besteht darin, einen Eingabevektor in einen Ausgabevektor umzuwandeln und stellt damit einen einfachen Assoziativspeicher dar.
| Dieser Artikel oder Abschnitt weist folgende Lücken auf:
Es fehlt die Behandlung von:
|
Inhaltsverzeichnis |
[Bearbeiten] Einlagiges Perzeptron
Beim einlagigen Perzeptron gibt es nur eine einzige Schicht aus künstlichen Neuronen, welche zugleich den Ausgabevektor repräsentiert. Jedes Neuron wird dabei durch eine Neuronenfunktion repräsentiert und erhält den gesamten Eingabevektor als Parameter. Die Verarbeitung erfolgt ganz ähnlich zur sogenannten Hebbschen Lernregel für natürliche Neuronen. Allerdings wird der Aktivierungsfaktor dieser Regel durch eine Differenz zwischen Soll- und Istwert ersetzt. Da die Hebbsche Lernregel sich auf die Gewichtung der einzelnen Eingangswerte bezieht, erfolgt also das Lernen eines Perzeptrons durch die Anpassung der Gewichtung eines jeden Neurons. Sind die Gewichtungen einmal gelernt, so ist ein Perzeptron auch in der Lage, Eingabevektoren zu klassifizieren, die vom ursprünglich gelernten Vektor leicht abweichen. Gerade darin besteht die gewünschte Klassifizierungsfähigkeit des Perzeptrons, der es seinen Namen verdankt.
[Bearbeiten] Perzeptron-Lernregel
Es gibt verschiedene Versionen der Lernregel um auf die unterschiedlichen Definitionen des Perzeptrons einzugehen. Für ein Perzeptron mit binären Ein- und Ausgabewerten wird hier die Lernregel angegeben.
Folgende Überlegungen liegen der Lernregel des Perzeptrons zu Grunde:
- Wenn die Ausgabe eines Neurons 1 (bzw. 0) ist und den Wert 1 (bzw. 0) annehmen soll, dann werden die Gewichtungen nicht geändert.
- Ist die Ausgabe 0, soll aber den Wert 1 annehmen, dann werden die Gewichte inkrementiert
- Ist die Ausgabe 1, soll aber den Wert 0 annehmen, dann werden die Gewichte dekrementiert
Mathematisch wird der Sachverhalt folgendermaßen ausgedrückt:
,- Δwij = α * (tj − oj) * xi.
Dabei ist
- Δwij die Änderung des Gewichts wij für die Verbindung zwischen der Eingabezelle i und Ausgabezelle j,
- tj die gewünschte Ausgabe des Neurons j,
- oj die tatsächliche Ausgabe,
- xi die Eingabe des Neurons i und
- α > 0 der Lerngeschwindigkeits-Koeffizient.
Eine Gewichtsaktualisierung im Schritt k verläuft danach wie folgt:
- wij(k + 1) = wij(k) bei korrekter Ausgabe,
- wij(k + 1) = wij(k) + α * xi bei Ausgabe 0 und gewünschter Ausgabe 1 und
- wij(k + 1) = wij(k) − α * xi bei Ausgabe 1 und gewünschter Ausgabe 0.
[Bearbeiten] Konvergenztheorem
Rosenblatt konnte im Konvergenztheorem nachweisen, daß mit dem angegebenen Lernverfahren alle Lösungen eingelernt werden können, die ein Perzeptron repräsentieren kann.
[Bearbeiten] XOR-Problem
Das einfachste Perzeptron mit zwei Eingabewerten und einem einzigen Ausgabeneuron kann z.B. zur Darstellung einfacher logischer Operatoren wie AND und OR genutzt werden. Jedoch haben Marvin Minsky und Seymour Papert 1969 gezeigt, dass es kein einlagiges Perzeptron zur Erkennung des XOR-Operators geben kann. Das Problem der linearen Separierbarkeit führte zunächst zu einem Stillstand in der Forschung der künstlichen neuronalen Netze (KNN).
[Bearbeiten] Mehrlagiges Perzeptron
Die Beschränkung des einlagigen Perzeptrons konnte später mit dem mehrlagigen Perzeptron gelöst werden, bei dem es neben der Ausgabeschicht auch noch mindestens eine weitere Schicht verdeckter Neuronen gibt (engl. hidden layer). Alle Neuronen einer Schicht sind vollständig mit den Neuronen der nächsten Schicht vorwärts verknüpft (Feedforward-Netze). Weitere Topologien haben sich ebenfalls bewährt:
- Full-Connection: Die Neuronen einer Schicht werden mit den Neuronen aller folgenden Schichten verbunden.
- Short-Cuts: Einige Neuronen sind nicht nur mit allen Neuronen der nächsten Schicht verbunden, sondern darüber hinaus mit weiteren Neuronen der übernächsten Schichten.
Ein mehrlagiges Perzeptron kann unter anderem mit dem Backpropagation-Algorithmus trainiert werden. Hierbei werden die Gewichte der Verbindungen so verändert, dass das Netz die gewünschten Muster nach einer kontrollierten Trainingsphase (engl. supervised learning) klassifizieren kann.
[Bearbeiten] Literatur
- Rosenblatt, Frank (1958): The perceptron : a probabilistic model for information storage and organization in the brain. Psychological Reviews 65 (1958) 386-408
- M. L. Minsky und S. A. Papert, Perceptrons. 2nd Edition, MIT-Press 1988, ISBN 0-262-63111-3
