Нейронная сеть Хопфилда
Материал из Википедии — свободной энциклопедии
Содержание |
[править] Введение
Нейронная сеть Хопфилда принято рассматривать как систему из N нейронов. Каждый нейрон системы может принимать одно из двух значений:
Благодаря своей биполярной природе нейроны сети Хопфилда иногда называют спинами
Взаимодействие спинов сети описывается выражением:
где T - это матрица межсвязей организованная по правилу обучения Хебба:
в которую записывается М "образов" – N-мерных бинарных векторов: Sm = (sm1,sm2,...,smN)
Таким образом, в сети Хопфилда матрица связей является симметричной Tij = Tji, а диагональные элементы матрицы полагаются равными нулю (Tii = 0), что исключает эффект воздействия нейрона на самого себя. Подобные свойства определяют тесную связь с реальными физическими веществами называемыми спиновыми стеклами.
[править] Динамика
Все нейроны такой системы свободны и их динамика определяется только локальным полем, вдоль которого они устанавливаются.
Различают два вида динамики: асинхронную и синхронную. При асинхронной динамике в дискретные моменты времени t = 1,2,..., случайным образом выбирается какой-либо i-й нейрон, и определяется локальное поле hi действующее на него со стороны всех остальных нейронов сети:
Далее рассматривается энергия нейрона в данном поле Ei = − sihi. Если состояние (знак) нейрона совпадает с направлением локального поля (Ei < 0), то его положение энергетически устойчиво и в последующий момент времени состояние нейрона остается неизменным. В противном случае (Ei > 0) положение нейрона неустойчиво и он меняет свой знак, переходя в состояние si(t + 1) = − si(t)с энергией Ei(t + 1) < Ei(t). Далее эта же процедура повторяется на другом случайно выбранном нейроне, причем локальное поле вычисляется с учетом изменений, произошедших на предыдущем такте. При каждом изменении состояния нейрона, энергия системы понижается. Это означает, что система за конечное число шагов перейдет в стабильное состояние. Полученное стабильное состояние сети будет соответствовать одному из образов записанных в матрицу.
При синхронной динамике одновременно определяются локальные поля, действующие на нейроны системы и все нейроны с неустойчивым энергетическим состоянием, меняют свой знак одновременно, а не последовательно как при асинхронной. Разница между этими динамиками невелика. Синхронная динамика более близка к процессам, происходящим в спиновом стекле, в то время как асинхронная адаптирована для реализации в современных последовательных вычислительных машинах.
[править] Распознавание
Если после формирования матрицы межсвязей, установить состояние сети близким к одному из записанных эталонных векторов, то нейронная сеть в ходе своей динамики под действием описанных выше полей перевернет неудовлетворенные спины и перейдет в эталонное состояние.
Рассмотрим пример. Пусть имеется нейронная сеть, размерностью N=100 , в матрицу связей записан набор черно-белых картинок (-1 – черный цвет, +1 – белый), среди которых есть изображение собачки (рис 1б). Если установить, начальное состояние сети близким к этому вектору (рис. 1а), то в ходе динамики, нейронная сеть, восстановит исходное изображение (рис. 1б).
Рис.1а Рис.1бК сожалению, у нейронной сети Хопфилда есть существенный недостаток. Она имеет относительно небольшой объем памяти, величину которого можно оценить выражением:
Это означает, что в нейросеть можно записать лишь примерно 15% образов от числа нейронов. Попытка записи большего числа образов приводит к тому, что нейронная сеть перестает их распознавать.
[править] Задачи минимизации
Однако распознавание образов не единственная область применения модели Хофпилда. Динамическая процедура, описанная выше, на каждом шаге понижает значение энергии нейронной сети. Это позволяет решать комбинаторные задачи оптимизации, если они могут быть сформулированы как задачи минимизации энергии.
[править] Литература
J. J. Hopfield, «Neural networks and physical systems with emergent collective computational abilities», Proceedings of National Academy of Sciences, vol. 79 no. 8 pp. 2554–2558, April 1982. PNAS Reprint (Abstract) PNAS Reprint (PDF)
R.McEllice, E.Posner et al. «Capacity of the Hopfield associative memory», IEEE Trans.on Inf.Theory. vol.33, pp.461-482 (1987).
B.V.Kryzhanovsky, L.B.Litinskii, A.L.Mikaelian. «Vector-neuron models of associative memory», Proc. of Int. Joint Conference on Neural Networks IJCNN-04, Budapest-2004, pp.909-1004.
B.V.Kryzhanovsky, B.M.Magomedov, A.L.Mikaelian. «A Domain model of neural network», Doklady Mathematics vol.71, pp.310-314 (2005).
