Обучение сети Хопфилда методом проекций

Лучшие результаты, чем при использовании правила Хебба, можно получить, если для обучения использовать псевдоинверсию. В основе этого подхода лежит предположение, что при правильно подобранных весах каждый поданный на вход сети вектор вызывает генерацию самого себя на выходе сети. В матричной форме это можно представить в виде

где

- матрица весов сети размерностью , а - прямоугольная матрица размерностью , составленная из

обучающих векторов

. Решение такой линейной системы уравнений имеет вид

где знак + обозначает псевдоинверсию.

Если обучающие векторы линейно независимы, последнее выражение можно упростить и представить в виде

(2)

Здесь псевдоинверсия заменена обычной инверсией квадратной матрицы

размерностью .

Выражение (2) можно записать в итерационной форме, не требующей расчета обратной матрицы. В этом случае (2) принимает вид итерационной зависимости от последовательности обучающих векторов

, :

при начальных условиях

. В результате предъявления векторов матрица весов сети принимает значение . Описанный здесь метод называется методом проекций. Применение его увеличивает максимальную емкость сети Хопфилда до . Увеличение емкости обусловлено тем, что в методе проекций требование ортогональности векторов заменено гораздо менее жестким требованием их линейной независимости.

Модифицированный вариант метода проекций - метод

-проекций — градиентная форма алгоритма минимизации. В соответствии с этим методом веса подбираются с помощью процедуры, многократно повторяемой на всем множестве обучающих векторов:

Обучающие векторы предъявляются многократно вплоть до стабилизации значений весов.

Содержание раздела

---

---

---

Главная сайта

---