Модель нейрона Хебба

Структурная схема нейрона Хебба соответствует стандартной форме модели нейрона (рис.1). Д.Хебб предложил формальное правило, в котором вес

нейрона изменяется пропорционально произведению его входного и выходного сигналов

где

- коэффициент обучения.

При обучении с учителем вместо выходного сигнала

используется ожидаемая от этого нейрона реакция

. В этом случае правило Хебба записывается в виде

В каждом цикле обучения происходит суммирование текущего значения веса и его приращения

В результате применения правила Хебба веса нейрона могут принимать произвольно большие значения. Один из способов стабилизации процесса обучения по правилу Хебба состоит в учете последнего значения

, уменьшенного на коэффициент забывания

. При этом правило Хебба представляется в виде

Значение

выбирается из интервала (0,1) и чаще всего составляет некоторый процент от коэффициента обучения

. Рекомендуемые значения коэффициента забывания -

, при которых нейрон сохраняет большую часть информации, накопленной в процессе обучения, и получает возможность стабилизировать значения весов на определенном уровне.

Содержание раздела