Нейрокомпьютерные системы

       

Партан-методы


Для исправления недостатков наискорейшего спуска разработаны итерационный и модифицированный партан-методы.

Итерационный партан-метод (

-партан) строится следующим образом. В начальной точке
вычисляется градиент оценки
и делается шаг наискорейшего спуска - для этого используется одномерная оптимизация. Далее снова вычисляется градиент
и выполняется спуск (т.е. перемещение в направлении антиградиента), и описанный процесс повторяется

раз. После

шагов наискорейшего спуска получаем точку
и проводим одномерную оптимизацию из
в направлении
с начальным шагом
. После этого цикл повторяется.

Модифицированный партан-метод требует запоминания дополнительных параметров. Он строится следующим образом. Из

делается два шага наискорейшего спуска. Получаем
и
. Далее выполняем одномерную оптимизацию в направлении
. Получаем
. Далее выполняется наискорейший спуск из
. Получаем
. Выполняем одномерную оптимизацию из
в направлении
. Получаем
и~т.д. Таким образом, четные
получаем наискорейшим спуском из
, нечетные
- одномерной оптимизацией из
в направлении
(начальный шаг
). Как показала практика, модифицированный партан-метод в задачах обучения работает лучше, чем
-партан.



Содержание раздела