Партан-методы
Для исправления недостатков наискорейшего спуска разработаны итерационный и модифицированный партан-методы.
Итерационный партан-метод (
-партан) строится следующим образом. В начальной точке
вычисляется градиент оценки
и делается шаг наискорейшего спуска - для этого используется одномерная оптимизация. Далее снова вычисляется градиент
и выполняется спуск (т.е. перемещение в направлении антиградиента), и описанный процесс повторяется
раз. После
шагов наискорейшего спуска получаем точку
и проводим одномерную оптимизацию из
в направлении
с начальным шагом
. После этого цикл повторяется.
Модифицированный партан-метод требует запоминания дополнительных параметров. Он строится следующим образом. Из
делается два шага наискорейшего спуска. Получаем
и
. Далее выполняем одномерную оптимизацию в направлении
. Получаем
. Далее выполняется наискорейший спуск из
. Получаем
. Выполняем одномерную оптимизацию из
в направлении
. Получаем
и~т.д. Таким образом, четные
получаем наискорейшим спуском из
, нечетные
- одномерной оптимизацией из
в направлении
(начальный шаг
). Как показала практика, модифицированный партан-метод в задачах обучения работает лучше, чем
-партан.
Содержание раздела
