Выбор направления минимизации

Пусть задано начальное значение вектора параметров

и вычислена функция оценки

. Процедура одномерной оптимизации дает приближенное положение минимума

(вообще говоря, локального).

Наиболее очевидный выбор направления

для одномерной оптимизации - направление антиградиента

Выберем на каждом шаге это направление, затем проведем одномерную оптимизацию, потом снова вычислим градиент

и т.д. Это - метод наискорейшего спуска, который иногда работает хорошо. Но неиспользование информации о кривизне функции оценки (целевой функции) и резкое замедление минимизации в окрестности точки оптимального решения, когда градиент принимает очень малые значения, часто делают алгоритм наискорейшего спуска низкоэффективным.

Другой способ - случайный выбор направления

для одномерной оптимизации. Он требует большого числа шагов, но зато предельно прост — ему необходимо только прямое функционирование сети с вычислением оценки.

Содержание раздела