Пусть задано начальное значение вектора параметров
и вычислена функция оценки
. Процедура одномерной оптимизации дает приближенное положение минимума
(вообще говоря, локального).
Наиболее очевидный выбор направления
для одномерной оптимизации - направление антиградиента
:
Выберем на каждом шаге это направление, затем проведем одномерную оптимизацию, потом снова вычислим градиент
и т.д. Это - метод наискорейшего спуска, который иногда работает хорошо. Но неиспользование информации о кривизне функции оценки (целевой функции) и резкое замедление минимизации в окрестности точки оптимального решения, когда градиент принимает очень малые значения, часто делают алгоритм наискорейшего спуска низкоэффективным.
Другой способ - случайный выбор направления
для одномерной оптимизации. Он требует большого числа шагов, но зато предельно прост — ему необходимо только прямое функционирование сети с вычислением оценки.
