Одномерная оптимизация

Все пошаговые методы оптимизации состоят из двух важнейших частей:

выбора направления,
выбора шага в данном направлении (подбор коэффициента обучения).

Методы одномерной оптимизации дают эффективный способ для выбора шага.

В простейшем случае коэффициент обучения фиксируется на весь период оптимизации. Этот способ практически используется только совместно с методом наискорейшего спуска. Величина подбирается раздельно для каждого слоя сети по формуле

$Одномерная оптимизация$

где

$Одномерная оптимизация$

обозначает количество входов

$Одномерная оптимизация$

-го нейрона в слое.

Более эффективный метод основан на адаптивном подборе коэффициента

$Одномерная оптимизация$

с учетом фактической динамики величины целевой функции. Стратегия изменения значения

$Одномерная оптимизация$

определяется путем сравнения суммарной погрешности

$Одномерная оптимизация$

на

$Одномерная оптимизация$

-й итерации с ее предыдущим значением, причем рассчитывается по формуле

$Одномерная оптимизация$

Для ускорения процесса обучения следует стремиться к непрерывному увеличению

$Одномерная оптимизация$

при одновременном контроле прироста погрешности

$Одномерная оптимизация$

по сравнению с ее значением на предыдущем шаге. Незначительный рост погрешности считается допустимым.

Если погрешности на

$Одномерная оптимизация$

-1-й и

$Одномерная оптимизация$

-й итерациях обозначить соответственно

$Одномерная оптимизация$

, а коэффициенты обучения на этих же итерациях —

$Одномерная оптимизация$

, то значение

$Одномерная оптимизация$

следует рассчитывать по формуле

$Одномерная оптимизация$

где

$Одномерная оптимизация$

- коэффициент допустимого прироста погрешности,

$Одномерная оптимизация$

- коэффициент уменьшения

$Одномерная оптимизация$

- коэффициент увеличения

$Одномерная оптимизация$

Наиболее эффективный, хотя и наиболее сложный, метод подбора коэффициентов обучения связан с направленной минимизацией целевой функции в выбранном направлении

$Одномерная оптимизация$