Учет ограничений при обучении
Для параметров сети возможны ограничения простейшего вида:
Они вводятся из различных соображений: чтобы избежать слишком крутых или, наоборот, слишком пологих характеристик нейронов, чтобы предотвратить появления слишком больших коэффициентов усиления сигнала на синапсах и т.п.
Учесть ограничения можно, например, методом штрафных функций либо методом проекций:
- Использование метода штрафных функций означает, что в оценку
добавляется штрафы за выход параметров из области ограничений. В~градиент
вводятся производные штрафных функций. - Проективный метод означает, что если в сети предлагается изменение параметров и
для некоторых
выходит за ограничения, то следует положить
Практика показывает, что проективный метод не приводит к затруднениям. Обращение со штрафными функциями менее успешно. Далее будем считать, что ограничения учтены одним из методов, и будем говорить об обучении как о безусловной минимизации.
