Оценка способности сети решить задачу
В данном разделе рассматриваются только сети, все элементы которых непрерывно зависят от своих аргументов. Предполагается, что все входные данные предобработаны так, чтобы все входные и выходные сигналы сети лежали в диапазоне приемлемых входных сигналов
.Нейронная сеть вычисляет некоторую вектор-функцию
от входных сигналов. Эта функция зависит от параметров сети. Обучение сети состоит в подборе такого набора параметров сети, чтобы величинабыла минимальной (в идеале равна нулю), здесь
- множество аппроксимируемых функций. Для того, чтобы нейронная сеть могла хорошо приблизить заданную таблично функцию , необходимо, чтобы реализуемая сетью функция при изменении входных сигналов сна
могла изменить значение с на . Очевидно, что наиболее трудным для сети должно быть приближение функции в точках, в которых при малом изменении входных сигналов происходит большое изменение значения функции. Таким образом, наибольшую сложность будет представлять приближение функции в точках, в которых достигает максимума выражение Для аналитически заданных функций величинаназывается константой Липшица. Исходя из этих соображений, можно дать следующее определение сложности задачи.
Сложность аппроксимации таблично заданной функции
, которая в точках принимает значения , задается выборочной оценкой константы Липшица, вычисляемой по формуле:
(1) |
Оценка (1) является оценкой константы Липшица аппроксимируемой функции снизу.
Константа Липшица сети вычисляется по следующей формуле:
Для того, чтобы оценить способность сети заданной конфигурации решить задачу, необходимо оценить константу Липшица сети и сравнить ее с выборочной оценкой (1). В случае
сеть принципиально не способна решить задачу аппроксимации функции . Однако из еще не следует утверждение о способности сети аппроксимировать функцию