В данном разделе рассматриваются только сети, все элементы которых непрерывно зависят от своих аргументов. Предполагается, что все входные данные предобработаны так, чтобы все входные и выходные сигналы сети лежали в диапазоне приемлемых входных сигналов
.
Нейронная сеть вычисляет некоторую вектор-функцию
от входных сигналов. Эта функция зависит от параметров сети. Обучение сети состоит в подборе такого набора параметров сети, чтобы величина
была минимальной (в идеале равна нулю), здесь
- множество аппроксимируемых функций. Для того, чтобы нейронная сеть могла хорошо приблизить заданную таблично функцию
, необходимо, чтобы реализуемая сетью функция
при изменении входных сигналов с
на
могла изменить значение с
на
. Очевидно, что наиболее трудным для сети должно быть приближение функции в точках, в которых при малом изменении входных сигналов происходит большое изменение значения функции. Таким образом, наибольшую сложность будет представлять приближение функции
в точках, в которых достигает максимума выражение
Для аналитически заданных функций величина
называется константой Липшица. Исходя из этих соображений, можно дать следующее определение сложности задачи.
Сложность аппроксимации таблично заданной функции
, которая в точках
принимает значения
, задается выборочной оценкой константы Липшица, вычисляемой по формуле:
(1)
Оценка (1) является оценкой константы Липшица аппроксимируемой функции снизу.
Константа Липшица сети вычисляется по следующей формуле:
Для того, чтобы оценить способность сети заданной конфигурации решить задачу, необходимо оценить константу Липшица сети и сравнить ее с выборочной оценкой (1). В случае
сеть принципиально не способна решить задачу аппроксимации функции
. Однако из
еще не следует утверждение о способности сети аппроксимировать функцию
