Константа Липшица сигмоидальной сети
Рассмотрим слоистую сигмоидальную сеть (сеть с сигмоидальными нейронами) со следующими свойствами:
- Число входных сигналов - .
- Число нейронов в -м слое - .
- Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
- Все нейроны всех слоев имеют одинаковые функции активации .
- Все синаптические веса ограничены по модулю единицей.
- В сети слоев.
В этом случае оценка константы Липшица сети равна:
(2) |
Формула (2) подтверждает экспериментально установленный факт, что, чем круче характеристическая функция нейрона (т.е. чем больше
), тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.