Нейрокомпьютерные системы


         

Определение значимости параметров на основании функции оценки


Есть набор

,
размерности
-мерный вектор параметров
и функция оценки
, оценивающая работу системы с параметрами
на векторе
(например, расстояние от вектора выходных сигналов системы до нужного ответа или до множества правильно интерпретируемых ответов). Требуется выделить наименее значимые параметры
и компоненты данных
и модифицировать систему, отбрасывая наименее значимые параметры. Процедура отбрасывания неоднозначна. Простейший вариант - обращение в ноль - не всегда лучший: он не учитывает корреляции между данными. Учитывая корреляцию, следует отбрасываемые компоненты заменять на функции остающихся компонент.

Пусть для каждого

определено фиксированное значение
. Отбрасывание
-ой компоненты для
-го примера означает приравнивание
. В качестве простейшего варианта примем
и для любого
полагаем

(параметры обращаются в ноль, данные заменяются средним по выборке). Более тонкие методы предполагают замену отбрасываемых параметров и сигналов на некоторые функции оставшихся.

Показатели значимости вычисляются в два этапа: сначала они оцениваются для одного вектора (примера), потом для всей выборки.

1. Для данного

значимости
и
оцениваются как

Здесь

- вычисленные в линейном приближении абсолютные величины изменения
при сокращении описания. Оценка на всей выборке
может проводиться по-разному. Например, может использоваться одна из следующих норм:

1. Сумма модулей:

2. Максимум модуля

Часто приходится иметь дело с системой, которая меняет свои параметры (например, в ходе обучения). Тогда к моменту принятия решения о значимости может быть накоплена информация о частных производных

в разных точках
. Ее можно использовать следующим образом.

Обозначим угловыми скобками процедуру усреднения по множеству параметров

:

положим

Усредняются абсолютные значения производных, а приращения берутся в тех точках, в которых будет проводиться процедура сокращения описания. Усреднение параметров

по нескольким значениям важно для нелинейных систем, в которых производные
могут сильно меняться от точки к точке.

Главная задача при сокращении описания - сохранить качество работы системы, оцениваемое с помощью

. Для этого требуется знать назначение системы и иметь способ оценки ее соответствия своему назначению.

Возможен другой подход, не предполагающий никакого знания о способах оценки. Ставится задача сохранить описание, минимально изменяя функционирование системы. В этом случае роль оценки играет изменение выходного сигнала системы после сокращения.




Содержание  Назад  Вперед