Метод максимума правдоподобия
Рассмотрим задачу разделения двух классов, с каждым из которых связано вероятностное распределение в пространстве векторов
значений признаков. Будем обозначать плотности этих распределений
- событие, состоящее в том, что объект принадлежит {
}-му классу. Нас интересует апостериорная вероятность:
— вероятность принадлежности объекта к {
}-му классу при условии, что он характеризуется вектором признаков
. Известная из теории вероятности формула Байеса дает
" width="352" height="47">
где
— вероятность появления объектов {
}-го класса. Для нормальных
-мерных распределений
где
— математическое ожидание
в {
}-м классе, {
} — ковариационная матрица для {
}-го класса. В результате обработки данных находят статистические оценки {
} и
: пусть для {
}-го класса имеются векторы
, тогда полагаем
Минимизация в формуле Байеса дает простое решающее правило:
принадлежит
-му классу, если
для всех
, т.е выбирается такой класс, для которого вероятность
максимальна. Поскольку в формуле Байеса для всех
знаменатель общий, то решающее правило приобретает следующий вид: выбираем то
, для которого
максимально. Для нормального распределения удобно прологарифмировать эту величину. Окончательно получаем:
принадлежит
-му классу, если среди величин
величина
- максимальная. Таким образом, разделяющей является поверхность второго порядка, а операцию разделения на два класса выполняет квадратичный адаптивный сумматор в комбинации с пороговым нелинейным элементом. Пороговый элемент вычисляет ступенчатую функцию
, в результате для первого класса получим ответ 1, для второго - 0.
Содержание раздела
