дела на основе статистической теории решений, используя как можно больше интуицию. Однако обсуждение проводится в математических терминах. Читатель, менее осведомленный в математике, может бегло просмотреть этот материал или просто перейти к абзацу, следующему вслед за формулой (III.22). Сначала определим множество функций для т классов

i= 1, 2.....m; /= 1, 2.....т, (III.14)

-потери или стоимость, вызванная классификацией образа из класса / в класс i. Вскоре будет получено конкретное множество функций потерь.

Основная стратегия, которой будем придерживаться,- минимизация средних потерь для всего набора предстоящих классификаций. Такую стратегию классификации называют байесовской оптимальной стратегией. Для данного образа X средние потери при отнесении X к классу i вычисляют по формуле

LAi) = >ii\i)p{(j\X), (111.15)

где p{(Mj\X)-условная вероятность того, что X принадлежит классу /.

Соотношение между совместными вероятностями и условными вероятностями

р (Х, (oj) = /7 (X I (oj) р (со,.) = р (со,-1 X) р (Х).

ИЛИ, решая уравнение относительно p(cujX),

p{(s>j\X)==p(X\ (i>j) р (ajyp (X). (111.16)

Подставив выражение (III.16) в (III.15), имеем

L, (О = K{i\l)p (X I co,.) p (coj)/p (X). (111.17)

Выражение (III.17) приводит к набору дискриминантных функций, если применить следующие три правила: 1) минимизация набора функций эквивалентна максимизации тех же функций с обратным знаком; 2) подходящий набор функций потерь

Я((Л=0 ij;

(III.18)

Х(/1/) = 1 1Ф1,

т. е. стоимость равна О при правильной классификации и равна 1 при ошибке; 3) если {giiX) t=l, 2, т}-набор дискриминантных функций, то применение любой монотонной функции к этому набору дает эквивалентный набор дискриминантных функций \ gi {X) i=l, 2, tn\ , т. е. использование любого из

этих наборов приводит к одинаковым результатам классификации.

Некоторые примеры применения правила 3, которыми мы будем пользоваться, включают следующие:

gi {X)gi{X)±k, (III.19,а)

gl (Х) = gi {X) k (fe-константа), (111.19,6)

gi{X)lg[gi{X)]. (III.19,в)

Байесовская оптимальная стратегия требует принятия классификационных решений, минимизирующих (П1.17). Если применять приведенное выше правило 1, то эквивалентной стратегией будет минимизация взятого с обратным знаком уравнения (И 1.17). Итак, пусть

gi{X)-LAi) .1=1.2.....т. (III.20)

и пусть стратегия классификации заключается в том, что X относится к классу i, для которого gi{X)=-Lx{i) максимальна. Опираясь на определение дискриминантной функции и связанного с ним общего правила классификации, выясняем, что набор функций (III.20) является набором дискриминантных функций.

Можно получить дальнейшие упрощения, пользуясь правилами 2 и 3. Прежде всего, подставляя «нуль - единичную функцию потерь» в уравнение (III.18), получаем

gi (Х)=-2МИ/)Р(1«;)-

/=1 /=1

при любом заданном X величина р{Х) постоянна, что дает эквивалентный набор дискриминантных функций

gi {X) = gi () Р () = - 2 I -•) Р к-)- (111-21)

Простой закон вероятности дает

p{X) = p{X\(sj)p{(sj),

что можно представить как

р{Х)=р{Х\ 0)) р (сог) +Р{Х\ foj) р (oij),

или, решая относительно самого правого члена,

Подстановка этого результата в (П1.21) даст

gi{X) = -p(X) + p{X\(Oi)p((Oi), .

наконец, снова замечая, что р{Х) -константа при фиксированном X, применение правила (HI.19, а) приводит к требуемому набору дискриминантных функций

gi" W -=gi(X) + p{X)=piX\щ) р (Wi), (III. 22)

что в точности совпадает с набором дискриминантных функций, приведенным в начале раздела при определении решающего правила по максимуму правдоподобия.

Таким образом, мы исходили из фундаментальной стратегии принятия решений, а именно, минимизации средних потерь (байесовская оптимальная стратегия), выразили средние потери через функции распределения вероятностей, связанные с задачей классификации, и свели задачу минимизации к задаче максимизации. Некоторые преобразования полученного выражения затем позволили нам получить дискриминантные функции, реализуемые в решающем правиле по максимуму правдоподобия.

Мы можем получить и более конкретные выражения.

Если можно предположить, что функции распределения вероятностей, связанные с классами образов, представляют собой многомерные нормальные функции плотности, как в (III.10), то дискриминантные функции выражаются так:

=(2я)«/1Е,1/2Р

4- (Х-УОЕг (X-Ui)

(III.23)

Возможно получить более простой в реализации эквивалентный набор дискриминантных функций. Повторно применяя к формуле (III.23) правила (III.19), получим

gi (Х) = ЫеР (Щ) - 4" 2£ I - 4~ ~ ii i-i)- (111. 24)

Когда задача поставлена и по обучающим данным определены статистические параметры, только квадратный член [самый правый в выражении (III.24)]! изменяется от точки к точке в процессе классификации и должен вычисляться для каждой классификации.

Заметим, что система распознавания образов классифицирует каждый образ, представленный ей, в один из классов, для расцознавания которых она была создана, т. е. в один из классов, для которого была определена дискриминантная функция. Практически во всех задачах дистанционных исследований име-