ется некоторое число точек, принадлежащих классифицируемой области, которые на самом деле не относятся ни к одному из этих классов. Эти точки могут принадлежать классам, не имеющим достаточного числа обучающих образов для оценки параметров, или классам, не замеченным ранее. Хотя такие точки не могут быть правильно классифицированы, так как отсутствует дискриминантная функция, соответствующая правильному классу, мы можем заставить классификатор, по крайней мере, обнаруживать их, если спектрально они заметно отличаются от точек «действительных» классов. В одномерном двухклассном случае (рис. 111.12) точки, которые необходимо обнаружить, имеют очень малую вероятность „Отказы;? принадлежности к одному из обучающих классов. Отвергая очень малый процент точек, действительно Рис. III.12. Установление порога принадлежащих к обучаю-

щим классам, можно отвергнуть сравнительно большое число точек, не принадлежащих ни к одному из обучающих классов. Это выполняется с помощью так называемого метода установления порога, в котором значение вероятности р{Х\ая), связанное с вектором данных и классом, в который он обычно был бы классифицирован, сравнивается с порогом, заданным пользователем. Если значение вероятности меньше порогового значения, точка данных относится к классу отказов.

В частности, если дискриминантные функции имеют форму (III.23), порог может быть применен прямо к значению многомерной нормальной функции плотности вероятностей. Более часто, однако, применяются дискриминантные функции в форме (III.24), и в этом случае нормальная функция плотности вероятностей вообще не вычисляется. Тогда более удобно использовать факт, что квадратная форма нормально распределенной переменной X [правый член выражения (III.24)], подчиняется Х-распределению с п степенями свободы, где п - размерность X. Пользуясь х.распределением, уровень порога для X может быть преобразован в пороговый уровень для квадратичной формы [4].

Мы обсудили только одну стратегию принятия решения, байесовскую оптимальную стратегию, использующую особый случай нуль-единичной функции потерь. Этот случай, называемый решающим правилом по максимуму правдоподобия, широко применяется при использовании распознавания образов в задачах анализа данных дистанционных измерений. Он дает результаты, имеющие минимальную вероятность ошибки для всего набора классифицируемых данных. Другими словами, такой классификатор имеет наибольшую точность в среднем. Для 1 О

многих типичных применений это подходящая стратегия, но не всегда. Чтобы правильно оценить, что существуют исключения, вновь обратим внимание на определение решающего правила по максимуму правдоподобия. Внимательный читатель может справедливо отметить, что это правило имеет тенденцию к подавлению классов, имеющих малую априорную вероятность [малое значение /?(юг)]. В некоторых применениях это может оказаться неприемлемым, если основной интерес представляет идентификация этих «редких» классов. Эту трудность можно избежать, используя функцию потерь более сложной формы, чем нуль-единичная функция потерь, подбирая ее в соответствии с характеристиками имеющегося применения.

Другой практический вопрос состоит в том, что априорные вероятности, необходимые для правила принятия решения пв максимуму правдоподобия, могут быть не известны. В этих случаях принято принимать априорные вероятности всех классов равными. Нетрудно показать, что при использовании в этом предположении нуль-единичной функции потерь оно эквивалентно использованию следующего набора дискриминантных функций:

gi{X) = p{X\ai) l=],2,...,m.

Интересно, что такая стратегия классификации эквивалентна байесовской оптимальной стратегии с функцией потерь (ii)=o i =

т. е. потери из-за неправильной классификации обратно пропорциональны априорной вероятности правильного класса. Таким образом, в среднем эта стратегия отдает предпочтение наиболее редко встречающимся классахм!

Задачи • "~

II 1.9. Перечислите три причины, почему статистический подход является пригодным в приложении распознавания образов для анализа данных дистанционных исследований.

111.10. Вот простой пример задачи, которая поможет Вам понять, как могут приниматься решения с использованием вероятностей.

Стандартная колода игральных карт изменяется следующим образом: а) сбрасываются все следующие карты красной масти J, Q п К; б) сбрасываются все следующие карты черной масти; Л, 2, 3 и 4*. Оставшиеся карты тщательно тасуют. Игрок 1 случайно выбирает карту и объявляет ее значение - 4, 8, 9, /С и т. д. Игрок 2 пытается угадать масть этой карты. -Какук? стратегию должен использовать игрок 2, чтобы максимизировать вероятность угадывания правильной йасти карты? •-["

111.11. Статистический подход к распознаванию образов может бытьПараметрическим и непараметрическим. Каковы отличительные черты этих двух подходов? Почему Вы при выборе предпочтете параметрическое представле? ние функции вероятности непараметрическому?

II 1.12. Изобразите одномерную (однопеременную) нормальную функцшй плотности и укажите два параметра, которые необходимы для Определения

* Л -туз, / -валет, Q--дама, /( - король.-Прим. пер.

11-859 161

функции плотности. Опишите, как можно сделать обобщение на многомерный случай.

111.13. Предположите, что есть трехмерная задача, в которой каждое измерение может иметь одно из ЮО возможных значений. Сравните число ячеек памяти, необходимое для хранения: а) трехмерной гистограммы данных, -б) параметров трехмерной нормальной функции плотности вероятностей.

111.14. Сформулируйте две предосторожности, которые необходимо соблюдать, когда функции распределения вероятностей, связанные с классами образов, должны аппроксимироваться нормальными функциями плотности.

111.15. Многоспектральный сканер искусственного спутника Земли Ландсат 1 собирал данные в четырех спектральных диапазонах. Чтобы выполнить слежение за состоянием сельскохозяйственных культур с использованием этих данных, какое минимальное число информационных точек необходимо для оценки вектора математического ожидания и ковариационной матрицы каждого класса? Какое число таких точек Вы могли бы порекомендовать?

111.16. Есть следующее правило решения по максимуму правдоподобия. Решаем, что X принадлежит к классу г, если и только если

р {X I щ) р {(о{) р{Х\ (Oj) р {(Oj) для всех / = 1, 2,..., т.

Дайте интерпретацию членов p{X\coi) и p{(Oi) в контексте дистанционных исследований.

111.17. Какой член в уравнении (III.24) зависит от данных и как уравнение (III.i24) обычно используется для классификации неизвестного образа?

111.18. Объясните, каким образом система распознавания образов может обнаруживать многие точки в классифицируемой области, которые фактически не представлены ни одним из обучающих классов?

Цели изучения.

После изучения разделов П1.7-П1.9 читатель должен уметь:

1. Указать по крайней мере две причины, почему желательно уметь оценивать вероятность ошибки классификатора.

2. Используя одномерный пример, объяснить, как вероятность ошибки в классификации может быть связана с перекрытием функций распределения вероятностей классов. Дать интерпретацию членов уравнения, которое выражает эту связь.

3. Описать три способа оценки вероятности ошибки классификатора, указывая преимущества и недостатки каждого яз них.

4. Описать в общих чертах понятие статистической разделимости и объяснить, почему оно используется как индикатор вероятности ошибки.

5. Объяснить, почему желательно отбирать признаки и почему для этой цели J-M расстояние более полезная мера статистической разделимости, чем дивергенция.

6. Объяснить цель выделения признаков в распознавании образов и описать три преобразования для выделения признаков, которые обычно встречаются в применениях распознавания образов в дистанционном зондировании.

1(1.7. Оценивание классификаторов: вероятность ошибки

В разделе П1.4 отмечалось, что одной из причин использования статистических методов в применении распознавания образов при дистанционных исследованиях является возможное пере-