Книги по системному анализу

Системный анализ

«Адаптивное управление сложными системами на основе теории распознавания образов»

В. С. Симанков, Е. В. Луценко

Оглавление    
Глава 5, «Обобщение интегральной модели путем учета значений выходных параметров объекта управления» Глава 5, «Распознавание как объектный анализ (разложение в ряд по профилям образов)»

Глава 5: Связь меры «Iij» Шеннона со статистикой «χ2»

Предыдущий анализ позволяет сделать некоторые интересные сопоставления. Вероятность того, что предъявленный объект является j-м объектом, если у него обнаружен i-й признак:

Pij = Nij/Ni

Вероятность совместного появления двух независимых событий равна произведению их индивидуальных вероятностей. Таким образом, если рассматривать обнаружение данного j-го объекта и данного i-го признака как независимые события, то вероятность P их случайного совместного наблюдения при предъявлении j-го объекта

  P = (Nij)2/(Ni⋅Nj) (5.30)

Очевидно, если фактическая вероятность наблюдения i-го признака при предъявлении j-го объекта равна теоретической, вычисленной по вышеприведенной формуле, то наблюдение данного признака никак не связано с наблюдением данного объекта, т.е. не несет никакой информации о данном объекте.

Статистика χ2 представляет собой просто сумму вероятностей совместного наблюдения признаков и объектов по всей корреляционной матрице или определенным ее подматрицам

  χ2 = ∑∑(Nij)2/(Ni⋅Nj) (5.31)

Нельзя не обратить внимание на то, что статистика χ2 простым образом связана с количеством информации в системе признаков о классе распознавания в соответствии с вариантом формулы Шеннона (4.27)

i(xi) = ∑Log2(Nij/(Ni⋅Nj)).

Сопоставляя выражения (5.31) и (4.27), получаем

  χ = 2i(xi) (5.32)

Если сравнить выражение (5.32) с формулой Хартли для количества информации (см. табл. 4.1), то, очевидно, можно сделать вывод о том, что статистика χ может быть проинтерпретирована как мощность множества всех возможных вариантов сочетаний признаков с классами распознавания при равномерном их распределении (или нормальном, при достаточно больших выборках в соответствии с фундаментальным свойством энтропии).

Поэтому наличие статистической связи (информации) между признаками и классами распознавания, т.е. отличие вероятностей их совместных наблюдений от предсказываемого в соответствии со случайным нормальным распределением, приводит к увеличению фактической статистики по сравнению с теоретической величиной.

Оглавление    
Глава 5, «Обобщение интегральной модели путем учета значений выходных параметров объекта управления» Глава 5, «Распознавание как объектный анализ (разложение в ряд по профилям образов)»