«Адаптивное управление сложными системами на основе теории распознавания образов»

В. С. Симанков, Е. В. Луценко

Глава 5: Связь меры «I_ij» Шеннона со статистикой «χ²»

Предыдущий анализ позволяет сделать некоторые интересные сопоставления. Вероятность того, что предъявленный объект является j-м объектом, если у него обнаружен i-й признак:

P_i^j = N_i^j/N_i

Вероятность совместного появления двух независимых событий равна произведению их индивидуальных вероятностей. Таким образом, если рассматривать обнаружение данного j-го объекта и данного i-го признака как независимые события, то вероятность P их случайного совместного наблюдения при предъявлении j-го объекта

Очевидно, если фактическая вероятность наблюдения i-го признака при предъявлении j-го объекта равна теоретической, вычисленной по вышеприведенной формуле, то наблюдение данного признака никак не связано с наблюдением данного объекта, т.е. не несет никакой информации о данном объекте.

Статистика χ² представляет собой просто сумму вероятностей совместного наблюдения признаков и объектов по всей корреляционной матрице или определенным ее подматрицам

Нельзя не обратить внимание на то, что статистика χ² простым образом связана с количеством информации в системе признаков о классе распознавания в соответствии с вариантом формулы Шеннона (4.27)

i(x_i) = ∑Log₂(N_i^j/(N_i⋅N^j)).

Сопоставляя выражения (5.31) и (4.27), получаем

Если сравнить выражение (5.32) с формулой Хартли для количества информации (см. табл. 4.1), то, очевидно, можно сделать вывод о том, что статистика χ может быть проинтерпретирована как мощность множества всех возможных вариантов сочетаний признаков с классами распознавания при равномерном их распределении (или нормальном, при достаточно больших выборках в соответствии с фундаментальным свойством энтропии).

Поэтому наличие статистической связи (информации) между признаками и классами распознавания, т.е. отличие вероятностей их совместных наблюдений от предсказываемого в соответствии со случайным нормальным распределением, приводит к увеличению фактической статистики по сравнению с теоретической величиной.