«Адаптивное управление сложными системами на основе теории распознавания образов»

В. С. Симанков, Е. В. Луценко

Глава 4: Количество информации в индивидуальных событиях и лемма Неймана-Пирсона

Следуя традиции, заложенной Шенноном, до сих пор анализировалось среднее количество информации, приходящееся на любую пару состояний (x_i,y_j) объекта X и сообщения Y. Эта характеристика естественна при рассмотрении особенностей стационарно функционирующих информационных систем, когда играют роль лишь их среднестатистические характеристики.

В классическом анализе Шеннона идет речь лишь о передаче символов по одному информационному каналу от одного источника к одному приемнику. Его интересует прежде всего передача самого сообщения.

В данном исследовании ставится другая задача: идентифицировать информационный источник по сообщению от него. Поэтому метод Шеннона был обобщен путем учета в математической модели возможности существования многих источников информации, о которых к приемнику по зашумленному каналу связи приходят не отдельные символы-признаки, а сообщения, состоящие из последовательностей символов (признаков) любой длины.

Следовательно, ставится задача идентификации информационного источника по сообщению от него, полученному приемником по зашумленному каналу. Метод, являющийся обобщением метода К.Шеннона, позволяет применить классическую теорию информации для построения моделей систем распознавания образов и принятия решений, ориентированных на применение для синтеза адаптивных АСУ сложными объектами.

Для решения поставленной задачи необходимо вычислять не средние информационные характеристики, а количество информации, содержащееся в конкретном j-м признаке (символе) о том, что он пришел от данного i-го источника информации. Это позволит определить и суммарное количество информации в сообщении о каждом информационном источнике, что дает интегральный критерий для идентификации СОУ.

Логично предположить, что среднее количество информации, содержащейся в системе признаков о системе классов

является ничем иным, как усреднением (с учетом условной вероятности наблюдения) «индивидуальных количеств информации», которые содержатся в конкретных признаках о конкретных классах (источниках), т.е.:

Это выражение определяет так называемую «плотность информации», т.е. количество информации, которое содержится в одном отдельно взятом факте наблюдения j-го символа (признака) на приемнике о том, что этот символ (признак) послан i-м источником.

Если в сообщении содержится M символов, то суммарное количество информации о принадлежности данного сообщения i-му информационному источнику (классу) составляет:

Необходимо отметить, что применение сложения в выражении (25) является вполне корректным и оправданным, так как информация с самого начала вводилась как аддитивная величина, для которой операция сложения является корректной.

Преобразуем выражение (25) к виду, более удобному для практического применения. Для этого, используя результаты работы [391], выразим вероятности встреч признаков через частоты их наблюдения:

Подставив (26) в (25), получим:

Если ранжировать классы в порядке убывания суммарного количества информации о принадлежности к ним, содержащейся в данном сообщении (т.е. описании объекта), и выбирать первый из них, т.е. тот, о котором в сообщении содержится наибольшее количество информации, то мы получим обоснованную статистическую процедуру, основанную на классической теории информации, оптимальность которой доказывается в фундаментальной лемме Неймана-Пирсона [273].