Книги по системному анализу

Системный анализ

«Адаптивное управление сложными системами на основе теории распознавания образов»

В. С. Симанков, Е. В. Луценко

Оглавление    
Глава 4, «Теория информации и ее ключевые понятия» Глава 4, «Информация как мера соответствия объектов обобщенным образам классов»

Глава 4: Информация как мера снятия неопределенности

Как было показано выше, теория информация применима в АСУ для решения задач идентификации состояния сложного объекта управления (задача распознавания) и принятия решения о выборе многофакторного управляющего воздействия (обратная задача распознавания). В данном разделе приведем математический аппарат из теории информации, позволяющий решить эти задачи на основе построения и применения информационной модели СОУ.

Процесс получения информации можно интерпретировать как изменение неопределенности в вопросе о том, от какого источника отправлено сообщение в результате приема сигнала по каналу связи.

Формально эту модель можно представить следующим образом. Пусть есть два взаимосвязанных множества:

  1. Множество из N информационных источников {xi}, априорные вероятности предъявления которых равны p(xi).
  2. Множество из M признаков {yj}, которые встречаются с априорными вероятностями p(yj) и условными вероятностями: p(xi|yj).

Априорная вероятность наблюдения признака — это средняя вероятность его наблюдения при предъявлении информационных источников (объектов) из исходного множества, а условная вероятность — вероятность его наблюдения при предъявлении определенного из них.

До получения информации ситуация характеризуется неопределенностью того, от какого источника она будет направлена, т.е. априорной энтропией:

  H(X) = -∑p(xi)⋅Log2(p(xi)) (4.3)

Допустим, что множества информационных источников и сообщений о них никак не связаны (представляют собой независимые события), т.е. связаны совершенно случайным образом. Это означает, что события из этих двух множеств независимы друг от друга.

Пусть, например, pij — есть вероятность наступления события (xi,yj), т.е. вероятность того, что если в сообщении был признак yj, то это сообщение от источника xi:

  pij = pi⋅pj (4.4)

Тогда в соответствии с фундаментальным определением Шеннона, энтропия множества XY, являющегося объединением множеств источников и сообщений, будет иметь вид:

  H(XY) = ∑∑pij⋅Log2(pij) (4.5)

Подставив в эту формулу выражение для вероятности (4), получим:

  H(XY) = ∑∑pij⋅Log2(pij) =
= ∑∑pi⋅pj⋅Log2(pi⋅pj) =
= ∑∑pi⋅pj⋅(Log2(pi) + Log2(pj)) =
= -[∑pi⋅Log2(pi)⋅∑pj + ∑pj⋅Log2(pj)⋅∑pi] =
= H(X) + H(Y)
(4.6)

Здесь использовано классическое определение энтропии (1) и учтено условие нормировки вероятностей:

∑pi = 1

Таким образом, для независимых источников и сообщений получаем:

  H(XY) = H(X) + H(Y) (4.7)

Обобщим это выражение на тот случай , когда содержание сообщений связано с тем, от какого они информационного источника.

Будем считать, что энтропия объединения множеств информационных источников и сообщений XY по прежнему определяется выражением Шеннона:

  H(XY) = ∑∑pij⋅Log2(pij) (4.8)

Однако вероятность совместного наступления зависимых событий:

  • »активен i-й информационный источник»;
  • »в сообщении наблюдается j-й признак»

будет равна

  pij = p(yj|xi)⋅pi, (4.9)

где p(yj|xi) — условная вероятность наблюдения признака yj в информационном сообщении от источника xi. Тогда, аналогично для энтропии объединенного множества получим выражение:

  H(XY) = -∑∑pij⋅Log2(pij) =
= -∑∑p(yj|xi)⋅pi⋅Log2(p(yj|xi)⋅pi) =
= -∑∑p(yj|xi)⋅pi⋅(Log2(pi) + Log2(p(yj|xi))) =
= -∑∑p(yj|xi)⋅pi⋅(Log2(pi) - ∑∑p(yj|xi)⋅pi⋅(Log2(p(yj|xi)) =
= H(X) + H(Y|X)
(4.10)
  H(XY) = H(X) + H(Y|X) (4.11)

В этом выражении учтено условие нормировки: ∑p(yj|xi) = 1, а также приведенное выше выражение для энтропии H(X). Второе слагаемое обозначим: H(Y|X) и назовем условной энтропией множества признаков из сообщений от информационных источников:

  H(Y|X) = ∑∑p(yj|xi)⋅pi⋅Log2(p(yj|xi)) (4.12)

Учитывая (9), окончательно получаем:

  H(Y|X) = ∑∑pij⋅Log2(pi/pij) (4.13)

Условной энтропией H(Y|X) измеряется степень неопределенности множества Y после снятия неопределенности множества X. Так как, очевидно, (xi,yj) = (yj,xi), то аналогично, условной энтропией H(X/Y) измеряется степень неопределенности множества X после снятия неопределенности множества Y:

  H(XY) = H(X) + H(Y|X) = H(Y) + H(X|Y) = H(YX) (4.14)

Фактически, условная энтропия H(X/Y) показывает нам, насколько много информации для идентификации информационных источников мы в среднем получаем из сообщений от них.

Оглавление    
Глава 4, «Теория информации и ее ключевые понятия» Глава 4, «Информация как мера соответствия объектов обобщенным образам классов»