«Адаптивное управление сложными системами на основе теории распознавания образов»

В. С. Симанков, Е. В. Луценко

↑	Оглавление
←	Глава 4, «Теория информации и ее ключевые понятия»	Глава 4, «Информация как мера соответствия объектов обобщенным образам классов»	→

Глава 4: Информация как мера снятия неопределенности

Как было показано выше, теория информация применима в АСУ для решения задач идентификации состояния сложного объекта управления (задача распознавания) и принятия решения о выборе многофакторного управляющего воздействия (обратная задача распознавания). В данном разделе приведем математический аппарат из теории информации, позволяющий решить эти задачи на основе построения и применения информационной модели СОУ.

Процесс получения информации можно интерпретировать как изменение неопределенности в вопросе о том, от какого источника отправлено сообщение в результате приема сигнала по каналу связи.

Формально эту модель можно представить следующим образом. Пусть есть два взаимосвязанных множества:

1. Множество из N информационных источников {x_i}, априорные вероятности предъявления которых равны p(x_i).
2. Множество из M признаков {y_j}, которые встречаются с априорными вероятностями p(y_j) и условными вероятностями: p(x_i|y_j).

Априорная вероятность наблюдения признака — это средняя вероятность его наблюдения при предъявлении информационных источников (объектов) из исходного множества, а условная вероятность — вероятность его наблюдения при предъявлении определенного из них.

До получения информации ситуация характеризуется неопределенностью того, от какого источника она будет направлена, т.е. априорной энтропией:

H(X) = -∑p(xi)⋅Log2(p(xi))

(4.3)

Допустим, что множества информационных источников и сообщений о них никак не связаны (представляют собой независимые события), т.е. связаны совершенно случайным образом. Это означает, что события из этих двух множеств независимы друг от друга.

Пусть, например, p_ij — есть вероятность наступления события (x_i,y_j), т.е. вероятность того, что если в сообщении был признак y_j, то это сообщение от источника x_i:

pij = pi⋅pj

(4.4)

Тогда в соответствии с фундаментальным определением Шеннона, энтропия множества XY, являющегося объединением множеств источников и сообщений, будет иметь вид:

H(XY) = ∑∑pij⋅Log2(pij)

(4.5)

Подставив в эту формулу выражение для вероятности (4), получим:

H(XY) = ∑∑pij⋅Log2(pij) = = ∑∑pi⋅pj⋅Log2(pi⋅pj) = = ∑∑pi⋅pj⋅(Log2(pi) + Log2(pj)) = = -[∑pi⋅Log2(pi)⋅∑pj + ∑pj⋅Log2(pj)⋅∑pi] = = H(X) + H(Y)

(4.6)

Здесь использовано классическое определение энтропии (1) и учтено условие нормировки вероятностей:

∑p_i = 1

Таким образом, для независимых источников и сообщений получаем:

H(XY) = H(X) + H(Y)

(4.7)

Обобщим это выражение на тот случай , когда содержание сообщений связано с тем, от какого они информационного источника.

Будем считать, что энтропия объединения множеств информационных источников и сообщений XY по прежнему определяется выражением Шеннона:

H(XY) = ∑∑pij⋅Log2(pij)

(4.8)

Однако вероятность совместного наступления зависимых событий:

• »активен i-й информационный источник»;
• »в сообщении наблюдается j-й признак»

будет равна

pij = p(yj|xi)⋅pi,

(4.9)

где p(y_j|x_i) — условная вероятность наблюдения признака y_j в информационном сообщении от источника x_i. Тогда, аналогично для энтропии объединенного множества получим выражение:

H(XY) = -∑∑pij⋅Log2(pij) = = -∑∑p(yj|xi)⋅pi⋅Log2(p(yj|xi)⋅pi) = = -∑∑p(yj|xi)⋅pi⋅(Log2(pi) + Log2(p(yj|xi))) = = -∑∑p(yj|xi)⋅pi⋅(Log2(pi) - ∑∑p(yj|xi)⋅pi⋅(Log2(p(yj|xi)) = = H(X) + H(Y|X)

(4.10)

H(XY) = H(X) + H(Y|X)

(4.11)

В этом выражении учтено условие нормировки: ∑p(y_j|x_i) = 1, а также приведенное выше выражение для энтропии H(X). Второе слагаемое обозначим: H(Y|X) и назовем условной энтропией множества признаков из сообщений от информационных источников:

H(Y|X) = ∑∑p(yj|xi)⋅pi⋅Log2(p(yj|xi))

(4.12)

Учитывая (9), окончательно получаем:

H(Y|X) = ∑∑pij⋅Log2(pi/pij)

(4.13)

Условной энтропией H(Y|X) измеряется степень неопределенности множества Y после снятия неопределенности множества X. Так как, очевидно, (x_i,y_j) = (y_j,x_i), то аналогично, условной энтропией H(X/Y) измеряется степень неопределенности множества X после снятия неопределенности множества Y:

H(XY) = H(X) + H(Y|X) = H(Y) + H(X|Y) = H(YX)

(4.14)

Фактически, условная энтропия H(X/Y) показывает нам, насколько много информации для идентификации информационных источников мы в среднем получаем из сообщений от них.

↑	Оглавление
←	Глава 4, «Теория информации и ее ключевые понятия»	Глава 4, «Информация как мера соответствия объектов обобщенным образам классов»	→