В. С. Симанков, Е. В. Луценко
| ↑ | Оглавление | ||
| ← | Глава 4, «Информация как мера снятия неопределенности» | Глава 4, «Количество информации в индивидуальных событиях и лемма Неймана-Пирсона» | → |
Количество информации является мерой соответствия распознаваемого объекта (его состояния) обобщенному образу класса, определенное на основе информации о признаках этого объекта.
Количество информации есть количественная мера степени снятия неопределенности: информация, содержащаяся в множестве Y относительно множества X есть уменьшение степени неопределенности множества X, возникающее в результате снятия неопределенности множества Y.
В нашем случае первое множество — это множество признаков наблюдаемого объекта, а второе — множество классов. До наблюдения объекта с системой признаков Y неопределенность наших знаний о принадлежности этого объекта к классу была H(X) (априорная энтропия), после наблюдения системы признаков Y эта неопределенность уменьшилась и стала равна H(X|Y) (апостериорная энтропия). Количество информации о том, что наблюдаемый объект с системой признаков Y относится к классу X, равно уменьшению неопределенности наших знаний об этом, которое произошло в результате обнаружения у объекта признаков, т.е. равно разности априорной и апостериорной энтропии этого класса:
| I(Y,X) = H(X) - H(X|Y) | (4.15) |
Если после обнаружения системы признаков неопределенность знаний о принадлежности объекта к классу стала равна нулю H(X|Y)=0, т.е. это стало известно точно, то количество информации просто равно априорной энтропии. Если же это стало известно лучше, но еще не до конца, то количество информации будет меньше, чем априорная энтропия как раз на величину оставшейся, т.е. еще не снятой неопределенности. Поэтому энтропия — это недостающая информация (Больцман).
Перепишем выражение (15) в явной форме, подставив в него выражения для априорной и апостериорной энтропии из (3) и (13):
| I(Y,X) = -∑pi⋅Log2(pi) - ∑∑pij⋅Log2(pi/pij) | (4.16) |
Учитывая, что
| pij = ∑p(yj|xi)⋅pi = ∑pi⋅p(yj|xi) = pi | (4.17) |
получаем выражение для среднего количества информации, которое содержится в сообщениях об источниках информации
| I(Y,X) = - ∑∑pij⋅Log2(pi) - ∑∑pij⋅Log2(pi/pij) = ∑∑pij⋅Log2(pij/(pi⋅pj)) | (4.18) |
или окончательно:
| I(Y,X) = ∑∑pij⋅Log2(pij/(pi⋅pj)) | (4.19) |
Находим выражение, связывающее информацию и взаимную энтропию, основываясь на (15):
| I(Y,X) = H(X) - H(X|Y) | (4.20) |
Учитывая в выражении (20) условие симметричности (14), получаем:
| I(X,Y) = I(Y,X) | (4.21) |
т.е. количество информации в признаках об объектах (сообщениях об источниках информации) то же самое, что и в объектах о признаках или в источниках информации о сообщениях, так как это одна и та же информация. По этой причине эту информацию иногда называют взаимной, так как она отражает определенное отношение двух множеств и не существует сама по себе независимо от них или только когда есть лишь одно из них.
Подставляя H(X|Y) из (14) в выражение (20) получаем:
| I(Y,X) = H(X) + H(Y) - H(XY) H(XY) = H(X) + H(Y) - I(Y,X) |
(4.22) |
Таким образом, энтропия системы, состоящей из объединения двух подсистем, меньше суммы индивидуальных энтропий этих подсистем на величину взаимной информации, содержащейся в каждой из подсистем относительно другой подсистемы.
АСУ как раз и выступает информационным системообразующим фактором, объединяющим подсистемы в единую систему, имеющую меньшую суммарную энтропию, чем ее части.
Это очень похоже на своеобразный информационный аналог известного в физике «дефекта масс». Так называется физический эффект, состоящий в том, что масса системы меньше сумм масс ее частей на величину массы, соответствующей (по формуле E=mc2) энергии их взаимодействия [71, 392]. Подобные аналогии могут быть продолжены значительно дальше [196]. Из этого следует, что информация это и есть то интегрирующее начало, которое делает систему системой, объединяя ее части в целое, т.е. по сути дела информация есть то, без чего система разрушается на части.
| ↑ | Оглавление | ||
| ← | Глава 4, «Информация как мера снятия неопределенности» | Глава 4, «Количество информации в индивидуальных событиях и лемма Неймана-Пирсона» | → |
© Виктор Сафронов, 2006–2017
Пользовательское соглашение | RSS | Поддержать проект | Благодарности