Энтропия как мера информации максимальна если. Взаимосвязь энтропии и информации

6.2. Энтропия источника дискретных сообщений

Энтропия источника независимых сообщений. До сих пор определялось количество информации, содержащееся в отдельных сообщениях. Вместе с тем во многих случаях, когда требуется согласовать канал с источником сообщений, таких сведений оказывается недостаточно. Возникает потребность. в характеристиках, которые, бы позволяли оценивать информационные свойства источника сообщений в целом. Одной из важных характеристик такого рода является среднее количество информации, приходящееся на одно сообщение.

В простейшем случае, когда все сообщения равновероятны, количество информации в каждом из них одинаково и, как было показано выше, определяется выражением (6.3). При этом среднее количество информации равно log т. Следовательно, при равновероятных независимых сообщениях информационные свойства источника зависят только от числа сообщений в ансамбле т.

Однако в реальных условиях сообщения, как правило, имеют разную вероятность. Так, буквы алфавита О, Е, А встречаются в тексте сравнительно часто, а буквы Щ, Ы, Ъ - редко. Поэтому знание числа сообщений т в ансамбле является недостаточным, необходимо иметь сведения о вероятностях каждого сообщения: .

Так как вероятности сообщений неодинаковы, то они несут различное количество информации J (a )= - logP (a ). Менее вероятные сообщения несут большее количество информации и наоборот. Среднее количество информации, приходящееся на одно сообщение источника, определяется как математическое ожидание J (a ):

Величину Н(а) называется энтропией. Этот термин заимствован из термодинамики, где имеется аналогичное по своей форме выражение, характеризующее неопределенность состояния физической системы. В теории информации энтропия Н(а) также характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое из сообщений ансамбля источника будет передано. Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника.

В качестве примера вычислим энтропию источника сообщений, который характеризуется ансамблем, состоящим из двух сообщений и с вероятностями и . На основании (6.6) энтропия такого источника будет равна:

Рис. 6.1. Зависимость энтропии от вероятности р

Зависимость Н(а) от р показана на рис. 6.1. Максимум имеет место при р=1/2 , т. е. когда ситуация является наиболее неопределенной. При р=1 или р = 0 , что соответствует передаче одного из сообщений или , неопределенность отсутствует. В этих случаях энтропия Н(а) равна нулю.

Среднее количество информации, содержащееся в последовательности из п сообщений, равно:

Отсюда следует, что количество передаваемой информации можно увеличить не только за счет увеличения числа сообщений, но и путем повышения энтропии источника, т. е. информационной емкости его сообщений.

Обобщая полученные выше результаты, сформулируем следующие основные свойства энтропии источника независимых сообщений (6.6):

Энтропия- величина всегда положительная, так как

При равновероятных сообщениях, когда , энтропия максимальна и равна:

(6.7)

Энтропия равняется нулю лишь в том случае, когда все вероятности Р(a ) равны нулю, за исключением одной, величина которой,равна единице;

Энтропия нескольких независимых источников равна сумме энтропии этих источников .

Энтропия источника зависимых сообщений. Рассмотренные выше источники независимых дискретных сообщений являются простейшим типом источников. В реальных условиях картина значительно усложняется из-за наличия статистических связей между сообщениями. Примерам может быть обычный текст, где появление той или иной буквы зависит от предыдущих буквенных сочетаний. Так, например, после сочетания ЧТ вероятность следования гласных букв О, Е, И больше, чем согласных.

Статистическая связь ожидаемого сообщения с предыдущим сообщением количественно оценивается совместной вероятностью или условной вероятностью , которая выражает вероятность появления сообщения при условии, что до этого было передано сообщение а Количество информации, содержащееся в сообщении , при условии, что известно предыдущее сообщение а согласно (6.1) будет равно:. Среднее количество информации при этом определяется условной энтропией , которая вычисляется как математическое ожидание информации по всем возможным сообщениям а и . Учитывая соотношение (2.25), .получаем

В тех случаях, когда связь распространяется на три сообщения , условная энтропия источника определяется аналогичным соотношением

В общем случае n зависимых сообщений

Важным свойством условной энтропии источника зависимых сообщений является то, что при неизменном количестве сообщений в ансамбле источника его энтропия уменьшается с увеличением числа сообщений, между которыми существует статистическая взаимосвязь. В соответствии с этим свойством, а также свойством энтропии источника независимых сообщений можно записать неравенства

Таким образом, наличие статистических связей между сообщениями всегда приводит к уменьшению количества информации, приходящегося в среднем на одно сообщение.

Избыточность источника сообщений. Уменьшение энтропии источника с увеличением статистической взаимосвязи (6.11) можно рассматривать как снижение информационной емкости сообщений. Одно и то же сообщение при наличия взаимосвязи содержит в среднем меньше информации, чем при ее отсутствии. Иначе говоря, если источник создает последовательность сообщений, обладающих статистической связью, и характер этой связи известен, то часть сообщений, выдаваемая источником, является избыточной, так как она может быть восстановлена по известным статистическим связям. Появляется возможность передавать сообщения в сокращенном виде без потери информации, содержащейся в них. Например, при передаче телеграммы мы исключаем из текста союзы, предлоги, знаки препинания, так как они легко восстанавливаются, при чтении телеграммы на основании известных правил построения фраз и слов. и согласно (6.11) является неубывающей функцией п. Для русского языка, например, дв. ед., , , дв. ед. Отсюда на основании (6.12) для русского языка получаем избыточность порядка 50%.

Коэффициент

называется коэффициентом сжатия. Он показывает, до какой величины можно сжать передаваемые сообщения, если устремить избыточность. Источник, обладающий избыточностью, передает излишнее количество сообщений. Это увеличивает продолжительность передачи и снижает эффективность использования канала связи. Сжатие сообщений можно осуществить посредством соответствующего кодирования. Информацию необходимо передавать такими сообщениями, информационная емкость которых используется наиболее полно. Этому условию удовлетворяют равновероятна и независимые сообщения.

Вместе с тем избыточность источника не всегда является отрицательным свойством. Наличие взаимосвязи между буквами текста дает возможность восстанавливать его при искажении отдельных букв, т. е. использовать избыточность для повышения достоверности передачи информации.

ВЗАИМОСВЯЗЬ ЭНТРОПИИ И ИНФОРМАЦИИ. Первое строгое определение информации дал американский ученый К. Шеннон в 1948 г. Он определил ее как меру уменьшения неопределенности, т.е. отбора необходимых элементов из некоторой их совокупности. При этом имелась в виду как неопределенность знаний об объектах, так и неопределенность самого объекта. Иными словами, в этом понимании информация - это сведения, снимающие неопределенность, которая существовала до их получения. Наряду с вероятностно-статистическим подходом можно дать и другое определение информации, основанное на комбинаторике. При таком подходе, предложенном в 1956 г. английским нейрофизиологом У. Эшби, информация определяется не как уничтожение неопределенности, а как снятие однообразия, тождества. Мерой количества информации в этом случае служит степень разнообразия элементов системы или сведений о ней. Единицей измерения количества информации является бит, который соответствует выбору одного из двух равновозможных состояний либо из двух равновозможных вероятностей. Информация обладает свойством аддитивности: общее количество информации, необходимое для решения двух задач, равно сумме раздельных информации. Поэтому если задано число равновероятных исходов задачи, то информация пропорциональна натуральному логарифму этого числа.

Из термодинамики известно, что мерой недостатка информации о некоторой физической системе является энтропия. Очевидный параллелизм определений информации и энтропии позволил Л. Бриллюэну установить связь информации с соответствующим убыванием энтропии. Чтобы убрать из формулы, отображающей эту связь, знак «минус», Бриллюэн ввел новый термин - негэнтропию, или отрицательную энтропию. Тем самым был сформулирован негэнтропийный принцип информации, который можно рассматривать как обобщение принципа Карно - второго начала термодинамики: в любых реальных процессах информация деградирует, а негэнтропия уменьшается.

Следует, однако, заметить, что анализ математической связи между энтропией и информацией выполнен Бриллюэном лишь для случая микроинформации, которая относится к процессам на молекулярном уровне. Оснований распространять его формулу на случай макроинформации нет. Допущенная ошибка впоследствии разрослась до уровня философских обобщений.

Что касается определения макроинформации, то здесь удобно воспользоваться определением, которое предложил Г. Кастлер: информация есть случайный запоминаемый выбор вариантов из возможных и равновероятных. Это определение существенным образом выходит за рамки классической рациональности: с позиций механистического подхода движение не может реализоваться в альтернативных вариантах, свобода выбора между ними отсутствует.

Включенное в определение Кастлера тре-бование запоминания информации означает, что речь идет о неравновесной системе, поскольку равновесная система имеет одно- единственное состояние и запомнить не может ничего. Напротив, неравновесная система, способная формировать диссипативные структуры, описываемые синергетикой, этой способностью обладает.

Определение информации, по Кастлеру, не исчерпывает смысловое богатство этого понятия. Из-за многоплановости этого понятия его общенаучное определение до сих пор отсутствует. По мнению Н.Н. Моисеева, такое определение вообще вряд ли возможно.

Один из важных аспектов информации - информационная насыщенность сигналов. Потоки энергии и вещества поддерживают состояние системы, а потоки информации, переносимые сигналами, управляют ею и организуют ее функционирование. Сигналы в состоянии выполнять эту функцию, если они содержат информационно насыщенный текст, который может быть декодирован в принимающей системе. Термодинамическая энтропия в процессах передачи информации закономерно возрастает.

При рассмотрении проблем В.э. и и. из-за указанных трудностей нередко встречаются ошибочные философско-методологические утверждения: а) информация является одним из свойств материи, она вездесуща и содержится в каждом материальном объекте; б) существуют две взаимно дополнительные характеристики реальных явлений - негэнтропия, или информация, как мера упорядоченности и энтропия как мера неупорядоченности.

Первое утверждение противоречит пони-манию информации как процесса, а второе является следствием попыток распространить на случай макроинформации негэнтропийный принцип Бриллюэна.

Естественно, что любой процесс получения макроинформации связан с изменением энтропии. Однако связь между ними чаще всего неопределенная, а во многих случаях также и нелинейная. Говорить о существовании определенной количественной связи между информацией, относящейся к некоторой системе, и изменением энтропии этой системы оснований нет.

Литература:

Мелик-Гайказян И.В. Информационные процессы и реальность. М., 1957.

Словарь философских терминов. Научная редакция профессора В.Г. Кузнецова. М., ИНФРА-М, 2007, с. 80.

Понятие Энтропи́и впервые введено в 1865 Р. Клаузиусом в термодинамике для определения меры необратимого рассеяния энергии. Энтропия применяется в разных отраслях науки, в том числе и в теории информации как мера неопределенности какого-либо опыта, испытания, который может иметь разные исходы. Эти определения энтропии имеют глубокую внутреннюю связь. Так на основе представлений об информации можно вывести все важнейшие положения статистической физики. [БЭС. Физика. М: Большая российская энциклопедия, 1998].

Эта величина также называется средней энтропией сообщения. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины .
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.
В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки теории информации, которая использует понятие вероятности. Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.

В случае равновероятных событий (частный случай), когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов и формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, как один из научных подходов к оценке сообщений:

Задание 1. На равновероятные события.
В колоде 36 карт. Какое количество информации содержится в сообщении, что из колоды взята карта с портретом “туз”; “туз пик”?

Вероятность p1 = 4/36 = 1/9, а p2 = 1/36. Используя формулу Хартли имеем:

Ответ: 3.17; 5.17 бит
Заметим (из второго результата), что для кодирования всех карт, необходимо 6 бит.
Из результатов также ясно, что чем меньше вероятность события, тем больше информации оно содержит. (Данное свойство называется монотонностью )

Задание 2. На неравновероятные события
В колоде 36 карт. Из них 12 карт с “портретами”. Поочередно из колоды достается и показывается одна из карт для определения изображен ли на ней портрет. Карта возвращается в колоду. Определить количество информации, передаваемой каждый раз, при показе одной карты.