Как определить количество информации в текстовом сообщении. I. Организационный момент. V. Домашнее задание

Количество информации

Количество информации как мера уменьшения неопределенности знания.
(Содержательный подход к определению количества информации)

Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Получение новой информации приводит к расширению знаний или, как иногда говорят, к уменьшению неопределенности знания. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: "зачет" или "незачет", а после контрольной работы одно из четырех информационных сообщений: "2", "3", "4" или "5".

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности вашего знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Ясно, что чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

Бит . Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы - килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом .

Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.

Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:

1 байт = 8 битов = 2 3 битов.

В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам "Кило" (10 3), "Мега" (10 6), "Гига" (10 9) и т. д.

В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n

Так, кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 2 10 байт = 1024 байт;

1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.

Контрольные вопросы

1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания.
2. Приведите примеры информационных сообщений, которые несут 1 бит информации.

Определение количества информации

Определение количества информационных сообщений. По формуле (1.1) можно легко определить количество возможных информационных сообщений, если известно количество информации. Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 битов информации. Если вы хотите определить количество экзаменационных билетов, то достаточно определить количество возможных информационных сообщений об их номерах по формуле (1.1):

Таким образом, количество экзаменационных билетов равно 32.

Определение количества информации. Наоборот, если известно возможное количество информационных сообщений N, то для определения количества информации, которое несет сообщение, необходимо решить уравнение относительно I.

Представьте себе, что вы управляете движением робота и можете задавать направление его движения с помощью информационных сообщений: "север", "северо-восток", "восток", "юго-восток", "юг", "юго-запад", "запад" и "северо-запад" (рис. 1.11). Какое количество информации будет получать робот после каждого сообщения?

Всего возможных информационных сообщений 8, поэтому формула (1.1) принимает вид уравнения относительно I:

Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:

8 = 2 × 2 × 2 = 2 3 .

Наше уравнение:

Равенство левой и правой частей уравнения справедливо, если равны показатели степени числа 2. Таким образом, I = 3 бита, т. е. количество информации, которое несет роботу каждое информационное сообщение, равно 3 битам.

Алфавитный подход к определению количества информации

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Информационная емкость знака . Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков {1, ..., N}. В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений "1", "2", ..., "N", которое будет нести количество информации I (рис. 1.5).

Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N - это количество знаков в алфавите знаковой системы, а I - количество информации, которое несет каждый знак:

С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:

N = 2 => 2 = 2 I => 2 1 = 2 I => I=1 бит.

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации "бит" (bit) получила свое название ОТ английского словосочетания "Binary digiT" - "двоичная цифра".

Информационная емкость знака двоичной знаковой системы составляет 1 бит.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входят 33 буквы, однако на практике часто для передачи сообщений используются только 32 буквы (исключается буква "ё").

С помощью формулы (1.1) определим количество информации, которое несет буква русского алфавита:

N = 32 => 32 = 2 I => 2 5 = 2 I => I=5 битов.

Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).

Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.

В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв "а" и в сто раз меньшее количество буквы "ф" (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы "а" она наименьшая, а у буквы "ф" - наибольшая).

Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.

Если знаки несут одинаковое количество информации, то количество информации I c в сообщении можно подсчитать, умножив количество информации I з, которое несет один знак, на длину кода (количество знаков в сообщении) К:

I c = I з × K

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры - в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.1).

Таблица 1.1. Количество информации, которое несет двоич ный компьютерный код

Количество информации - это числовая характеристика сигнала, отражающая ту степень неопределенности (неполноту знаний), которая исче-зает после получения сообщения в виде данного сигнала.
Эту меру неопределённости в теории информации называют энтропией. Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И, наоборот, если после получения сообщения неопределённость осталась прежней, значит, информации получено не было (нулевая информация).
Приведённые рассуждения показывают, что между понятиями информация, неопределённость и возможность выбора существует тесная связь. Так, любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.
Рассмотрим пример. Человек бросает монету и наблюдает, какой стороной она упадёт. Обе стороны монеты равноправны, поэтому одинаково вероятно, что выпадет одна или другая сторона. Такой ситуации приписывается начальная неопределённость, характеризуемая двумя возможностями. После того, как монета упадёт, достигается полная ясность, и неопределённость исчезает (становится равной нулю).
Приведённый пример относится к группе событий, применительно к которым может быть поставлен вопрос типа «да-нет».
Количество информации, которое можно получить при ответе на вопрос типа «да-нет», называемся битом (англ. bit - сокращённое от binary digit - двоичная единица).
Бит - минимальная единица количества информации, ибо получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.
Рассмотрим систему из двух электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Для такой системы возможны следующие состояния:
Лампа А: 0 0 1 1 ;
Лампа В: 0 1 0 1 .
Чтобы получить полную информацию о состоянии системы, необходимо задать два вопроса типа «да-нет» по лампочке А и лампочке В, соответственно. В этом случае количество информации, содержащейся в данной системе, определяется уже в 2 бита, a число возможных состояний системы - 4. Если взять три лампочки, то необходимо задать уже три вопроса и получить 3 бита информации. Количество состояний такой системы равно 8 и т. д.
Связь между количеством информации и числом состояний системы устанавливается формулой Хартли.
i= log 2N,
где i - количество информации в битах; N -число возможных состояний. Ту же формулу можно представить иначе:
N=2i.
Группа из 8 битов информации называется байтом.
Если бит - минимальная единица информации, то байт - ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб) и гигабайт (Гбайт, Гб).
Таким образом, между понятиями «информация», «неопределённость» и «возможность выбора» существует тесная связь. Любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.
Количество информации - это числовая характеристика сигнала, отражающая ту степень неопределённости (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала.

Еще по теме Понятие количества информации:

1. Понятие, виды информации и принципы правового регулирования отношений в сфере информации
2. Журналистика как массово-информационная деятельность. Понятия «информация» и «массовая информация». Массовая информация как продукт массово-информационной деятельности. Массовая информация и социальная информация.

Четвергова Ю. Н.

Место работы, должность:

МОУ "Средняя общеобразовательная школа №1 г. Порхова", учитель

Псковская область

Характеристики урока (занятия)

Уровень образования:

Среднее (полное) общее образование

Целевая аудитория:

Учитель (преподаватель)

Класс(ы):

Предмет(ы):

Информатика и ИКТ

Цель урока:

Повторение, закрепление, контроль знаний и умений

Тип урока:

Урок комплексного применения ЗУН учащихся

Учащихся в классе (аудитории):

Используемая методическая литература:

Поурочные разработки по информатике. 10 класс. О. Л. Соколова;

Используемое оборудование:

Программа "Калькулятор"

Калькулятор

Тема. Количество информации. Формулы Хартли и Шеннона

Ход занятия

Повторение материала пройденного на уроке. Дополнение.(10 минут)

Тренировочные карточки. Групповая работа (20 минут)

Решение задач. Парная работа (10 минут)

Контрольная работа. (40 минут)

Взаимопроверка. Работа над ошибками.

Основные знания, умения и компетенции

Знания:

Какие события равновероянные, какие - не равновероятные;

Как найти вероятность события;

Как найти количество информации в сообщении при разных событиях.

Умения:

Различать равновероятные и не равновероятные события;

Находить количество информации при разных событиях.

Компетенции:

Сотрудничество

Коммуникативность

Креативность и любознательность

Критическое мышление (оценочное суждение)

Какие события равновероянные, какие - не равновероятные?

В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:

I = log 2 K ,
Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2 I .
Иногда формулу Хартли записывают так:

I = log 2 K = log 2 (1 / р) = - log 2 р,
т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.

Шарик находится в одной из трех урн: А, В или С. Определить сколько бит информации содержит сообщение о том, что он находится в урне В.

Решение.

Такое сообщение содержит I = log 2 3 = 1,585 бита информации.

Но не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".

"Однажды в детстве я уронил бутерброд. Глядя, как я виновато вытираю масляное пятно, оставшееся на полу, старший брат успокоил меня:

Не горюй, это сработал закон бутерброда.

Что еще за закон такой? - спросил я.

Закон, который гласит: "Бутерброд всегда падает маслом вниз". Впрочем, это шутка, - продолжал брат.- Никакого закона нет. Просто бутерброд действительно ведет себя довольно странно: большей частью масло оказывается внизу.

Давай-ка еще пару раз уроним бутерброд, проверим, - предложил я. - Все равно ведь его придется выкидывать.

Проверили. Из десяти раз восемь бутерброд упал маслом вниз.

И тут я задумался: а можно ли заранее узнать, как сейчас упадет бутерброд маслом вниз или вверх?

Наши опыты прервала мать…"
(Отрывок из книги "Секрет великих полководцев", В.Абчук).

В 1948 г. американский инженер и математик К Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.
Если I - количество информации,
К - количество возможных событий, р i - вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:

I = - Sum р i log 2 р i , где i принимает значения от 1 до К.

Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:

I = - Sum 1 / К log 2 (1 / К ) = I = log 2 К .

При равновероятных событиях получаемое количество информации максимально.

Как найти вероятность события?

Если заключённые в каком-то сообщении сведения являются для человека новыми, понятными, пополняют его знания, т.е. приводят к уменьшению неопределённости знаний, то сообщение содержит информацию.

1 бит - количество информации, которое содержится в сообщении, которое уменьшает неопределённость знаний в 2 раза.

Пример

При бросании монеты возможны 2 события (случая) - монета упадёт орлом или решкой, причём оба события равновероятны (при большом количестве бросаний количество случаев падения монеты орлом и решкой одинаковы). После получения сообщения о результате падения монеты неопределённость знаний уменьшилась в 2 раза, и, поэтому, количество информации, полученное при этом равно 1 бит.

Как найти количество информации в сообщении при разных событиях?

Вычисление количества информации для равновероятных событий.

Если события равновероятны, то количество информации можно рассчитать по формуле:

N = 2 I

где N - число возможных событий,

I - количество информации в битах.

Формула была предложена американским инженером Р. Хартли в 1928 г.

Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение.

Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий

равно 32.

N = 32, I = ?

N = 2 I , 32 = 2 5 , I = 5 бит .

Ответ: 5 бит.

Вычисление количества информации для событий с различными вероятностями.

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий.

1. В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный.

2. При случайном падении бутерброда вероятность падения его маслом вниз (более тяжёлой стороной) больше, чем маслом вверх.

3. В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Самая большая вероятность для рыбака - поймать в этом пруду пескаря, на втором месте - карася, на третьем - щуку.

Количество информации в сообщении о некотором событии зависит от его вероятности. Чем меньше вероятность события, тем больше информации оно несёт.
P = K / N , где К - количество случаев реализации одного из исходов события, N - общее число возможных исходов одного из событий
2 I = log 2 (1/ p ), где I - количество информации, p - вероятность события

Задача 1. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.

Решение .
Вероятность вытаскивания белого шара

P 1 = 40/50 = 0,8
Вероятность вытаскивания чёрного шара P 2 = 10/50 = 0,2
Количество информации о вытаскивании белого шара I 1 = log 2 (1/0,8) = log 2 1,25 = log 1,25/ log 2 » 0,32 бит
Количество информации о вытаскивании чёрного шара

I 2 = log 2 (1/0,2) = log 2 5 = log5/log2 » 2,32 бит

Ответ : 0,32 бит, 2,32 бит

Что такое логарифм?

Логарифмом числа а по основанию b называется показатель степени, в которую надо возвести число a , чтобы получить число b .

a logab = b, a > 0, b > 0, a ≠ 1

Разбор задач
Определить количество информации, получаемое при реализации одного из событий, если бросают
а) несимметричную четырехгранную пирамидку;
б) симметричную и однородную четырехгранную пирамидку.

Решение.

А) Будем бросать несимметричную четырехгранную пирамидку.
Вероятность отдельных событий будет такова:
р1 = 1 / 2,
р2 = 1 / 4,
р3 = 1 / 8,
р4 = 1 / 8,
тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле:
I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).
б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:
I = log 2 4 = 2 (бит).
2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?
3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?
4. Сколько различных чисел можно закодировать с помощью 8 бит?
Решение: I=8 бит, K=2 I =2 8 =256 различных чисел.

Задача 2. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней - 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу?

Решение.
События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей.

Общее количество карасей и окуней в пруду 1500 + 500 = 2000.
Вероятность попадания на удочку карася

p 1 = 1500/2000 = 0,75, окуня p 2 = 500/2000 = 0,25.

I 1 = log 2 (1/ p I ), I 1 = log 2 (1/ p 2 ), где P 1 и P 2 - вероятности поймать карася и окуня соответственно.

I 1 = log 2 (1 / 0,75) » 0,43 бит, I 2 = log 2 (1 / 0,25) =2 бит - количество информации в сообщении поймать карася и поймать окуня соответственно.

Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона

I = - p 1 log 2 p 1 - p 2 log 2 p 2

I = - 0,75*log 2 0,75 - 0,25*log 2 0,25 = - 0,75*(log0,75/log2)-0,25*(log0,25/log2) =

0,311 + 0,5 = 0,811

Ответ: в сообщении содержится 0,811 бит информации

Тренировочные карточки (20 минут)

№1

1. В коробке лежало 32 разноцветных карандаша. Сколько информации несет сообщение о том, что из коробки достали красный карандаш?

2. Сообщение о том, что ваш друг живет на 9 этаже, несет 4 бита информации. Сколько этажей в доме?

3. Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?

4. Книга, набранная с помощью компьютера, содержит 250 страниц; на каждой странице—40 строк, в каждой строке—60 символов. Каков объем информации в книге?

5. Записать следующие числа в двоичной системе счисления: 37 и 52.

№2

2. В школьной библиотеке 8 стеллажей с книгами. На каждом стеллаже 4 полки. Библиотекарь сообщил Васе, что нужная ему книга находится на пятом стеллаже на второй сверху полке. Какое количество информации библиотекарь передал Васе?

4. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 2 раза?

5. Записать следующие числа в двоичной системе счисления: 12 и 49.

1. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?

2. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?

3. Племя Пульти имеет 16-ти символьный алфавит. Племя Мульти использует 32-х символьный алфавит. Вожди племен обменялись письмами. Письмо племени Пульти содержало 90 символов, а письмо племени Мульти—70 символов. Сравните объемы информации, содержащейся в письмах.

4. Сколько килобайт составит сообщение из 384 символов 8-ми символьного алфавита?

5. Записать следующие числа в двоичной системе счисления: 33 и 15.

2. Сообщение занимает 2 страницы и содержит 1/16Кбайта информации. На каждой странице записано 256 символов. Какое количество информации несет одна буква использованного алфавита?

3. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 11 символов. Какой объем информации оно несет?

4. В коробке лежат 64 разноцветных карандаша. Какое количество информации содержит сообщение, что из коробки достали зеленый карандаш?

5. Записать следующие числа в двоичной системе счисления: 17 и 42.

1. Какое количество информации получит второй игрок после первого хода первого игрока в игре “крестики-нолики” на поле 4х4?

2. В барабане для розыгрыша лотереи находится 8 шаров. Сколько информации содержит сообщение о первом выпавшем номере, например, выпал номер 2?

3. Количество бит информации в сообщении “Миша на олимпиаде по информатике занял одно из 16 мест”?

4. Растровый графический файл содержит черно-белое изображение с 16 градациями серого цвета размером 10х10 точек. Каков информационный объем этого файла?

5. Записать следующие числа в двоичной системе счисления: 28 и 51.

1. Алфавит племени Мульти состоит из 8 букв. Какое количество информации содержит сообщение, состоящее из 13 символов?

2. Растровый графический файл содержит черно-белое изображение (без градаций серого) размером 100х100 точек. Каков информационный объем этого файла?

3. При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Сколько чисел содержит этот диапазон?

4. Была получена телеграмма: ” Встречайте, вагон 6”. Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?

5. Записать следующие числа в двоичной системе счисления: 23 и 38.

1. Производится бросание симметричной четырехгранной пирамидки. Какое количество информации мы получаем в зрительном сообщении о ее падении на одну из граней?

2. Каков информационный объем текста, содержащего слово КОДИРОВКА, в 8-ми битной кодировке?

3. Цветное (с палитрой из 256 цветов) растровое графическое изображение имеет размер 10х10 точек. Какой объем памяти займет это изображение?

4. Сообщение о том, что ваш друг живет на 8 этаже, несет 4 бита информации. Сколько этажей в доме?

5. Записать следующие числа в двоичной системе счисления: 19 и 46.

1. Происходит выбор одной карты из колоды в 32карты. Какое количество информации мы получаем в зрительном сообщении о выборе определенной карты?

2. Какое количество информации требуется для двоичного кодирования каждого символа набора из 256 символов?

3. Текст занимает 0,5Кбайта памяти компьютера. Сколько символов содержит этот текст?

4. Алфавит племени Пульти состоит из 128 букв. Какое количество информации несет одна буква этого алфавита?

5. Записать следующие числа в двоичной системе счисления: 11 и 35.

1. “Дома ли твой друг?”— спросили ученика в школе. “Нет”,— ответил он. Сколько информации содержит ответ?

2. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?

3. В коробке лежат 16 разноцветных шаров. Какое количество информации содержит сообщение, что из коробки достали желтый шар?

4. При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Сколько чисел содержит этот диапазон?

5. Записать следующие числа в двоичной системе счисления: 13 и 41.

1. Чему равно количество бит информации в сообщении “Ваня на олимпиаде по информатике занял одно из 8 мест”?

2. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице — 40 строк, в каждой строке — 60 символов. Каков объем информации в книге? Определить в Кбайтах.

3. При угадывании целого числа в диапазоне от 1 до N было получено 8 бит информации. Чему равно N?

4. Сообщение, записанное буквами из 32-х символьного алфавита, содержит 30 символов. Какой объем информации оно несет?

5. Записать следующие числа в двоичной системе счисления: 16 и 39.

1. Алфавит племени Мульти состоит из 16 букв. Какое количество информации несет одна буква этого алфавита?

2. Сообщение о том, что ваш друг живет на 8 этаже, несет 5 бит информации. Сколько этажей в доме?

3. Найти максимальное количество книг (каждая объемом 200 страниц, на каждой странице 60 строк, 80 символов в строке), полностью размещенных на лазерном диске емкостью 600 Мбайт.

4. Какое количество информации, необходимо для отгадывания одного из 64 чисел?

5. Записать следующие числа в двоичной системе счисления: 14 и 53.

1. Была получена телеграмма: ”Встречайте, вагон 4”. Известно, что в составе поезда 8 вагонов. Какое количество информации было получено?

2. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита (сколько символов в алфавите?), с помощью которого записано сообщение?

3. “Вы выходите на следующей остановке?” — спросили человека в автобусе. “Да”, — ответил он. Сколько информации содержит ответ?

4. Сообщение, записанное буквами из 16-ти символьного алфавита, содержит 25 символов. Какой объем информации содержит ответ?

5. Записать следующие числа в двоичной системе счисления: 26 и 47.

1. Сколько килобайтов составляет сообщение, содержащее 12288 битов?

2. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 4 раза?

3. Сколько символов содержит сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?

4. Группа школьников пришла в бассейн, в котором 8 дорожек для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 4. Сколько информации получили школьники из этого сообщения?

5. Записать следующие числа в двоичной системе счисления: 18 и 25.

1. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

2. Для записи текста использовался 256-ти символьный алфавит. Каждая страница содержит 30 строк по 60 символов в строке. Какой объем информации содержат 6 страниц текста?

3. В барабане для розыгрыша лотереи находится 64 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 32)?

4. При угадывании целого числа в некотором диапазоне было получено 7 бит информации. Сколько чисел содержит этот диапазон?

5. Записать следующие числа в двоичной системе счисления: 27 и 56.

1. Сообщение о том, что Петя живет в первом подъезде, несет 2 бита информации. Сколько подъездов в доме?

2. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 40 символов. Какой объем информации оно несет?

3. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

4. Сколько килобайтов составит сообщение из 284 символов 16-ти символьного алфавита?

5. Записать следующие числа в двоичной системе счисления: 10 и 29.

1. Какое количество информации получит второй игрок после первого хода первого игрока в игре в “крестики-нолики” на поле 4х4?

2. Какое количество байт информации содержится в 1Мбайте?

3. Каково было количество возможных событий, если после реализации одного из них мы получили количество информации равное 7 бит?

4. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?

5. Записать следующие числа в двоичной системе счисления: 22 и 59.

1. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 40 символов. Какой объем информации оно несет?

2. Какое количество информации получит второй игрок в игре “Угадай число” при правильной стратегии, если первый игрок загадал число в интервале от 1 до 64?

3. Для записи текста использовался 256-ти символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 3 страницы текста?

4. Текст занимает 0,25Кбайт памяти компьютера. Сколько символов содержит этот текст?

5. Записать следующие числа в двоичной системе счисления: 32 и 51.

1. Какое количество бит информации содержится в 1 Кбайте?

2. Первое племя имеет 16-ти символьный алфавит. Второе племя использует 32-х символьный алфавит. Вожди племен обменялись письмами. Письмо первого племени содержало 90 символов, а письмо второго племени — 80 символов. Сравните объемы информации, содержащейся в письмах.

3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?

4. Информация передается со скоростью 2,5Кбайт/с. Какой объем информации будет передан за 20мин?

5. Записать следующие числа в двоичной системе счисления: 21 и 48.

Решение задач по выбору (20 минут)

№1

Сообщение записано с помощью алфавита, содержащего 8 символов. Ка кое количество информации несет одна буква этого алфавита? Решение: I = log 2 8 = 3 бита.

Ответ: 3 бита.

№2

Информационный объем одного символа некоторого сообщения равен 6 битам. Сколько символов входит в алфавит, с помощью которого было/ составлено это сообщение? Решение: N = 2 I = 2 6 = 64 символа.

Ответ: 64 символа.

№3

Информационный объем одного символа некоторого сообщения равен 5 битам. Каковы пределы (максимальное и минимальное значение) мощности алфавита, с помощью которого составлено это сообщение?

Решение: N = 2 I = 2 5 = 32 — максимальное значение мощности алфавита. Если символов будет больше хотя бы на один, то для кодирования понадобится 6 бит.

Минимальное значение — 17 символов, т.к. для меньшего количества символов будет достаточно 4 бит. Ответ: 4 бита.

№4

Сообщение, записанное буквами из 128-символьного алфавита, содержания 30 символов. Какой объем информации оно несет?

Дано: N = 128, К = 30.

Найти: 1 т — ?

Решение:

1) I т = KI , неизвестно I ;

2) I = log 2 N = log 2 l 28 = 7 бит — объем одного символа;

3) I т = 30*7 = 210 бит — объем всего сообщения.

Ответ: 210 бит объем всего сообщения.

№5

Сообщение, составленное с помощью 32-символьного алфавита, содержит 80 символов. Другое сообщение составлено с использованием 64-символьного алфавита и содержит 70 символов. Сравните объемы информации, содержащейся в сообщениях.

Дано: N 1 = 32, К 1 = 80, N 2 = 64, К 2 = 70.

Найти: I т1 I т2

Решение:

I ) I 1 = log 2 Nl = log 2 32 = 5 бит — объем одного символа первого сооб-щения;

Материал разработан на 2 спаренных урока.

Цели уроков: Сформировать у учащихся понимание вероятности, равновероятных событий и событий с различными вероятностями. Научить находить количество информации, используя вероятностный подход. Создать в Excel информационную модель для автоматизации процесса вычислений в задачах на нахождение количества информации, используя формулу Шеннона.

Требования к знаниям и умениям:

Учащиеся должны знать:

• какие события являются равновероятными, какие неравновероятными;
• как найти вероятность события;
• как найти количество информации в сообщении, что произошло одно из неравновероятных событий;
• как найти количество информации в сообщении, когда возможные события имеют различные вероятности реализации.

Учащиеся должны уметь:

• различать равновероятные и неравновероятные события;
• находить количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий;
• создать информационную модель для автоматизации процесса решения задач на нахождение количества информации с помощью прикладных программ.

Оборудование: доска, компьютер, мультимедийный проектор, карточки с заданиями, карточки-памятки, справочный материал.

Урок 1. Вероятностный подход к определению количества информации. Формула Шеннона

Ход урока

I. Организационный момент.

II. Проверка домашнего задания.

III. Постановка цели урока.

Задача: Какое сообщение содержит большее количество информации?

• Отв.: 3 бит.)
• Вася получил за экзамен оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
• Отв.: 1 бит.)
• Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок.

Первые три варианта учащиеся решают без затруднения. События равновероятны, поэтому можно применить для решения формулу Хартли. Но третье задание вызывает затруднение. Делаются различные предположения. Роль учителя: подвести учащихся к осмыслению, что в четвертом варианте мы сталкиваемся с ситуацией, когда события неравновероятны. Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".

Сегодня на уроке мы должны ответить на вопрос: как вычислить количество информации в сообщении о неравновероятном событии.

IV. Объяснение нового материала.

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I= log 2 (1/ p)

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р= K/ N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вернемся к нашей задаче.

Пусть К 1 – это количество пирожков с повидлом, К 1 =24

К 2 – количество пирожков с капустой, К 2 =8

N – общее количество пирожков, N = К 1 +К 2 =24+8=32

Вычислим вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.

Вероятность выбора пирожка с повидлом: р 1 =24/32=3/4=0,75.

Вероятность выбора пирожка с капустой: р 2 =8/32=1/4=0,25.

Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.

Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом: I 1 = log 2 (1/ p 1)= log 2 (1/0,75)= log 2 1,3=1,15470 бит.

Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой: I 2 = log 2 (1/ p 2)= log 2 (1/0,25)= log 2 4=2 бит.

Пояснение: если учащиеся не умеют вычислять значение логарифмической функции, то можно использовать при решении задач этого урока следующие приемы:

• Ответы давать примерные, задавая ученикам следующий вопрос: «В какую степень необходимо возвести число 2, чтобы получилось число, стоящее под знаком логарифма?».
• Применить таблицу из задачника-практикума под редакцией Семакина И.Г. и др.

Приложение 1. «Количество информации в сообщении об одном из N равновероятных событий: I= log 2 N». (Приложение вы можете получить у автора статьи. )

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора пирожка с повидлом больше, чем с капустой, а информации при этом получилось меньше. Это не случайность, а закономерность.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Вернемся к нашей задаче с пирожками. Мы еще не ответили на вопрос: сколько получим информации при выборе пирожка любого вида?

Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.

Если I -количество информации, N -количество возможных событий, р i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:

можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:

I = - (р 1 ∙log 2 p 1 + р 2 ∙log 2 p 2)= - (0,25∙ log 2 0,25+0,75∙ log 2 0,75)≈-(0,25∙(-2)+0,75∙(-0,42))=0,815 бит

Теперь мы с вами можем ответить на вопрос задачи, которая была поставлена в начале урока. Какое сообщение содержит большее количество информации?

1. В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит.)
2. Вася получил за экзамен 3 балла (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
3. Бабушка испекла 12 пирожков с капустой, 12 пирожков с повидлом. Маша съела один пирожок. (Отв.: 1 бит.)
4. Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок. (Отв.: 0,815 бит.)

Ответ : в 1 сообщении.

Обратите внимание на 3 и 4 задачу. Сравните количество информации.

Мы видим, что количество информации достигает максимального значения, если события равновероятны.

Интересно, что рассматриваемые нами формулы классической теории информации первоначально были разработаны для технических систем связи, призванных служить обмену информацией между людьми. Работа этих систем определяется законами физики т.е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сделали сотрудники Bell Telephon Companie – X. Найквист, Р. Хартли и К. Шеннон. Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном “математической теорией связи”, и явилась основой классической теории информации. (Дополнительный материал можно найти на сайте http://polbu.ru/korogodin_information или прочитав книгу В.И. Корогодин, В.Л. Корогодина. Информация как основа жизни. Формула Шеннона. )

Можно ли применить формулу К. Шеннона для равновероятных событий?

Если p 1 =p 2 =..=p n =1/N, тогда формула принимает вид:

Мы видим, что формула Хартли является частным случаем формулы Шеннона.

V . Закрепление изучаемого материала.

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.

Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

Дано: К к =4;N=32

Найти: I к, I

Решение:

Ответ : I к =3 бит; I=0,547 бит

VI . Подведение итогов урока.

• Объясните на конкретных примерах отличие равновероятного события от неравновероятного?
• С помощью какой формулы вычисляется вероятность события.
• Объясните качественную связь между вероятностью события и количеством информации в сообщении об этом событии.
• В каких случаях применяется формула Шеннона для измерения количества информации.
• В каком случае количество информации о событии достигает максимального значения.

Урок 2. Применение ЭТ Excel для решения задач на нахождение количества информации

Пояснение: При решении задач на нахождение количества информации учащиеся не вычисляли значение логарифма, т.к. не знакомы с логарифмической функцией. Урок строился таким образом: сначала решались однотипные задачи с составлением формул, затем разрабатывалась табличная модель в Excel, где учащиеся делали вычисления. В конце урока озвучивались ответы к задачам.

Ход урока

I . Постановка целей урока

На этом уроке мы будем решать задачи на нахождение количества информации в сообщении о неравновероятных событиях и автоматизируем процесс вычисления задач данного типа.

Для решения задач на нахождение вероятности и количества информации используем формулы, которые вывели на прошлом уроке:

р i =K i /N; I i =log 2 (1/p i);

II . Решение задач.

Ученикам дается список задач, которые они должны решить.

Задачи решаются только с выводами формул, без вычислений.

Задача №1

В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Какое количество информации несет сообщение о ловле рыбы каждого вида. Сколько информации мы получим, когда поймаем какую-нибудь рыбу?

Дано: К о =12500; К п =25000; К к = К щ =6250

Найти: I о , I п , I к , I щ , I

Решение:

1. Найдем общее количество рыбы: N = К о +К п +К к +К щ.
2. Найдем вероятность ловли каждого вида рыбы: p о = К о / N ; p п = К п / N ; p к = p щ = К к / N .
3. Найдем количество информации о ловле рыбы каждого вида: I о = log 2 (1/ p о ); I п = log 2 (1/ p п ); I к = I щ = log 2 (1/ p к )
4. Найдем количество информации о ловле рыбы любого вида: I = p о ∙ log 2 p о + p п ∙ log 2 p п + p к ∙ log 2 p к + p щ ∙ log 2 p щ

III . Объяснение нового материала.

Задается вопрос ученикам:

1. Какие трудности возникают при решении задач данного типа? (Отв. : Вычисление логарифмов).

2. Нельзя ли автоматизировать процесс решения данных задач? (Отв. : можно, т.к. алгоритм вычислений в этих задачах один и тот же).

3. Какие программы используются для автоматизации вычислительного процесса? (Отв.: ЭТ Excel).

Давайте попробуем сделать табличную модель для вычисления задач данного типа.

Нам необходимо решить вопрос, что мы будем вычислять в таблице. Если вы внимательно присмотритесь к задачам, то увидите, что в одних задачах надо вычислить только вероятность событий, в других количество информации о происходящих событиях или вообще количество информации о событии.

Мы сделаем универсальную таблицу, где достаточно занести данные задачи, а вычисление результатов будет происходить автоматически.

Структура таблицы обсуждается с учениками. Роль учителя обобщить ответы учащихся.

При составлении таблицы мы должны учитывать:

1. Ввод данных (что дано в условии).
2. Подсчет общего количества числа возможных исходов (формула N=K 1 +K 2 +…+K i).
3. Подсчет вероятности каждого события (формула p i = К i /N).
4. Подсчет количества информации о каждом происходящем событии (формула I i = log 2 (1/p i)).
5. Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Прежде чем демонстрировать заполнение таблицы, учитель повторяет правила ввода формул, функций, операцию копирования (домашнее задание к этому уроку).

При заполнении таблицы показывает как вводить логарифмическую функцию. Для экономии времени учитель демонстрирует уже готовую таблицу, а ученикам раздает карточки-памятки по заполнению таблицы.

Рассмотрим заполнение таблицы на примере задачи №1.

Рис. 1. Режим отображения формул

Рис. 2. Отображение результатов вычислений

Результаты вычислений занести в тетрадь.

Если в решаемых задачах количество событий больше или меньше, то можно добавить или удалить строчки в таблице.

VI . Практическая работа .

1 . Сделать табличную модель для вычисления количества информации.

2 . Используя табличную модель, сделать вычисления к задаче №2 (рис.3), результат вычисления занести в тетрадь.

Рис. 3

3 . Используя таблицу-шаблон, решить задачи №3,4 (рис.4, рис.5), решение оформить в тетради.

Рис. 4

Задача №2

В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

Задача№3

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

Задача№4

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

VII . Подведение итогов урока.

Учитель оценивает работу каждого ученика. Оценивается не только практическая работа на компьютере, но и оформление решения задачи в тетради.

VIII. Домашняя работа.

1. Параграф учебника «Формула Шеннона», компьютерный практикум после параграфа.

2. Доказать, что формула Хартли – частный случай формулы Шеннона.

Литература:

1. Соколова О.Л. «Универсальные поурочные разработки по информатике. 10-й класс.» – М.: ВАКО, 2007.
2. Угринович Н.Д. «Информатика и ИКТ. Профильный уровень. 10 класс» - Бином, Лаборатория знаний, 2007 г.
3. Семакин И.Г., Хеннер Е.К. «Информатика. Задачник – практикум.» 1 том, - Бином, Лаборатория знаний, 2008 г.

По информатике

Количество информации

Введение

2. Неопределенность, количество информации и энтропия

3. Формула Шеннона

4. Формула Хартли

5. Количество информации, получаемой в процессе сообщения

Список использованной литературы

Введение

По определению А.Д. Урсула - «информация есть отраженное разнообразие». Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени, но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

1.Бит

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.

1 бит (bit - сокращение от англ. binary digit - двоичное число) - единица измерения информационной емкости и количества информации, а также и еще одной величины – информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.

На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: «0» или «1».

Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть», либо «не гореть» также символизирует бит. Классический пример, иллюстрирующий 1 бит информации – количество информации, получаемое в результате подбрасывания монеты – “орел” или “решка”.

Количество информации равное 1 биту можно получить в ответе на вопрос типа «да»/ «нет». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.

Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.

Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.

2.Неопределенность, количество информации и энтропия

Основоположник теории информации Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N, 1/N, … 1/N}.

Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

На рисунке 1. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)).

Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p 0 =0, p 1 =1) и (p 0 =1, p 1 =0).

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).

Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.

При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H t + I t = H.

По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.

3.Формула Шеннона

В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p 0 , p 1 , …p N -1 }, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".

В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.

Формула Шеннона имеет следующий вид:

Рис. 3. Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

Напомним, что такое логарифм.

Логарифм по основанию 2 называется двоичным:

log 2 (8)=3 => 2 3 =8

log 2 (10)=3,32 => 2 3,32 =10

Логарифм по основанию 10 –называется десятичным:

log 10 (100)=2 => 10 2 =100

Основные свойства логарифма:

1. log(1)=0, т.к. любое число в нулевой степени дает 1;

2. log(a b)=b*log(a);

3. log(a*b)=log(a)+log(b);

4. log(a/b)=log(a)-log(b);

5. log(1/b)=0-log(b)=-log(b).

Знак минус в формуле (1) не означает, что энтропия – отрицательная величина. Объясняется это тем, что p i £1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма