Синтаксическая мера информации.

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Объём данных (VД) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений.

Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр («0» и «1»), которыми закодировано сообщение.

В компьютерной практике слово «бит» используется также как единица измерения объёма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях («включено» и «выключено») и в неё может быть записана одна двоичная цифра (0 или 1). Понятно, что бит — слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 28 различных чисел. Для измерения ещё бoльших объёмов информации используются такие величины:

1 Килобайт =	210 байт =	1024 байт
1 Мегабайт =	210 Килобайт =	1024 Килобайт
1 Гигабайт =	210 Мегабайт =	1024 Мегабайт
1 Терабайт =	210 Гигабайт =	1024 Гигабайт

Важно иметь представление, сколько информации может вместить килобайт, мегабайт или гигабайт. При двоичном кодировании текста каждая буква, знак препинания, пробел занимают 1 байт. На странице книги среднего формата примерно 50 строк, в каждой строке около 60 символов, таким образом, полностью заполненная страница имеет объём 50 x 60 = 3000 байт ?3 Килобайта. Вся книга среднего формата занимает ? 0,5 Мегабайт. Один номер четырёхстраничной газеты — 150 Килобайт. Если человек говорит по 8 часов в день без перерыва, то за 70 лет он наговорит около 10 Гигабайт информации. Один чёрно-белый кадр (при 32 градациях яркости каждой точки) содержит примерно 300 Кб информации, цветной кадр содержит уже около 1 Мб информации. Телевизионный фильм продолжительностью 1,5 часа с частотой 25 кадров в секунду — 135 Гб.

Количество информации I на синтаксическом уровне определяется через понятие энтропии системы. Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе ?. Мерой его неосведомленности о системе является функция H(?), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения ? получатель приобрел некоторую дополнительную информацию I?(?), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения ? стала H?(?). Тогда количество информации I?(?) о системе, полученной в сообщении ?, определится как I?(?)=H(?)-H?(?), т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность H?(?) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I?(?)=H(?). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающей информации.

Энтропия системы H(?), имеющая N возможных состояний, согласно формуле Шеннона, равна:

, где Pi — вероятность того, что система находится в i-м состоянии. Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi = , ее энтропия определяется соотношением .

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения N=mn, где N — число всевозможных отображаемых состояний; m — основание системы счисления (разнообразие символов, применяемых в алфавите); n —число разрядов (символов) в сообщении. Допустим, что по каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=m, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I=log N=n log m — формула Хартли. Если в качестве основания логарифма принять m, то / = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных /=VД , полученных по каналу связи.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

Статьи к прочтению:

Драгалина-Черная Е.Г. Холостяк ли Папа Римский? Неформально о логической форме

Похожие статьи: