Измерение информации: содержательный подход.
Как измерить информацию? Часто мы говорим, что, прочитав статью в журнале или просмотрев новости, не получили никакой информации, или наоборот, краткое сообщение может оказаться для нас информативным. В то же время для другого человека та же самая статья может оказаться чрезвычайно информативной, а сообщение — нет. Информативными сообщения являются тогда, когда они новы, понятны, своевременны, полезны. Но то, что для одного понятно, для другого — нет.
Вопрос «как измерить информацию?» очень непростой. Существует два подхода к измерению количества информации.
Первый подход называется содержательным. В нем информация рассматривается с субъективной точки зрения, т.е. с точки зрения конкретного человека
Содержательный подход. Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку. Сообщение содержит информацию для человека, если заключенные в нем сведения являются для этого человека новыми и понятными и, следовательно, пополняют его знания.
При содержательном подходе возможна качественная оценка информации: полезная, безразличная, важная, вредная … Одну и ту же информацию разные люди могут оценить по разному.
Единица измерения количества информации называется бит. Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.
Что такое «неопределенность знаний»? Лучше всего это пояснить на примерах.
Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка? Есть всего два варианта возможного результата бросания монеты. Причем, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.
Так вот, в этом случае перед подбрасыванием монеты неопределенность знаний о результате равна двум.
Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знаний о результате бросания кубика равна шести.
Следовательно, можно сказать так:
Неопределенность знаний о некотором событии – это количество возможных результатов события
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность обозначает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации, заключенное в этом сообщении, — х бит и число N связаны формулой:
2х = N.
Пример 1. При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации, поскольку количество возможных вариантов результата равно 2 (орел или решка). Оба эти варианта равновероятны.
Ответ может быть получен из решения уравнения: 2х = 2, откуда, очевидно, следует: х = 1 бит.
Вывод: в любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации.
Пример 2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)?
Поскольку вытаскивание любого из 32 шаров равновероятно, то количество информации об одном выпавшем номере находится из уравнения:
2х = 32.
Но 32 = 25. Следовательно, х = 5 бит. Очевидно, ответ не зависит от того, какой именно выпал номер.