12. Измерение количества информации. Меры информации синтаксического уровня
В теории информации выделяется три уровня рассмотрения (и, соответственно, измерения) информации:
1) синтаксический – информация как сообщения, смысл и ценность которых не учитываются;
2) семантический – информация в аспекте содержания передаваемых сообщений;
3) прагматический – информация в аспекте полезности, ценности для человека.
На синтаксическом уровне, оценка информации может быть универсальной и объективной, т. е. независимой от человека. Выделяют следующие подходы измерения информации:
А) Технический подход применяется для измерения информации в технике связи, где информация понимается как сообщения в форме знаков или сигналов, хранимых, передаваемых и обрабатываемых с помощью технических устройств. Эта информация называется данными. Подход основан на подсчете числа символов в сообщении, т. е. связан только с длиной сообщения и не учитывает его содержания.
Б) Количество информации в энтропийном подходе определяется степенью уменьшения неопределенности (энтропии) при равновероятных событиях(например выпадения орла или решки при подбрасывании монетки или выпадение любого одного из 6 значений кинутой кости). Формула Хартли:
I=log2N, 2I=N, где I-количество информации, N – количество равновероятных событий.
В) Вероятностный подход был разработан К. Шенноном. Количество информации по его формуле определяется степенью уменьшения неопределенности в зависимости от вероятности события. Формула Шеннона:
I=
-
,
где pi
– вероятность события.
13. Меры информации семантического и прагматического уровней
Подходы измерения информации на семантическом уровне
А) В тезаурусном подходе количество информации оценивается путем соотнесения с тезаурусом получателя (приемника). Тезаурус – совокупность сведений, которыми располагает пользователь (система). Количество информации зависит от степени изменения тезауруса получателя под воздействием данного сообщения. Представим себе сообщение: «Земля вращается вокруг Солнца». Количество семантической информации будет зависеть от тезауруса получателя. Поскольку в тезаурусах у студентов уже есть эта информация, она не несет никаких новых знаний. Количество извлеченной семантической информации будет равно 0. Однако если сообщить эту же информацию трехлетнему ребенку, его тезаурус стремительно расширится, т. к. эмпирически он наблюдает совсем другую картину. Однако, если рассмотреть сообщение: «Дивергенция однородного векторного поля равна нулю». При отсутствии базовых знаний извлечь смысл из сообщения не получится, т. е. количество семантической информации также будет стремиться к 0.
Б) Суть библиометрического подхода в том, что в качестве основного показателя семантической ценности информации, содержащейся в конкретном документе (сообщении, публикации), принимается количество ссылок на него в других документах. Зависимость здесь прямая: чем больше ссылаются на эту публикацию, тем больше семантически ценной информации она содержит
За меру прагматической ценности информации принимается количество информации, необходимое для достижения поставленной цели, т. е. рассчитывается вероятность достижения цели после получения сообщения.
Формула А. А. Харкевича выражает зависимость количества информации от вероятности приращения цели: P0 – вероятность достижения цели до получения информации, P1 – вероятность достижения цели после получения информации