2.2 Теоретические подходы к оценке количества информации. Единицы измерения количества информации. Алфавитный подход к оценке количества информации. Закон аддитивности информации. Формула Хартли. Информация и вероятность.Формула Шеннона

1. Единицы измерения информации

Бит — минимальная единица информации (0 или 1).

Основные единицы:

2. Алфавитный подход

Принцип: Количество информации зависит от размера алфавита (N) и длины сообщения (K).

Формула Хартли:

$$ I = K \times \log_2 N $$

Где \( I \) — информация в битах, \( K \) — число символов, \( N \) — мощность алфавита.

Пример:

Алфавит из 32 символов (N=32), сообщение «АБВ» (K=3):

$$ I = 3 \times \log_2 32 = 3 \times 5 = 15 \text{ бит} $$

3. Закон аддитивности информации

Принцип: Информация от независимых событий суммируется.

$$ I_{\text{общ}} = I_1 + I_2 + … + I_n $$

Пример:

• Событие 1: «Орёл» при подбрасывании монеты (\( I_1 = 1 \) бит)
• Событие 2: «6» при броске кубика (\( I_2 = \log_2 6 \approx 2.58 \) бит)
• Общая информация: \( I = 1 + 2.58 = 3.58 \) бит

4. Формула Шеннона (вероятностный подход)

Принцип: Учитывает вероятность событий. Чем меньше вероятность, тем больше информации.

$$ I = — \sum_{i=1}^{n} p_i \times \log_2 p_i $$

Пример для двоичного источника:

5. Сравнение подходов

6. Визуализация вероятностей

Вероятности символов (пример):
A (80%) ████████████████████████████████████████
Б (20%) ██████████

Или с помощью таблицы: