2.5 Кодирование текстов. Кодировка ASCII. Однобайтные кодировки. Стандарт UNICODE. Кодировка UTF-8. Определение информационного объёма текстовых сообщений

1. Основные понятия

Кодирование текста — преобразование символов в двоичные коды.

Исторические этапы:

1. ASCII (1963) — 128 символов
2. Расширенные кодировки (CP1251, KOI8-R) — 256 символов
3. Unicode (1991) — все языки мира

2. Кодировка ASCII

Особенности: 7 бит (128 символов), первые 32 — управляющие.

Таблица ASCII:

Пример:

'A' → 65₁₀ → 1000001₂

3. Однобайтные кодировки

Особенности: 8 бит (256 символов), совместимы с ASCII.

Популярные кодировки:

Проблема: Несовместимость между кодировками (кракозябры).

4. Стандарт Unicode

Цель: Единая кодировка для всех языков (149 186 символов в версии 15.1).

Основные диапазоны:

5. Кодировка UTF-8

Принцип: Переменная длина кода (1-4 байта).

Правила кодирования:

Примеры:

• 'A' (U+0041) → 01000001
• 'Б' (U+0411) → 11010000 10010001
• '😊' (U+1F60A) → 11110000 10011111 10011000 10001010

Схема декодирования:

graph TD
A[Начало] --> B{Первый байт}
B -->|0xxxxxxx| C[1 байт: ASCII]
B -->|110xxxxx| D[Читать ещё 1 байт]
B -->|1110xxxx| E[Читать ещё 2 байта]
B -->|11110xxx| F[Читать ещё 3 байта]
D --> G[Собрать символ]
E --> G
F --> G
C --> G
G --> H[Декодированный символ]

6. Расчёт информационного объёма

Формула: \( V = N \times L \)

Где \( V \) — объём (байты), \( N \) — число символов, \( L \) — средняя длина кода.

Примеры: