Теория информации, ВАР 6

1. Теоретический вопрос: Помехоустойчивое кодирование. Понятие и классификация помехоустойчивых кодов.
2. Для передачи секретного сообщения из 25 символов использовался код, состоящий из 12 букв. Все буквы кодируются одним и тем же

(минимально возможным) количеством бит. Чему равен информационный объем такого сообщения?
3. Рассмотрите первое свойство энтропии (Энтропия есть величина вещественная, ограниченная и неотрицательная: H0. Максимальное

значение равно 0,531). Для этого составьте программу построения графика функции Hi = -pilogpi при изменении вероятности от нуля до

единицы. Значения рi возьмите через интервал 0,05. Сделайте соответствующие выводы.
4. Из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь,

равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность того, что 15

ноября будет идти дождь, равна 0,65; вероятность, что будет идти снег, равна 0,15, вероятность, что не будет осадков, равна 0,2. В какой

из двух перечисленных дней погоду следует считать более неопределенной?
5. Имеются две системы X и Y, объединяемые в одну, вероятности состояний которой представлены следующей матрицей:
0,02 0,01 0,05 0
P(X,Y)= 0,1 0,1 0,2 0,1
0,01 0,1 0 0
0,1 0,2 0,01 0
Определите полную условную энтропию H(Y/X).
6. Имеется статистическая схема сообщения
N= A B C
0,7 0,2 0,1
Произведите кодирование отдельных букв и двухбуквенных сочетаний по методу Шеннона-Фано, сравните коды по их экономичности

(количество информации, приходящееся на один символ) и избыточности.
7. Пусть алфавит А содержит 6 букв, вероятности которых равны 0,4; 0,2; 0,2; 0,1; 0,05 и 0,05. Произведите кодирование кодом

Хаффмена. Вычислить энтропию сообщений Н(Х) и среднюю длину кодового слова.
8. Перевести в код Грея число 106(10). Сделать проверку обратным переводом.
9. Закодировать инверсным кодом...