Объем данных и количество информации. Формула Шеннона

Введение
Возникновение теории информации как самостоятельной науки связано с идеями кибернетики. Кибернетика изучает в самом общем виде процессы управления, а рациональное управление требует определенной информации, ее получения, хранения, передачи по каналам связи и переработки.
Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, «размеров» канала связи и т.п., особенно применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами.
Основополагающими понятиями теории информации являются информация и мера информации. Подходов к измерению информации существует несколько. Наиболее часто в измерении информации используют синтаксический подход.
Именно поэтому темой нашей работы является объем данных и количество информации, формула Шеннона.
Объект работы: количество информации.
Предмет количественная мера информации.
Целью нашей работы является изучение подходов и правил измерения информации, в частности синтаксической меры, формулы Шеннона.
Задачи:
1. сделать анализ литературы по проблеме исследования.
2. изучить подходы и правила измерения информации, в частности синтаксическую меру, формулу Шеннона.