4. Единицы измерения количества информации.

В качестве единицы информации условились принять один бит.

Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений.
А в вычислительной технике битом называют наименьшую "порцию" памяти, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸).

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная единица информации.

Формула определения количества информации, учитывающая возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = – ( p₁ log₂ p₁ + p₂ log₂ p₂ + . . . + p_N log₂ p_N ),
где p_i — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Формула Хартли: I = log₂N.

Р. Хартли (1928 г.) процесс получения информации рассматривает как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N.