- •Глава 6
- •6.1. Энтропия. Энтропия идеального газа
- •6.2. Второе начало термодинамики
- •6.3. Необратимые процессы
- •6.4. Закон возрастания энтропии и необратимость времени
- •6.5. Статистическая интерпретация второго начала термодинамики
- •6.6. Энтропия как мера беспорядка молекулярной системы
- •6.7. Энтропия и информация
- •6.8. Третье начало термодинамики
- •6.9. Открытые термодинамические системы
- •6.10. Условия термодинамического равновесия
- •6.11. Понятие об отрицательной абсолютной
6.7. Энтропия и информация
С развитием теории информации выяснилось, что понятие энтропии допускает более широкое статистическое толкование, чем просто степень беспорядка молекулярной системы. Это связано с тем, что вытекающая из формулы Больцмана формула (6.12) связывает величины разной природы – физической S и математической p. Этим и объясняется широкое применение формулы Больцмана и связанных с нею термодинамических представлений не только в физике, но и в других науках, которые пользуются понятием вероятности, в частности в теории информации, лежащей в основе современной кибернетики. Связь между энтропией и информацией – еще одно важное следствие второго начала термодинамики. Под информацией понимаются любые сведения, переданные от одного субъекта (или объекта) к другому посредством звуковых, световых, печатных, цифровых или другого вида сигналов.
К. Шеннон ввел понятие информационной энтропии, которая выступает как мера неопределенности при характеристике объекта или явления и базируется на вероятностном подходе. Пусть M – число возможных событий, исходов; число реализаций какой-либо ситуации; число вариантов и т.п. По Шеннону информационная энтропия связана с числом возможных исходов так же, как энтропия термодинамическая связана со статистическим весом, т.е. логарифмической зависимостью
(6.17)
где K – некоторый коэффициент пропорциональности.
. Анализ выражения (6.17) позволяет сделать следующие выводы: информационная энтропия монотонно возрастает с увеличением числа исходов M. Это соответствует тому, что чем больше число возможных исходов, тем неопределеннее ситуация. Если M = 1, то т.е. неопределенность отсутствует, результат строго детерминирован.
Количество информации I, полученное в опыте или при передаче сигналов, характеризуется устранимой при этом неопределенностью. Поэтому под информацией следует понимать не любое сообщение, а только то, которое устраняет (уменьшает) неопределенность. Все остальное – это информационный шум. За количество информации принимают уменьшение неопределенности, т.е. величину
где – информационная энтропия (неопределенность) до опыта, – информационная энтропия (неопределенность) после опыта. А поскольку (ситуация выяснилась, и поэтому неопределенность исчезла), то т.е. количество информации равно первоначальному значению неопределенности:
Постоянная K остается произвольной; ее численное значение может быть найдено с помощью некоторого определения. Обычно используется следующее определение. Рассмотрим так называемую двоичную систему, которая имеет только два исхода (M = 2), и потребуем, чтобы Откуда тогда
Информация, полученная при реализации одного из двух исходов, называется информацией в 1 бит. Поэтому определенная формулой информация измеряется в битах. Так, если M = 8 = 23, то I = 3 бит. Если M = 1, то I = 0, что соответствует случаю, когда информация отсутствует. Единица измерения информации бит в равной мере пригодна для исследования всех видов информационных процессов. Благодаря ее введению наука приобрела инструмент для исследования информационно-энтропийных соотношений, справедливых для всех форм информации.
Часто информацию измеряют в единицах, называемых натами (от термина «натуральный логарифм»). В этом случае полагают K = 1 и тогда
Если все исходы равновероятны, то вероятность каждого исхода откуда а информационная энтропия
Определенная таким образом информационная энтропия в теории информации выступает как мера неожиданности события. Эта формула хорошо передает многие из наших интуитивных представлений о свойствах, которыми она должна обладать. Действительно, вероятность есть величина, меньшая единицы, и, следовательно, ее логарифм, взятый со знаком минус, есть величина положительная, а значит, положительной величиной является и неожиданность. Чем меньше вероятность реализации какого-либо события, тем оно неожиданнее и тем, следовательно, больше Если событие достоверно, то вероятность равна единице, а ее логарифм равен нулю.
Уменьшение неожиданности, являющееся следствием измерения (наблюдения) можно принять в качестве меры информации, которая при этом была получена. Так как конечная неопределенность равна нулю, то уменьшение неожиданности равно ее первоначальному значению. Поэтому выражение является также мерой количества информации, полученной в опыте, который показывает, что событие А осуществилось. Таким образом,
или
Если рассматривается некоторая полная группа неожиданных событий, каждое из которых обладает своей неожиданностью, то возникает вопрос о характеристике, общей для всей системы. Такой характеристикой является информационная энтропия, которая вводится теперь как среднее по всей системе значение неожиданностей, т.е. неожиданность каждого i-го события умножается на вероятность этого события , и все полученные результаты суммируются. Таким образом,
(6.18)
причем
(6.19)
Суммирование в выражениях (6.18) и (6.19) распространяется на все события, составляющие полную группу. Энтропия характеризует степень неопределенности или хаотичности, которая имеет место в данной ситуации. Заметим, что величина равна нулю, если какое-либо из pj равно единице, а все остальные pi равны нулю, т.е. когда результат испытания может быть предсказан с достоверностью и неопределенность в информации отсутствует. Можно показать (используя метод множителей Лагранжа), что максимального значения, равного информационная энтропия достигает, когда все Очевидно, что этот предельный случай обладает наибольшей неопределенностью.
Для распределения вероятности непрерывной величины x с плотностью f (x) информационная энтропия равна
при этом