44. Охарактеризуйте основополагающие концепции теории информации. Дайте понятие количественной меры информации.

Виды инф. Дискретная характеризуется последовательными точными значениями некоторой величины, а непрерывная -непрерывным процессом изменения некоторой величины. Непрерывную информацию может, например, выдавать датчик атмосферного давления или датчик скорости автомашины. Дискретную информацию можно получить от любого цифрового индикатора: электронных часов, счетчика магнитофона и т.п. Кодирование - преобразование дискретной информации одним из след. способов:шифрование,сжатие,защита от шума.Перевод непрерыв. в дискретн

частота дискретизации F, определяетпериод (Т = 1/ F) между измерениями значений непрерывной величины. Эту частоту разумно увеличивать только до предела, определяемого теоремой о выборках(для точной дискретизации ее частота должна быть не менее чем в два раза выше наибольшей частоты гармоники, входящей в дискретизируемую величину ).Ухо обычного человека способно различать звуки с частотой до 20КГц

=> записывать более высокие звуки бессмысленно

Мера информации по Шеннону.

1)a = bзаключает информацию о том, что a равно b.

a² = b² несет меньшую информацию, чем первое, т.к. из первого следует второе, но не наоборот.Равенство a³ = b³ несет в себе информ. по объему такую же, как и 1-е.

2)некоторые измерения с некоторой погрешностью, чем больше измерений, тем больше информации об измеряемой сущности будет получено

3) Пусть передатчик описывается случайной величиной, X. Тогда из-за помех на приемник будет приходить С.В., Y = X + Z , где – Z-С.В., описывающая помехи.В этой схеме можно говорить о количестве информации, содержащейся в случайной величине Y, относительно X. Чем ниже уровень помех (дисперсия мала), тем больше информации можно получить из Y.При отсутствии помех Y содержит в себе всю информацию об X.

В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины. Этот способ приводит к выражению количества информации числом.

Для дискретных случайных величин X и Y , заданных законами распределения P(X = X₁) = Pi , P(Y = Yj) = q_i и совместным распределением , P(X = X_s, X = X_i) = p_ij-количество информации, содержащейся в X относительно Y равно

Для непрерывных случайных величин, X и Y, заданных плотностями распределения вероятностей , Px(t₁) , Py(t2) и Pxy(t1t2), количество информации, содержащейся в X относительно Y равно

Энтропия-мера неопределённости, связанной со случайной величиной (с.в.); определяет количество информации, содержавшейся в сообщении (обычно в битах или битах на символ); минимальная длина сообщения, необходимая для передачи информации; также абсолютный предел наиболее возможного сжатия без потерь любого сообщения: при представлении сообщения рядом символов, кратчайшее представление, необходимое для передачи сообщения — это энтропия Шеннона в битах на символ, умноженная на число символов в исходном сообщении.

Энтропия принимает наибольшее значение для равновероятного распределения, когда все вероятности pk одинаковы; т.е. когда неопределённость, разрешаемая сообщением, макс

Энтропия Д.С.В. - это минимум среднего количества бит, которое нужно передавать по каналу связи о текущем значении данной Д.С.В.

Свойсва:1)I(X,Y)≥0, I(X,Y)=0↔X и Y- независимы

2)I(X,Y)=I(Y,X)

3)HX=0↔X-константа 4)I(X,Y)=HX+HY-H(X,Y),-ф-я от Y

Если X - инъективная функция от Y, то I(X,Y)=I(X,X)