Исторический очерк развития кибернетики

1948 г. – появление термина «кибернетика». Норберт Викер опубликовал книгу под названием «Кибернетика или управление и связь в машине и животном организме».

«Направляющий руль» - кибернетика.

Кибернетика – наука об управлении, связи и обмене информацией в различных системах – машинах и механизмах, ЭВМ, животных, популяциях, организациях и обществе в целом.

Ключевыми идеями книги Винера были следующие:

1. понимание управления как процесса обмена информации с целью повышения упорядоченности системы.

2. принцип обратной связи, заключающийся в корректировке управления за счет информации о текущем состоянии объекта.

В развитие кибернетики как науки внесли значительный вклад такие ученые как Стивен Бир, Э. Лоренц (теория сложный нелинейных систем), Б. Мандельброт (теория хаоса), В. Смит (теория эволюции).

С развитием кибернетики некоторые ее составные нити сформировались в самостоятельные дисциплины, такие как:

1. теория информации

2. искусственный интеллект

3. теория автоматического управления

4. теория адаптивных систем

5. теория катастроф

6. теория сложных систем

7. теория хаоса

8. теория игр.

Экономическая кибернетика – понятие сформировалось в 60-х гг. XXв. Экономическая кибернетика – связана с изучением экономики как системы и процессов управления и передачи информации в экономических структурах.

Основы теории информации. Роль информации в экономике.

1. Различные подходы к определению информации.

В первоначальном смысле термин информация означал знания вообще. С развитием кибернетики этот термин конкретизировался и стал употребляться в более точных смыслах. В настоящее время принято определение информации как меры неопределенности состояния изучаемого объекта.

Неопределенность в свойствах объекта выражается количеством различных его состояний, чем больше количество, тем больше уровень неопределенности.

Количественной мерой неопределенности является энтропия системы.

Информация в системе получается наблюдателем в результате пассивного наблюдения объекта, любо активного эксперимента. Знания наблюдателя о системе до эксперимента – априорные, после – апостериорные.

Успешный эксперимент приводит к выявлению состояния объекта или законов его поведения, таким образом снижая уровень неопределенности.

Наблюдатель рассматривает информацию в 3- х аспектах:

1. прагматическом – достижение своих целей, ценности или полезности получаемых сведений.

2. семантическом – с точки зрения смыслового содержания и правильного истолкования информации.

3. синтаксическом – с точки зрения способа передачи и отображения информации.

2. Статистический подход к определению информации.

Любому изучаемому объекту присуща неопределенность его возможных состояний. Чем больше количество состояний, тем выше неопределенность.

Количественная мера беспорядка в системе, выражающаяся в неопределенности его состояний, характеризуется энтропией системы.

Имеется два определения энтропии:

1 определение: энтропия системы равна log числа возможных состояний объекта.

Возможные состояния системы: S = 1,…,S

H⁰ = log S, (1)

Предположим, для передачи информации мы используем всего два сигнала: 0 и 1.

Последовательность из n двоичных сигналов позволяет описать 2ⁿ возможных состоянии.

2ⁿ = S n = log₂S

Чаще всего в первом определении в качестве основания log используется 2. в этом случае энтропию системы можно интерпретировать как количество двоичных сигналов (бит), необходимых для передачи сообщения о действительном состоянии системы.

2 определение по Шеннону: первое определение энтропии соответствует так называемой вариационной неопределенности, когда все возможные состояния системы равновероятны. В случае, когда распределение вероятностей системы отличается от равномерного, определение энтропии следует скорректировать.

Формула определения энтропии была предложена Шенноном в 1948 г.

S = 1,…, S

P(S) – вероятность каждого состояния, P(S) = 1

(2)

Покажем, что если все состония системы равновероятны Н=Н⁰, P(S) = ½

Если состояния системы неравновероятны, то можно показать, что: Н≤Н⁰.

Наряду с энтропией говорят об информации или неэнтропии, как величине обратной по знаку энтропии: I = -H.

Энтропия обладает свойством аддитивности, т.е. энтропия системы, составленной из 2-х изолированных статистически независимых объектов равна сумме энтропии этих объектов.

Энтропия замкнутой изолированной системы со временем монотонно увеличивается вплоть до достижения максимального значения Н⁰.

Основоположник теории информации Клод Шеннон исходил из функционального подхода к понятию информации. Он рассматривал ее как снятую неопределенность об объекте в результате получения адресатом некоторого сообщения, касающегося этого объекта.

Пусть изучаемый объект может принять одно из S состояний: х₁, х₂,…,х_S.

Предположим также, что на объект могут поступать воздействия, принимающий одно из М значений: у₁, у₂,…, у_m. Воздействия носят случайный характер.

Введем вектор условных вероятностей P(X(Y_j))=(P(X₁/Y_j), P(X₂/Y_j),…,P(X_S/Y_j))

Рассмотрим воздействия на объект Y как сигнал потенциально доступный наблюдению. До приема сигнала известны априорные вероятности Р(Y_j) каждого возможного сообщения.

Сообщения, которые получает наблюдатель указывает конкретную реализацию Y_j случайные величины Y. Определим информационную ценность полученного сообщения.

До получения сигнала априорные вероятности P⁰(X_i), i= 1,…,s, состояния объекта можно получить по формуле:

P⁰(X_i)=(X_i/Y_j)Р(Y_j)

После получения конкретного сигнала Y_j апостериорная вероятность того, что объект будет находиться в этом состоянии задается формулой:

Р^/(X_i)=Р(Xi/Yj)

Информационная ценность полученного сигнала равна изменению энтропии объекта в результате получения сигнала, а именно: априорная энтропия объекта:

Н(X)=-P⁰(X_s)*logP⁰(X_s)

Апостериорная энтропия объекта после получения сигнала Y_j будет равна

Н(X/Y_j) = -P^/(X_s)*logP^/(X_s)

Количество информации об объекте Х, полученной в результате получения сообщения Y_j будет равно:

I(X, Y_j)=H(X)-H(X/Y_j)

Из последней формулы видно, что различные сигналы несут в себе разное количество информации

.