Теория Информации / 01 Информация и информационные системы

1

1.ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ СИСТЕМЫ

1.1.Основные понятия и концепции теории информации

Трудно найти более широкое и употребительное понятие, чем информация, но отнюдь не легче дать ему определение, которое объединило бы в себе множество смысловых значений, сопровождающих употребление этого термина.

Имеется множество определений понятия информации от наиболее общего философского (информация есть отражение реального мира) до наиболее узкого практического (информация есть все сведения, являющиеся объектом хранения, передачи и преобразования).

Некоторыми зарубежными авторами информация трактуется с идеалистических позиций в отрыве от материи как некоторая субстанция, занимающая промежуточное положение между материей и сознанием.

Несомненно, что формулируемое определение должно характеризовать наиболее общие и существенные признаки информации. Так как теория информации плодотворно используется уже во многих областях, то обсуждение вопроса о том, что такое информация, вышло за рамки технических, естественных и других частных наук. Понятие информации должно рассматриваться в связи со структурой, сложностью, упорядоченностью, организацией объектов любой природы.

Понятия структуры, системы, организации, упорядоченности предполагают использование понятия разнообразия, поэтому при анализе понятия информации следует в качестве его основы принять концепцию разнообразия, понимая под разнообразием не только разнообразие элементов, но с разнообразие связей, отношений, свойств и т.д.

Разнообразие имеет определенные аспекты и этот факт нашел свое отражение в различных подходах к созданию теории информации, в различных математических концепциях информации, изучающих различные классы разнообразия: статистическое, комбинаторное, алгоритмическое, топологическое и другие.

Впервые концепцию разнообразия, различия для построения теории информации (точнее ее статистического варианта) применил У. Эшби [17].

Под разнообразием У.Эшби понимает характеристику элементов некоторого конечного множества, заключающуюся в их отличии друг от друга, несовпадении. Если множество имеет некоторое разнообразие и происходит выбор из этого множества, то различные возможные результаты этого выбора будут связаны с соответствующими вероятностями элементов, то есть множество с вероятностями отображается в множестве с разнообразием. Эта идея принята им в качестве статистической модели понятия информации на основе понятия различия, разнообразия.

Если разнообразие множества связать с понятием информации, то логарифмическая мера степени разнообразия, равная логарифму мощности этого конечного множества, может быть принята в качестве меры количества

2

информации.

Некоторой мерой ограничения разнообразия в процессе его перехода от возможности к действительности является вероятность. С ограничением разнообразия как соотношением возможного и действительного разнообразия также связано понятие неопределенности. Это свидетельствует о глубокой связи понятий информации, вероятности и неопределенности на основе концепции разнообразия и поэтому представляется закономерным, что первый (статистический) вариант теории информации, разработанный К.Шенноном, был создан именно на этой основе.

Однако разнообразие – это еще не информация. Разнообразие есть основа информации, а понятие разнообразия – существенный признак содержания понятия информации. Не менее существенным является и другой признак – отражение, а информация представляется как содержание отражения. Такой подход наметил Н.Винер, определив понятие информации как обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств.

Отражение – это такое взаимодействие материальных систем, которое ведет к установлению определенного тождества между системами, когда содержание одной системы (отражающей) соответствует содержанию другой (отражаемой). Общее определение отражения отнюдь не исключает наличия отражения и внутри системы, ибо между ее частями всегда существует взаимодействие, т.е. можно говорить о самоотражении как особом виде отражения.

Весьма распространенным является также мнение о том, что информация присуща лишь определенным образом организованной материи, в которой возможны процессы управления. Сторонники этой точки зрения под информацией подразумевают только то, что воспринято и осмыслено, т. е. то, что целесообразно использовать для управления. Нетрудно заметить, что вопрос о существовании информации здесь неправомерно отождествляется с вопросом о способности объекта к восприятию и использованию информации. При таком подходе легко сойти на позиции субъективизма, ставящего объективно существующее в зависимость от воспринимающего субъекта.

При всех различиях в трактовке понятия информации бесспорно то, что проявляется информация всегда в материально-энергетической форме в виде сигналов. Информацию, представленную в формализованном виде, позволяющем осуществить ее обработку с помощью технических средств, называют данными.

В настоящее время существует множество достаточно самостоятельных ветвей развития теории информации, изучающих различные ее виды и функции, однако в каждой из них исследование ведется либо в количественном, либо в качественном аспекте. Первое направление, получившее название математического, изучает количественные соотношения и в качестве одного из основных понятий оперирует с количеством информации. Второе, логическое направление изучает

3

смысловое содержание (семантическая теория) и ценность информации (прагматическая теория).

Существующие математические теории информации используют один из следующих подходов: статистический (вероятностный), комбинаторный, топологический и алгоритмический.

Статистическая теория информации, основы которой разработаны К.Шенноном, является исторически первой и достаточно законченной теорией, оказавшей существенное влияние на все последующие исследования.

К.Шеннон одним из первых обратил внимание на то, что количество информации может быть определено на основе понятия вероятности.

Неопределенность (определенность) может быть принята в качестве характеристики как объективной действительности, так и ее отражения в формах деятельности субъекта, а потому правомерно связать изменение неопределенности с количественной мерой информации.

Статистическая теория информации отвлекается от качественной стороны неопределенности, количественное снятие неопределенности трактуется как процесс получения информации, а в качестве меры снятой неопределенности используется понятие количества информации.

Таким образом, в статистической теории информации мера снятой неопределенности в результате некоторого события, вероятность которого известна, называется количеством информации или, точнее, индивидуальным количеством информации. При этом не учитывается качество, смысл, ценность и т. д. информации.

Обычно рассматривается не индивидуальное, а среднее количество информации для некоторой совокупности событий, зависящее не только от их количества, но и от распределения вероятностей.

1.2. Основные направления в современной теории информации

В современной теории информации выделяется три основных направления, которые в настоящее время развиваются наиболее интенсивно.

1.Семантическое, задачей которого является исследование смыслового содержания информации.

2.Прагматическое, объектом исследования в котором является ценность информации.

3.Статистическое, в котором на основе вероятностного подхода к информационным процессам изучаются математические закономерности получения, передачи и использования информации в системах связи и управления.

Рассмотрим кратко указанные направления развития теории информации.

1.2.1.Семантические теории информации Основная идея семантической концепции информации заключается в

возможности измерения содержания суждений, которое связано с его

4

формой, т.е. здесь семантические свойства выражаются через синтаксические свойства информации.

Синтаксические свойства характеризуют внутренние отношения между элементами и их связями, это свойство конкретной системы, и цель синтактики – изучение только формальных аспектов языка [Харкевич ?]. Семантика же изучает не только формальные правила, но и правила отношений информации к действительным вещам и их связям. Поскольку в формальных конструкциях отображается действительность, то возможно измерение содержания через его форму – в этом исходные предпосылки семантических теорий информаций.

Семантическая теория информации является логическим аналогом теории Шеннона. Для измерения содержания высказывания используется понятие логической вероятности, например, степени подтверждения гипотезы, записанной на формализованном языке.

Содержание информации определяется возможными состояниями обозначаемого объекта в данной языковой системе. С помощью методов индуктивной логики выявляется связь выдвинутой гипотезы с начальным достоверным знанием. Связь между гипотезой и достоверным знанием определяется степенью подтверждения гипотезы. Логарифм степени подтверждения гипотезы принимается равным количеству семантической информации, содержащейся в гипотезе.

Перспективный подход к оценке семантической информации предложен Ю. Шрейдером [] на базе образной концепции значения и концепции разнообразия. Теория строится в предположении, что приемнику известен алфавит источника сообщений. В более общей формулировке это означает, что приемник обладает некоторым запасом знаний – тезаурусом, который может с получением сообщений изменяться, если существует алгоритм их анализа. При этих условиях количество семантической информации, содержащейся в сообщении, естественно измерять степенью изменения тезауруса под влиянием содержания сообщения.

В отличие от вероятностных теорий информации, где количество получаемой информации тем больше, чем меньше сведений имеется об источнике, в теории Ю. Шрейдера мера семантической информации растет, если одно и то же сообщение поступает в приемники со все более сложным (богатым) тезаурусом, так как в более сложных тезаурусах больше возможностей для изменения. Действительно, содержание информации должно быть формализовано на языке, понятном приемнику, в противном случае ее восприятие останется на синтаксическом уровне как набор некоторых знаков, не имеющих семантического содержания. Однако и при известных алфавите и коде количество семантической информации может быть равно нулю, во-первых, потому, что сообщение содержит понятия, неизвестные приемнику в силу бедности его тезауруса, и, во-вторых, если содержание сообщения не имеет существенной новизны.

Между этими границами лежит область, где приемник получает от источника сообщений некоторое количество информации. Естественно

5

предположить, что внутри этой области достигается максимум восприятия семантической информации, положение которого зависит как от сложности сообщения, так и от уровня развития тезауруса приемника.

Совершенно ясно, что передачу информации нужно вести вблизи этого максимума, для чего необходима оптимизация режимов передачи и восприятия информации.

Математические и логические методы такой оптимизации в настоящее время интенсивно разрабатываются, однако говорить об ощутимых практических результатах пока преждевременно.

Предпринимались и другие более или менее удачные попытки оценить семантику информации.

1.2.2. Прагматические теории информации Прагматические теории информации в качестве объекта исследования

рассматривают ценность информации как отношение между информацией и воспринимающей ее системой, в то время как семантические теории исследуют отношение между информацией и источником сообщений.

Одна из первых таких теорий [Харкевич] основывалась на том, что информация служит для достижения некоторой определенной цели и является ценной, если способствует достижению данной цели. Однако одна и та же информация может иметь различную ценность, если рассматривать ее с точки зрения использования для различных целей. Ограничиваясь случаем, когда цель достаточно точно определена, в [] делается вывод, что ценность может быть измерена через приращение вероятности достижения цели, т.е. через количество информации, принятое в статистической теории, где под количеством информации понимается мера снятой неопределенности. При статистическом подходе полагается, что неценная информация не уменьшает неопределенность и поэтому, , если в результате получения сообщения неопределенность не уменьшилась, то считается, что приемник не получил информации. Таким образом, статистическая теория учитывает ценность лишь в некоторой, отнюдь не достаточной степени, так как приемник и цель передачи информации (снятие неопределенности) всегда фиксированы, а варьируется лишь количество информации. А для прагматической теории (теории ценности) необходимо варьировать не только количество информации, но и получателей и цели, которые они ставят.

Поэтому прагматические теории информации рассматривают теорию Шеннона как предельный, частный случай – для фиксированных получателей информации и целей.

Следует отметить, что вероятность достижения цели при получении сообщения увеличивается только тогда, когда содержащаяся в нем информация является истинной, т.е. неискаженной в процессе передачи. Поскольку понятия истинности и ложности являются семантическими характеристиками, то отсюда следует, что ни количественные, ни семантические, ни прагматические аспекты информации не могут рассматриваться изолированно друг от друга. Поэтому в достаточно

6

абстрагированной статистической теории неявно предполагается и ценность и смысл информации.

Другой вариант прагматической теории, разрабатываемый в [13], использует теоретико-игровой подход, связывающий статистическую теорию информации с теорией оптимальных решений. В отличие от количества информации, определяемого лишь заданием вероятностей, мера ценности информации здесь определяется введением функции потерь (штрафов), т.е. наряду с пространством вероятностей вводится пространство оценок. Оценка информации производится в зависимости от конкретных решаемых задач (целей) по результатам минимизации потерь. Максимальной ценностью обладает та информация, которая уменьшает потери до нуля.

Представляет интерес также теория ценности, впервые предложенная в [Бонгард], где предполагается, что неопределенность может нетолько уменьшаться, но и возрастать, если передается ложное сообщение – дезинформация. Таким образом, информация может иметь и отрицательную ценность или не иметь ее вовсе. Понятие полезной информации вводится с помощью решающего алгоритма. Информация называется полезной, если она уменьшает неопределенность решающего алгоритма. Изменение неопределенности связано с перераспределением вероятностей в решающем алгоритме. Изменение этих вероятностей в соответствии с поступающей информацией осуществляется декодирующим алгоритмом. Полезность информации приобретает смысл, если указаны решаемая задача, начальное состояние решающего алгоритма и свойства декодирующего алгоритма.

Нетрудно заметить, что во всех трех подходах, наряду с определенными различиями, ценность информации связывается с той или иной целью, а измеряется при помощи количества информации. Совершенно очевидно, что объективной основой ценности информации является разнообразие, так как ценность всегда связана с возможностью выбора. Любой объект содержит бесконечное количество элементов, связей, отношений, т.е. потенциально содержит бесконечное количество информации. В соответствии с поставленной целью происходит некоторый выбор из бесконечного разнообразия, то есть его ограничение, поэтому ценность информации может рассматриваться как свойство ограничения разнообразия, изменяющееся в зависимости от целей воспринимающей системы.

1.2.3. Статистическая теория информации Разработка статистической теории информации была вызвана

практической необходимостью решения прблем связи и управления, где вопросы передачи и переработки информации занимают центральное место. Изучение закономерностей передачи сообщений по техническим каналам связи, установление существенной общности и взаимосвязи процессов управления и коммуникации привело к появлению вероятностностатистических методов определения количества передаваемой информации. В результате этого в 1948 году независимо друг от друга были опубликованы

7

работы Н.Винера [] и К.Шеннона [4], содержащие основные идеи, положения и математический аппарат современной статистической теории информации. Главная роль здесь все же принадлежит ставшей классической статье К.Шеннона, которую автор назвал «Математическая теория связи», но в которой содержались важнейшие принципы и теоремы, составляющие основное содержание не только современной теории информации, но и теории передачи информации, теории кодирования и т.д.

Статистическая теория информации К.Шеннона накладывает на исследуемые явления четкую систему абстракций, основанную на том универсальном свойстве процессов связи, что каждое сообщение, независимо от его природы, содержания и назначения, выбирается из заранее известного множества возможных сообщений (множества, имеющего некоторое разнообразие), поэтому получателю информации достаточно знать результат выбора (ограничения разнообразия), неопределенность которого до получения сообщения зависит от числа элементов множества сообщений (степени разнообразия) и их вероятностей, равных в cyммe единице.

Таким образом, в качестве объекта исследования рассматривается некоторый ансамбль событий, состояниям которого присуща некоторая степень неопределенности, или, другими словами, рассматривается оистема, обладающая некоторым разнообразием.

Отражение этого разнообразия в вероятностном (статистическом) смысле характеризует информацию, получаемую от системы в виде некоторых сведений, интересующих получателя. Информация,выраженная в некоторой форме, представляет собой сообщение,как совокупность сведений о рассматриваемой системе.Сообщение приобретает смысл только тогда, когда состояние системы случайно, неопределенно, иначе не было бы смысла передавать сообщение. Сообщения любых реальных источников информации (дискретных и непрерывных) можно представить конечный набором кодовых знаков из конечного алфавита. В случае, например, двоичной системы счисления все сообщения можно закодировать последовательностью нулей и единиц, при этом источник в абстрактной модели системы будет иметь алфавит из двух символов, но тем не менее полностью опишет реальный источник с алфавитом из любого конечного числа символов. Введение такой абстракций правомерно, если принять во внимание принципиально ограниченную разрешающую способность получателя информация, поэтому те сообщения, которые не различимы получателем, можно рассматривать как одно сообщение. Задача измерения информации в этом случае сводится к определению минимально необходимого для представления сообщения количества символов алфавита (нулей и единиц). Это число зависит от меры неопределенности, выбора символа реального источника. В качестве меры неопределенности в статистической теория .информация принята величина энтропии ансамбля событий (источника сообщений).

По своему физическому смыслу энтропия источника сообщений - это минимально необходимое число знаков некоторого кода (определяемого единицей измерения), которое нужно затратить в среднем на один символ

8

реального алфавита источника, когда он посредством операции кодирования заменяется своим отображением в абстрактной системе связи.

Уменьшение степени неопределенности состояния системы в результате сообщения (разность априорной и апостериорной энтропии системы) в статистической теории информации измеряется количеством информации. Если используется алфавит из двух символов, то единица измерения энтропии и количества информации называется «бит» (binary digit ). Следует отметить, что выражение количества информации в абстрактной системе связи в битах носит идеальный характер. В реальных сообщениях никаких "бит", естественно, не содержится и выражение «передано 10 бит информации» означает только и только то, что процесс передачи сообщения, которое может иметь сколь угодно сложную форму, эквивалентен в технике связи передаче десяти чередующихся в определенном порядке токовых посылок и пауз.

В процессе передачи и обработки сообщения в информационной системе обычно происходит изменение формы, перекодирование разнообразия. Поэтому следует отметить, что объектом передачи в системе связи является не форма представления сообщения, а такая информация о нем, которая позволяет восстановить на приемной стороне исходное сообщение с требуемой точностью. Именно эта информация должна оставаться инвариантной при всех преобразованиях ее материального носителя. Физическая величина, отображающая сообщение источника информации, называется сигналом. Под сигналом понимается любой процесс или объект, при помощи которого можно передавать закодированное разнообразие. В частном случае сообщение и сигнал могут совпадать. Совершенно очевидно, что процесс отражения разнообразия (передача информации), кроме отражаемого и отражающего объектов (источника и получателя информации), может осуществляться только при наличии еще одного компонента – среды. Такой средой, предназначенной для передачи сигнала, является канал связи.

Итак, согласно концепции Шеннона в статистической теории информации любые качественно различные сообщения преобразуются в единую абстрактную математическую форму, а все разнообразные способы передачи сообщений приводятся к единой абстрактной модели системы связи, состоящей из следующих основных компонентов:

1. Источник информации, создающий сообщение или последовательность сообщений, которые могут представлять собой последовательность букв или цифр, некоторую непрерывную функцию времени или других переменных, несколько функций времени от одной или нескольких переменных, комбинации функций времени и т.д.

2. Передатчик, преобразующий некоторым образом сообщения источника в сигналы, соответствующие условиям и способу передачи информации, т.е. это устройство, осуществляющее кодирование сообщений.

9

3.Канал связи - среда, соединяющая передатчик и приемник в данной системе связи.

4.Приемник, воспринимающий сигналы и восстанавливающий по ним исходное сообщение, выполняя при этом операцию, обратную по отношению к операции, выполняемой передатчиком, т.е. приемник осуществляет декодирование сигналов в сообщение.

5.Получатель информации - человек или техническая система, для которых предназначено передаваемое сообщение.

В зависимости от типа сообщения и способа его передачи системы связи разделяют из дискретные, непрерывные и смешанные. Математический анализ, исследование и оптимизация указанных компонентов дискретных, непрерывных и смешанных систем связи являются основными задачами и целями созданной Шенноном статистической теории информации.

Н.Винер в своей знаменитой работе «Кибернетика, или управление и связь в животном и машине» в результате выявления сходства, общих черт процессов связи и управления в машинах, живых существах и обществе так же определил количество информации на основе концепции выбора, уточнения неопределенной ситуации. Согласно точке зрения Н.Винера восприятие, передача и хранение информации представляют собой прицессы связи, а ее переработка - процессы управления. Н.Винер толкует кибернетику как теорию организации, где процессы восприятия, передачи, хранения и преобразования информации нужны для существования, выживания, устойчивости кибернетических систем, и считает, что информационный подход может быть использован для измерения организации, упорядоченности, сложности любых систем. Идеи Н.Винера о применимости статистического варианта теории информации к системно-структурным исследованиям были впоследствии развиты У.Р.Эшби, который полагает, что «теория информации является, по существу, методом получения некоторого знания о причинно-следственных отношениях в тех случаях, когда причин и следствий так много, что детальное познание каждой отдельной пары «причина-следствие» оказывается невозможным, но у нас остается еще последняя возможность считать, что данное количество причин достаточно для выявления того же количества следствий » [эшби].

Специфику кибернетических систем У.Эшби видит, помимо их сложности, в свойстве непроницаемости, замкнутости для информации в результате чего.разнообразие внешних возмущений не может проникнуть в систему, не будучи зарегистрированным. Отсюда делается вывод, что кибернетическая система на определениям уровне организации превращается в информационную, т.е. в систему, способную к использованию информации и вместе с тем к управлению.

Так как информация есть свойство материи, которое посредством той или иной формы отражения может быть передано от одного материального объекта к другому и запечатлено в его структуре, то количество информации как мера сложности, организации, упорядоченности материальных объектов

10

может быть определено только при их взаимодействии между собой. Вне процесса взаимодействия количественная оценка информации невозможна, поскольку разнообразие состояний любого материального объекта, рассматриваемого как отдельный источник информации, при переходе от макро- к микроструктуре принципиально не ограничено. А если учесть принцип неопределенности Гейзенберга, устанавливающий предел различимости микросостояний объекта или физического переносчика сообщений, то количественная мера разнообразия (информационная емкость) структуры объекта становится величиной относительной, определяющей предельные условия взаимодействия материальных объектов. Таким образом, информация есть характеристика не сообщения, а соотношения между источником информации и ее потребителем, способ описания взаимодействия.

Статистическая теория информации изучает такие формы взаимодействия, которые хотя и зависят от энергетической стороны взаимодействия, но не определяются ею, так как информация независима от типа материального носителя и от физического способа передачи. Зависимость же информации от энергии состоит в том, что создание, переработка и хранение информации невозможны без энергетических затрат. Обычно затраты энергии на получение одного бита информации пренебрежимо малы, но положение может измениться, например, при очень точных измерениях.

Определенная зависимость информации и энергии в неживой природе отнюдь не означает тождественности информационного и энергетического подходов при исследовании. Действительно, величина энергии не зависит от разнообразия компонентов, составляющих некоторый объект, здесь действует закон взаимосвязи массы и энергии, установленный А.Эйнштейном, который показывает зависимость энергии от массы, т.е. в какой то мере oт числа элементов системы, но не от их разнообразия. Информация же зависит именно от разнообразия системы. Поэтому количество , информации может служить характеристикой не величины энергии, а мерой неоднородности распределения энергии в пространстве и времени. Информация существует постольку, поскольку существуют сами материальные объекты и, следовательно, созданные ими неоднородности [ю].

В заключение следует отметить, что абстрактная модель системы связи, лежащая в основе статистической теории информации, хотя и не может адекватно описать многие процессы и явления действительности, нашла достаточно широкое применение и доказала свою плодотворность в различных приложениях и, в первую очередь, при решении технических задач коммуникаций и управления.

1.3. Этапы обращения информации

Хотя роль информации может ограничиваться неопределенным эмоциональным воздействием на человека, в чисто технических