2. Энтропия зависимых и независимых систем.

НЕЗАВИСИМЫЕ

общая энтропия дискретных источников сообщений Х и У равна сумме энтропий источников.

H_нз(X,Y) = H(X) + H(Y), где H_нз(X,Y) – суммарная энтропия независимых систем, H(X) – энтропия системы X, H(Y) – энтропия системы Y.

ЗАВИСИМЫЕ

количество информации об источнике X определяют как уменьшение энтропии источника X в результате получения сведений об источнике Y.

H_з(X,Y) = H(X) + H(Y|X), где H_з(X,Y) – суммарная энтропия зависимых систем, H(X) – энтропия системы X, H(Y|X) – условная энтропия системы Y относительно X.

Энтропия зависимых систем меньше, чем энтропия независимых систем. Если энтропии равны, то имеет место частный случай зависимых систем – системы независимы.

H_з(X,Y) <= H_нз(X,Y) (<= – меньше или равно).

2. Информационные системы, информационный ресурс и информационная среда.

Информационные системы – раздел информатики, связанный с решением вопросов по анализу потоков информации в различных сложных системах, их оптимизации, структурирования, принципах хранения и поиска информации.

Информационная среда – набор условий для технологической переработки и эффективного использования знаний в виде информационного ресурса. Информационная среда включает: аппаратные средства, программное обеспечение, средства коммуникации и уровень подготовки кадров специалистов и пользователей, документалистику.

Информационный ресурс имеет два аспекта. 1 – информационный – наличие баз знаний и механизма их вывода. Применение таких систем основано на применении формально–логических подходов, машинных языков, модельного представления знаний. Базовое требование – математическая и логическая строгость в сочетании с простотой. 2 – восприятие и понимание процесса осознания информации человеком, установление соотношения между знаниями и информацией, переход одного во второе, а также переход знаний в социальную активнодействующую силу.

2. Структурные, статистические и семантические меры информации. Классификация информационных систем.

МЕРЫ ИНФОРМАЦИИ

Структурные меры информации подразделяются на 3 вида:

Геометрическая мера - определяют количество информации по числу информационных элементов (квантов), занимающих определенную область информационного поля.

Комбинаторная мера - количество информации измеряется числом комбинаций информационных элементов в информационной системе.

Логарифмическая мера - автором этой меры является Хартли. Выделение логарифма позволяет избавиться от главного недостатка комбинаторной меры - нелинейной зависимости количества информации от длины сообщения.

Статистические меры – оперирует понятием энтропии как меры неопределенности, то есть здесь учитывается вероятность появления тех или иных сообщений. При статическом вероятностном подходе получение конкретного количества информации рассматривается как результат определенного выбора среди возможных сообщений. Получатель информации может заранее знать или угадать ее часть. Когда приходит сообщение о часто происходящих событиях, вероятность появления которых Р стремится к единице, то такое сообщение малоинформативно. Столь же малоинформативны в среднем сообщения о событиях, вероятности которых стремятся к нулю, т.е. о почти невозможных событиях, поскольку сообщения о таких событиях поступают чрезвычайно редко.

Семантические меры – оценивают смысл, содержание информации, ее целесообразность и существенность. Целесообразность, полезность информации для решения какой-то задачи можно оценить по эффекту, который оказывает полученная информация на решение задачи. Если вероятность достижения цели увеличивается, то информацию следует считать полезной.

КЛАССИФИКАЦИЯ ИНФОРМАЦИОННЫХ СИСТЕМ

по виду отображаемого объекта – технические, биологические и др.;

по виду научного направления – математические, физические, химические и т. п.;

по виду формализованного аппарата представления системы – детерминированные и стохастические;

по типу целеустремленности – открытые и закрытые;

по сложности структуры и поведения – простые и сложные;

по степени организованности – хорошо организованные, плохо организованные (диффузные), самоорганизующиеся системы.