- •Введение
- •1. Возникновение и развитие системных представлений
- •1.1. Предварительные замечания
- •1.2. Роль системных представлений в практической деятельности
- •Системность и алгоритмичность
- •1.3. Внутренняя системность познавательных процессов
- •Анализ и синтез в познании
- •Эволюция взглядов на системность мышления
- •1.4. Системность как всеобщее свойство материи
- •Вся природа системна
- •Системы как абстракция
- •Свойства любых систем
- •1.5. Краткий очерк истории развития системных представлений
- •Системность как объект исследования
- •Первые шаги кибернетики
- •Тектология богданова
- •Кибернетика винера
- •Попытки построения общей теории систем
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •2. Модели и моделирование
- •2.1. Широкое толкование понятия модели
- •Развитие понятия модели
- •Модель как философская категория
- •2.2. Моделирование - неотъемлемый этап всякой целенаправленной деятельности
- •Цель как модель
- •Познавательные и прагматические модели
- •Статические и динамические модели
- •2.3. Способы воплощения моделей
- •Абстрактные модели и роль языков
- •Материальные модели и виды подобия
- •Знаковые модели и сигналы
- •2.4. Условия реализации свойств моделей
- •2.5. Соответствие между моделью и действительностью: различия
- •Конечность моделей
- •Упрощенность моделей
- •Приближенность моделей
- •Адекватность моделей
- •2.6. Соответствие между моделью и действительностью: сходство
- •Истинность моделей
- •Сочетание истинного и ложного в модели
- •2.7. О динамике моделей
- •Сложности алгоритмизации моделирования
- •Естественная эволюция моделей
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •3. Системы модели систем
- •3.1. Множественность моделей систем
- •3.2. Первое определение системы
- •Проблемы и системы
- •Сложности выявления целей
- •3.3. Модель "черного ящика"
- •Компоненты "черного ящика"
- •Сложности построения модели "черного ящика"
- •Множественность входов и выходов
- •3.4. Модель состава системы
- •Компоненты модели состава
- •Сложности построения модели состава
- •3.5. Модель структуры системы
- •Отношения и структуры
- •Свойство и отношение
- •3.6. Второе определение системы. Структурная схема системы
- •Структурная схема как соединение моделей
- •3.7. Динамические модели систем
- •Отображение динамики системы
- •Функционирование и развитие
- •Типы динамических моделей
- •Общая математическая модель динамики
- •Заключение
- •Упражнения
- •Вопросы для самопроверки
- •4. Искусственные и естественные системы
- •4.1. Искусственные системы и естественные объекты
- •4.2. Обобщение понятия системы. Искусственные и естественные системы
- •Структурированность естественных объектов
- •Субъективные и объективные цели
- •4.3. Различные классификации систем
- •Классификация систем по их происхождению
- •Типы переменных системы
- •Типы операторов системы
- •Типы способов управления
- •4.4. О больших и сложных системах
- •Ресурсы управления и качество системы
- •Различение больших и сложных систем
- •Другие подходы к понятию сложности
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •5. Информационные аспекты изучения систем
- •5.1. Информация как свойство материи
- •5.2. Сигналы в системах
- •Понятие сигнала
- •Типы сигналов
- •5.3. Случайный процесс - математическая модель сигналов
- •Непредсказуемость - основное свойство сигналов
- •Классы случайных процессов
- •5.4. Математические модели реализации случайных процессов
- •Моделирование конкретных реализации
- •Некоторые модели ансамбля реализации
- •5.5. О некоторых свойствах непрерывных сигналов
- •Частотно-временное представление сигналов
- •Дискретное представление сигналов
- •5.6. Энтропия
- •Понятие неопределенности
- •Энтропия и ее свойства
- •Дифференциальная энтропия
- •Фундаментальное свойство энтропии случайного процесса
- •5.7. Количество информации
- •Количество информации как мера снятой неопределенности
- •Количество информации как мера соответствия случайных объектов
- •Свойства количества информации
- •Единицы измерения энтропии и количества информации
- •Количество информации в индивидуальных событиях
- •5.8. Об основных результатах теории информации
- •Избыточность
- •Скорость передачи и пропускная способность
- •Кодирование в отсутствие шумов
- •Кодирование при наличии шумов
- •Пропускная способность гауссова канала связи
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •6. Роль измерений в создании моделей систем
- •6.1. Эксперимент и модель
- •Классическое представление об эксперименте
- •Современное понятие эксперимента
- •6.2. Измерительные шкалы
- •Шкалы наименований
- •Порядковые шкалы
- •Модифицированные порядковые шкалы
- •Шкалы интервалов
- •Шкалы отношений
- •Шкалы разностей
- •Абсолютная шкала
- •Согласование шкалы с природой наблюдений
- •О других шкалах
- •6.3. Расплывчатое описание ситуаций
- •Понятие расплывчатости
- •Основные понятия теории расплывчатых множеств
- •6.4. Вероятностное описание ситуации. Статистические измерения
- •Понятие случайной неопределенности
- •О природе случайности
- •Статистические измерения
- •6.5. Регистрация экспериментальных данных и ее связь с последующей их обработкой
- •Классификационные модели
- •Числовые модели
- •Особенности протоколов наблюдений
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •7. Выбор (принятие решений)
- •7.1. Многообразие задач выбора
- •Выбор как реализация цели
- •Множественность задач выбора
- •7.2. Критериальный язык описания выбора
- •Выбор как максимизация критерия
- •Сведение многокритериальной задачи к однокритериальной
- •Условная максимизация
- •Варианты оптимизации при разноважных критериях
- •Выбор между упорядочениями
- •Поиск альтернативы с заданными свойствами
- •Нахождение паретовского множества
- •7.3. Описание выбора на языке бинарных отношений
- •Способы задания бинарных отношений
- •Отношения эквивалентности, порядка и доминирования
- •Об оцифровке порядковых шкал
- •7.4. Язык функций выбора
- •Функции выбора как математический объект
- •Ограничения на функции выбора
- •7.5. Групповой выбор
- •Описание группового выбора
- •Различные правила голосования
- •Парадоксы голосования
- •7.6. Выбор в условиях неопределенности
- •Задание неопределенности с помощью матрицы
- •Критерии сравнивания альтернатив при неопределенности исходов
- •Общее представление о теории игр
- •7.7. О выборе в условиях статистической неопределенности
- •Статистические решения как выбор
- •Общая схема принятия статистических решений
- •Понятие об основных направлениях математической статистики
- •Правила "статистической техники безопасности"
- •7.8. Выбор при расплывчатой неопределенности
- •Многокритериальный выбор в расплывчатой ситуации
- •Некритериальные задачи расплывчатого выбора
- •7.9. Достоинства и недостатки идеи оптимальности
- •Достоинства оптимизационного подхода
- •Ограниченность оптимизационного подхода
- •7.10. Экспертные методы выбора
- •Факторы, влияющие на работу эксперта
- •Методы обработки мнений экспертов
- •Метод "делфи"
- •7.11. Человеко-машинные системы и выбор
- •Пакеты прикладных программ для выбора
- •Базы знаний, экспертные системы
- •Системы поддержки решений
- •7.12. Выбор и отбор
- •Повторный выбор
- •Основные идеи теории элитных групп
- •Процедура "претендент- рекомендатель"
- •Процедуры "прополка" и "снятие урожая"
- •Процедура "делегирование"
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •8. Декомпозиция и агрегирование как процедуры системного анализа
- •8.1. Анализ и синтез в системных исследованиях
- •Сочетание анализа и синтеза в системном исследовании
- •Особенности синтетических методов
- •8.2. Модели систем как основания декомпозиции
- •Содержательная модель как основание декомпозиции
- •Связь между формальной и содержательной моделями
- •Проблема полноты моделей
- •8.3. Алгоритмизация процесса декомпозиции
- •Компромиссы между полнотой и простотой
- •Типы сложности
- •Алгоритм декомпозиции
- •8.4. Агрегирование, эмерджентность, внутренняя целостность систем
- •Эмерджентность как результат агрегирования
- •8.5. Виды агрегирования
- •Конфигуратор
- •Агрегаты-операторы
- •Классификация как агрегирование
- •Функция нескольких переменных как агрегат
- •Статистики как агрегаты
- •Агрегаты-структуры
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •9. О неформализуемых этапах системного анализа
- •9.1. Что такое системный анализ
- •Разнородные знания и системный анализ
- •Системный анализ как прикладная диалектика
- •9.2. Формулирование проблемы
- •Превращение проблемы в проблематику
- •Методы построения проблематики
- •9.3. Выявление целей
- •Опасность подмены целей средствами
- •Влияние ценностей на цели
- •Множественность целей
- •Опасность смешения целей
- •Изменение целей со временем
- •9.4. Формирование критериев
- •Критерии как модель целей
- •Причины многокритериальности реальных задач
- •Критерии и ограничения
- •9.5. Генерирование альтернатив
- •Способы увеличения числа альтернатив
- •Создание благоприятных условий
- •Способы сокращения числа альтернатив
- •Мозговой штурм
- •Синектика
- •Разработка сценариев
- •Морфологический анализ
- •Деловые игры
- •9.6. Алгоритмы проведения системного анализа
- •Трудности алгоритмизации системного анализа
- •Компоненты системных исследований
- •9.7. Претворение в жизнь результатов системных исследований
- •Внедрение результатов системного анализа в практику
- •Необходимость методологии внедрения
- •Рост и развитие
- •Условие добровольности участия в анализе
- •Роль отношений между участниками анализа
- •Проблемы и способы их решения
- •Роль этики в системном анализе
- •9.8. О специфике социальных систем
- •Несводимость социальных законов к биологическим и физическим
- •Существуют ли исторические закономерности?
- •"Мягкая" методология в системном анализе
- •Согласие при разногласиях
- •Учитывать будущее
- •Неожиданность как следствие сложности
- •Заключение
- •Литература
- •Вопросы для самопроверки
- •Краткий словарь специальных терминов
-
5.6. Энтропия
Установив, что случайные процессы являются адекватной моделью сигналов, мы получаем возможность воспользоваться результатами и мощным аппаратом теории случайных процессов. Кроме того, обнаружив, что некоторые типы непрерывных сигналов допускают дискретное представление, мы упрощаем задачу, сводя все к рассмотрению случайных величин.
Это не означает, что теория вероятностей и теория случайных процессов дают готовые ответы на все вопросы о сигналах: подход с новых позиций выдвигает такие вопросы, которые раньше просто не возникали. Так и родилась теория информации [9], специально рассматривающая сигнальную специфику случайных процессов. При этом были построены принципиально новые понятия и получены новые, неожиданные результаты, имеющие характер научных открытий.
-
Понятие неопределенности
Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которой удалось ввести количественную меру, названную энтропией. Начнем с простейшего варианта - со случайного события. Пусть, например, некоторое событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта "почти наверняка" является наступление события, во втором же случае неопределенность исхода так велика, что от прогноза разумнее воздержаться.
Для характеристики размытости распределений широко используется второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно, хотя и в этом случае можно говорить о большей или меньшей неопределенности исхода опыта. Следовательно, мера неопределенности, связанная с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале измеряются реализации случайного объекта.
-
Энтропия и ее свойства
Примем (пока без обоснования) в качестве, меры неопределенности случайного объекта А с конечным множеством возможных состояний А1, ... , Аn с соответствующими вероятностями p1, ... , pn величину H{A}=H({pi})= -i pi log pi , которую и называют энтропией случайного объекта А (или распределения {pi}). Убедимся, что этот функционал обладает свойствами, которые вполне естественны для меры неопределенности.
1°. Н(p1, ... , pn) = 0 в том и только в том случае, когда какое-нибудь одно из {pi} равно единице (а остальные - нули). Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т.е. когда отсутствует всякая неопределенность. Во всех других случаях энтропия положительна. Это свойство проверяется непосредственно.
2°. Н(p1, ... , pn) достигает наибольшего значения при p1= ... =pn=п-1, т.е. в случае максимальной неопределенности.
3°. Если А и В - независимые случайные объекты, то H(АВ)=H(А)+H(B).
4°. Если А и В - зависимые случайные объекты, то H(АВ)=H(А)+H(B|A)= H(B)+H(A|B), где условная энтропия H(B|A) определяется как математическое ожидание энтропии условного распределения.
5°. Имеет место неравенство H(A)H(A|B), что согласуется с интуитивным представлением о том, что знание состояния объекта В может только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной.
Это свойство доказывается с помощью тождественного неравенства kkf(xk)f(kxk), справедливого для любой выпуклой функции f(x), если в этом неравенстве положить f(x)=x logx, k=pk, xk=qk|l.
Как видим, свойства функционала Я позволяют использовать его в качестве меры неопределенности. Интересно отметить, что если пойти в обратном направлении, т.е. задать желаемые свойства меры неопределенности и искать обладающий указанными свойствами функционал, то уже только условия 2° и 4° позволяют найти этот функционал, и притом единственным образом (с точностью до постоянного множителя).