- •1 Основные разделы кибернетики.
- •2 Основоположники кибернетики
- •3 Категория управления
- •4 Определение Шеннона
- •6 Дискретная (цифровая) и непрерывная (аналоговая) информация
- •7 Процесс дискретизации
- •9 Теорема Найквиста
- •10 Вероятностный подход к измерению дискретной и непрерывной информации
- •11 Информационная энтропия
- •12 Энтропия Шеннона
- •13 Измерение количества информации
- •14 Измерение количества энтропии
- •16 Источник информации
- •18 Условная энтропия
- •19 Полная энтропия Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Математические свойства
- •20 Случайная средняя энтропия
1 Основные разделы кибернетики.
Кибернетика (от греч. kybernetike — искусство управления, от kybernáo — правлю рулём, управляю) - это наука об общ з-нах получ, хранен, перед и перераб инф. Ее осн предмет исследования - это так называемые кибернетические системы, рассм-ые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем: автоматические регуляторы в технике, ЭВМ, мозг человека или животных, биологическая популяция, социум. Часто К. связывают с методами искусственного интеллекта, т.к. она разрабатывает общие принципы создания систем управления и систем для автоматизации умственного труда. Осн разделами современной К. считаются: теория информации, теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавания образов. Теория инф тесно связана с такими разделами математики как ТВ и МС, а также прикладная алгебра, к-ые предоставляют для нее математ фундамент. С др стороны ТИ исторически и практически представляет собой математ фундамент теории связи. Часто ТИ вообще рассматривают как одну из ветвей ТВ или как часть теории связи. Теория алгоритмов - это наука, изучающая общ св-ва и закономерности алгоритмов, разнообразные формальные модели их представления. Теория автоматов — раздел дискретной математики, изучающий абстрактные автоматы — вычислит машины, представленные в виде математ моделей — и задачи, к-ые они могут решать.
2 Основоположники кибернетики
Родоначальниками кибернетики (датой ее рождения считается 1948 год, год соответствующей публикации) считаются американские ученые Норберт Винер (Wiener, он - прежде всего) и Клод Шеннон (Shannon, он же основоположник теории информации). Винер ввел основную категорию кибернетики - управление(основная категория кибернетики), показал существенные отличия этой категории от других, например, энергии, описал несколько задач, типичных для кибернетики, и привлек всеобщее внимание к особой роли вычислительных машин, считая их индикатором наступления новой НТР. Выделение категории управления позволило Винеру воспользоваться понятием информации, положив в основу кибернетики изучение законов передачи и преобразования информации. Определить понятие “количество информации” довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к “объемному” подходу. Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи.