- •Н.Н. Куцый теория информации
- •1. О понятии "информация"
- •2. Этапы обращения информации
- •3. Информационные системы
- •4. Система передачи информации: основные понятия и определения
- •5. Уровни проблем передачи информации
- •6. Теория информации
- •7. Понятия сигнала и его модели
- •8. Формы представления детерминированных сигналов
- •9. Ортогональные представления сигналов
- •10. Временная форма представления сигнала
- •11. Частотная форма представления сигнала. Спектры периодических сигналов
- •12. Распределение энергии в спектре периодического сигнала
- •13. Частотная форма представления сигнала. Спектры непериодических сигналов
- •14. Распределение энергии в спектре непериодического сигнала
- •15.Соотношения между длительностью импульсов и шириной их спектра
- •16.Спектральная плотность мощности детерминированного сигнала
- •17.Функция автокорреляции детерминированного сигнала
- •18.Случайный процесс как модель сигнала
- •19.Стационарные и эргодические процессы
- •20.Спектральное представление случайных сигналов
- •21.Частотное представление стационарных случайных процессов (дискретный спектр)
- •22.Частотное представление стационарных случайных сигналов. Непрерывные спектры
- •23.Основные свойства спектральной плотности
- •24.Преимущества цифровой формы представления сигналов
- •25.Общая постановка задачи дискретизации
- •26.Способы восстановления непрерывного сигнала
- •27.Критерии качества восстановления
- •28.Методы дискретизации посредством выборок
- •29.Равномерная дискретизация. Теорема котельникова
- •30.Теоретические и практические аспекты использования теоремы котельникова
- •31.Дискретизация по критерию наибольшего отклонения
- •32.Адаптивная дискретизация
- •33.Квантование сигнала
- •34.Квантование сигналов при наличии помех
- •35.Геометрическая форма представления сигналов
- •36.Энтропия как мера неопределенности выбора
- •37.Свойства энтропии
- •38.Условная энтропия и её свойства
- •39.Энтропия непрерывного источника информации (дифференциальная энтропия)
- •40.Свойства дифференциальной энтропии
- •41.Количество информации как мера снятой неопределенности
- •42.Эпсилон-энтропия случайной величины
- •43.Информационные характеристики источника сообщений и канала связи. Основные понятия и определения
- •44.Информационные характеристики источника дискретных сообщений
- •45.Информационные характеристики дискретных каналов связи
- •46.Информационные характеристики источника непрерывных сообщений
- •47.Информационные характеристики непрерывных каналов связи
ИPКУТСКИЙ ГОСУДАPСТВЕHHЫЙ
ЛИНГВИСТИЧЕСКИЙ УHИВЕPСИТЕТ
Н.Н. Куцый теория информации
Иркутск - 2011 г.
Куцый Н.Н. Теория информации: Учеб. пособие. – Иркутск, изд-во Иркутск. лингвистического гос. ун-та, 2011. – с.
Изложены основные положения теории информации. Рассмотрено понятие сигнала и способы его представления; основные свойства сигналов с точки зрения информационных систем. Обращено внимание читателей на важность изучения свойств сигналов как носителей информации. Изложены некоторые необходимые вопросы прохождения сигналов через информационные системы. Представлены основные понятия теории информации - энтропии, количества информации и пропускной способности канала. Рассмотрены вопросы помехоустойчивости преобразующих устройств при малых и больших уровнях шумов.
Библиогр.
Рецензент:
1. О понятии "информация"
Понятие "информация" является центральным понятием кибернетики. Это понятие используется и в теории информации. Но все же следует сказать, что основным понятием классической теории информации является понятие "количество информации", смысл которого рассмотрен ниже.
Имеется множество определений понятия информации. Так можно привести общее в философской трактовке: информация - отражение реального мира. И можно привести более узкое практическое определение: информация - те сведения, которые являются объектом хранения, передачи и преобразования.
И в повседневной жизни приходится достаточно часто сталкиваться с понятием "информация". Обычно под этим подразумевают сведения, получаемые человеком из различных источников (люди, газеты, телевидение, радио), или сведения об окружающем мире и протекающих в нём процессах, воспринимаемые специальными устройствами или человеком, вызывающие при этом определенные его состояния (удивление, уныние, радость и т.п.). Социологи даже говорят об информационном обществе – новой стадии развития общества, в котором основным объектом деятельности является торговля информацией, а ведущая роль отводится сфере услуг, науке и образования – то есть тому, что способствует созданию новой информации.
При конкретизации понятия "информация" можно отметить расхождения по ряду вопросов, среди которых такие.
1. Информация - это свойство индивидуального объекта (процесса) или результат взаимодействия объектов (процессов)?
2. Присуща ли информация всем видам материи или лишь определенным образом организованной материи?
3. Существует ли информация в любых процессах или возникает только в процессах управления?
Академики В.М. Глушков и А.Н. Колмогоров, а также английский философ Эшби выдвинули понятие информации как характеристики внутренней организованности материальной системы. Под этим подразумевается множество состояний, которые может принимать рассматриваемая материальная система. Такое понятие позволяет оценивать потенциальные возможности систем независимо от процесса передачи или восприятия информации. Здесь подчёркивается мысль о том, что информация существует независимо от того, воспринимается она или нет. Однако справедливо отмечается, что информация проявляется только при взаимодействии объектов (процессов).
Противоречия не возникает, если информацию рассматривать как свойство объекта в потенциальном смысле - свойство, которое проявляется лишь при взаимодействии объектов (процессов). Так, в куске каменного угля содержится информация о событиях, происшедших в далекие времена, однако эта информация проявляется лишь при взаимодействии с человеком.
В книге Н. Винера "Кибернетика" подчеркивается, что "информация есть информация, а не материя и энергия". В отличие от них информация может возникать и исчезать. В примере с информацией в куске каменного угля она исчезнет, когда этот кусок каменного угля сгорит.
Весьма распространенным является также мнение о том, что информация присуща лишь определенным образом организованной материи, в которой возможны процессы управления. Сторонники этой точки зрения под информацией подразумевают только то, что воспринято и осмысленно, т.е. то, что целесообразно использовать для управления.
При всех различиях в трактовке понятия "информация" бесспорно то, что проявляется информация всегда в материально-энергетической форме в виде сигналов. Информацию, представленную в формализованном виде, позволяющем осуществить её обработку с помощью технических средств, называют данными.