- •Предисловие
- •Лекция 1. Информация. Начальные понятия и определения
- •1. Информация и данные
- •2. Адекватность и формы адекватности информации
- •3. Качество информации
- •4. Понятие об информационном процессе
- •5. Формы представления информации
- •6. Преобразование сообщений
- •Лекция 2. Необходимые сведения из теории вероятностей
- •1. Понятие вероятности
- •2. Сложение вероятностей независимых несовместных событий
- •3. Умножение вероятностей независимых совместных событий
- •4. Нахождение среднего для значений случайных независимых величин
- •5. Понятие условной вероятности
- •6. Общая формула для вероятности произведения событий
- •7. Общая формула для вероятности суммы событий
- •Лекция 3. Понятие энтропии
- •1. Энтропия как мера неопределенности
- •2. Свойства энтропии
- •3. Условная энтропия
- •Лекция 4. Энтропия и информация
- •1. Объемный подход к измерению количества информации
- •2. Энтропийный подход к измерению количества информации
- •Лекция 5. Информация и алфавит
- •Лекция 6. Постановка задачи кодирования. Первая теорема Шеннона.
- •Лекция 7. Способы построения двоичных кодов. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды.
- •1. Постановка задачи оптимизации неравномерного кодирования
- •00100010000111010101110000110
- •2. Неравномерный код с разделителем
- •3. Коды без разделителя. Условие Фано
- •00100010000111010101110000110
- •00100010000111010101110000110
- •4. Префиксный код Шеннона–Фано
- •5. Префиксный код Хаффмана
- •Лекция 8. Способы построения двоичных кодов. Другие варианты
- •1. Равномерное алфавитное двоичное кодирование. Байтовый код
- •2. Международные системы байтового кодирования текстовых данных. Универсальная система кодирования текстовых данных
- •3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •4. Блочное двоичное кодирование
- •101010111001100010000000001000000000000001
- •5. Кодирование графических данных
- •6. Кодирование звуковой информации
- •Лекция 9. Системы счисления. Представление чисел в различных системах счисления. Часть 1
- •1. Системы счисления
- •2. Десятичная система счисления
- •3. Двоичная система счисления
- •4. 8- И 16-ричная системы счисления
- •5. Смешанные системы счисления
- •6. Понятие экономичности системы счисления
- •Лекция 10. Системы счисления. Представление чисел в различных системах счисления. Часть 2.
- •1. Задача перевода числа из одной системы счисления в другую
- •2. Перевод q p целых чисел
- •3. Перевод p q целых чисел
- •4. Перевод p q дробных чисел
- •6. Перевод чисел между 2-ичной, 8-ричной и 16-ричной системами счисления
- •Лекция 11. Кодирование чисел в компьютере и действия над ними
- •1. Нормализованные числа
- •2. Преобразование числа из естественной формы в нормализованную
- •3. Преобразование нормализованных чисел
- •4. Кодирование и обработка целых чисел без знака
- •5. Кодирование и обработка целых чисел со знаком
- •6. Кодирование и обработка вещественных чисел
- •Лекция 12. Передача информации в линии связи
- •1. Общая схема передачи информации в линии связи
- •2. Характеристики канала связи
- •3. Влияние шумов на пропускную способность канала
- •Лекция 13. Обеспечение надежности передачи информации.
- •1. Постановка задачи обеспечения надежности передачи
- •2. Коды, обнаруживающие одиночную ошибку
- •3. Коды, исправляющие одиночную ошибку
- •Лекция 14. Способы передачи информации в компьютерных линиях связи
- •1. Параллельная передача данных
- •2. Последовательная передача данных
- •3. Связь компьютеров по телефонным линиям
- •Лекция 15. Классификация данных. Представление данных в памяти компьютера
- •1. Классификация данных
- •2. Представление элементарных данных в озу
- •Лекция 16. Классификация структур данных
- •1. Классификация и примеры структур данных
- •2. Понятие логической записи
- •Лекция 17. Организация структур данных в оперативной памяти и на внешних носителях
- •1. Организация структур данных в озу
- •2. Иерархия структур данных на внешних носителях
- •3. Особенности устройств хранения информации
- •Контрольные вопросы
- •Список литературы
Контрольные вопросы
Дайте определения понятий «информация» и «данные». Что такое адекватность и качество информации? Что такое информационный процесс и чем он характеризуется?
Перечислите известные Вам формы представления информации. Дайте характиристику видам преобразования сообщений.
Что утверждает теорема Котельникова?
Дайте определение понятия энтропии как меры неопределенности.
Перечислите свойства энтропии.
Чт такое условная энтропия и как она вычисляется?
Охарактеризуйте объемный и энтропийный подходы к измерению количества информации.
Приведите формулу Хартли и поясинте ее смысл и следствия.
Дайте определение понятия «алфавит». Приведите формулу Шеннона и поясинте ее смысл.
Что утверждает первая теорема Шеннона?
Что такое неравномерный код с разделителем? Что гласит условие Фано?
Охарактеризуйте префиксный код Шеннона-Фано.
Префиксный код Хаффмана.
Что такое байтовый код? Что такое блочное двоичное кодирование?
Поясните понятие системы счисления. Какие системы счисления Вам известны? Классификация систем счисления.
Охарактеризуйте представление чисел в 10-й, 2-й, 8-й, 16-й системах счисления.
Что такое смешанные системы счисления?
Что означает понятие экономичности системы счисления?
Как осуществляется перевод целых чисел между системами счисления? Приведите примеры.
Как осуществляется перевод дробных чисел между системами счисления? Приведите примеры.
Что такое ормализованное число. Как осуществляется процедура нормализации числа?
Поясните принцип кодирования и обработки целых чисел без знака в ЭВМ.
Как осуществляется кодирование и обработка целых чисел со знаком в ЭВМ?
Каков принцип кодирования вещественных чисел в ЭВМ?
Охарактеризуйте общую схему передачи информации в линии связи.
Какие характеристики канала связи Вам известны? В чем проявляется влияние шумов на пропускную способность канала связи?
Какие методы обеспечения надежности передачи информации в линии связи Вам известны?
Что утверждает вторая теорема Шеннона?
Каковы принципы построения кодов, обнаруживающих одиночную ошибку в сообщениях?
Каковы принципы построения кодов, исправляющих одиночную ошибку в сообщении? Приведите пример построения кода Хемминга.
Охарактеризуйте параллельную и последовательную передачу данных по линиям связи.
Приведите известную Вам классификацию данных и структур данных.
Список литературы
Кудряшов Б.Д. Теория информации. СПб.: Питер, 2009. 320 с.
Хохлов Г.И. Основы теории информации. М.: Академия, 2008. 176 с.
Могилев А. В. Информатика / Н. И. Пак, Е. К. Хеннер. М.: Академия, 2009. 848 с.
Острейковский В. А. Информатика. М.: Высшая школа, 2009. 511 с.
Информатика: Базовый курс / Под ред. С. В. Симоновича. СПб.: Питер, 2011. 640 с.
Волков В.Б., Макарова Н.В. Информатика. СПб.: Питер, 2011. 576 с.
Стариченко Б. Е. Теоретические основы информатики. М.: Горячая линия-Телеком, 2004. 312 с.
Лидовский В.В. Основы теории информации и крипотрафии. – [Электронный ресурс]. – Режим доступа – http://www.intuit.ru/department/calculate/infotheory/
Бояршинов Б.С. Теория вероятностей и математическая статистика. – [Электронный ресурс]. – Режим доступа – http://www.intuit.ru/department/mathematics/ptams/
Пентус А.Е., Пентус М.Р. Математическая теория формальных языков. – [Электронный ресурс]. – Режим доступа – http://www.intuit.ru/department/algorithms/ mathformlang/
*Термин «префикс» означает «приставка».