Министерство образования и науки Украины

Национальный технический университет

«ХПИ»

Кафедра «Промышленная и биомедицинская электроника»

Конспект лекций

по курсу

«Теория информации и кодирования»

Харьков 2007

Составитель: Фетюхина Л.В.

Тема 1. Предмет и методы теории информации и кодирования

1.1. Введение

Теория информации – научная дисциплина, изучающая способы передачи, хранения и обработки информации наиболее надежным и экономным методом.

Информация является отражением реального мира. Под информацией (лат. informatio –разъяснение, изложение) первоначально подразумевались сведения, передаваемые усно, письменно или любым другим способом. В середине ХХ века произошли изменения в трактовке понятия «информация», что было связано с бурным развитием науки и техники, особенно компьютерной. Объем информации в настоящее время ежегодно удваивается.

Теория информации была вызвана к жизни практическими потребностями техники связи. Она базируется на методах теории вероятности, математической статистики, линейной алгебры и других разделах математики. Основы теории информации (математической теории передачи сообщений) сформулировал Клод Шеннон (США) в 1947-48 г. г. в связи с потребностями радиосвязи, телефонии, радиолокации, а также проблемами построения первых ЭВМ.

Теорию кодирования можно считать частью теории информации. Она изучает проблемы разработки алгоритмов кодирования и декодирования, оценивает их эффективность.

Теория информации и кодирования широко используется для анализа процессов в различных информационных системах, информации (вычислительные системы, системы связи, телевидение и т. д.). В компьютерной технике методы теории информации необходимы для оценки быстродействия, точности и надежности систем, сжатия и защиты информации, согласования сигналов и каналов в компьютерных сетях передачи данных и т. д.

1.2. Основные понятия и определения

Понятие “информация” принадлежит к исходным неопределяемым понятиям науки, т. к. оно является многозначным. Не существует единого определения этого понятия, которое охватывало бы все аспекты: количественную, содержательную, прагматическую и др. стороны.

Информация – в общем случае, совокупность сведений о каких-либо событиях, явлениях, предметах, получаемых в результате взаимодействия с внешней средой. Формой представления информации является сообщение.

Сообщение - любые сведения или данные, поступающие от отправителя (источника) сообщений на вход системы связи для передачи получателю. Для представления информации (хранения, обработки, преобразования) используют различные символы, позволяющие выразить ее в определенной форме (текст, речь, рисунок, колебания, цифры, числа, символы, жесты).

Информация от источника к приемнику передается с помощью сигнала. Сигнал - физический процесс, отображающий сообщение. Носителем информации может быть только такой сигнал, изменение которого во времени точно предсказать нельзя. Априорно известный сигнал не содержит информации. Информация - лишь те сведения в сообщении, которые неизвестны получателю, т.е. не всякое сообщение несет информацию. Информация характеризуется рядом показателей: количеством, скоростью передачи, надежностью передачи, достоверностью. Различают сигналы оптические, электрические, звуковые, радиосигналы и т.д.