8 Оқу пәнінің саясаты
Оқу пәнін оқытуда оқытушының білім алушыларға қоятын нақты талаптары: сабаққа міндетті түрде қатысу, сұрақтарды талқылау барысында белсенді қатысу, дәріс және зертханалық жұмыс сабақтарына алдын ала дайындалу. Зертханалық жұмыстарына есеп беруін дайындау.
Талаптар тізбесі оқытудың кредиттік технологиясы бойынша нормативтік құжаттар мен Л.Н.Гумилев атындағы ЕҰУ Жарғысына қайшы келмеуі керек.
Оқу пәні екі аралық бақылаудан тұрады – жазбаша бақылау жұмыстары және компьютерлік тестілеу түріндегі қорытынды емтихан.
Глоссарий
Ақпарат – бұл адам әрекетіндегі қолдануға, өңдеуге, жіберуге, сақтауға арналған мәліметтер жиынтығы.
Клиент – бұл ресурсты қолданушы компьютер (бағдарлама).
Салмақ – символдар саны, кодталған комбинацияда оны нөлдік емес символдар саны деп атайды.
Жіберу құрылғысы – үздіксіз хабарламалардың немесе сигналдардағы белгілердің байланыс жолағынан қолайлы өтуі үшін түрленуін жүзеге асырады.
Бөгеуіл – бұл жіберілген сигналдардан қабылданған сигналдарда ауытқушылық тудыратын сыртқы кедергі тәрізді ішкі кез келген кедергі ауытқу.
Байланыс арнасы – хабарлама жіберуге арналған құрылғылар жиынтығы.
Энтропия – бұл хабарламаның бір элементіне (белгі, әріп) келетін ақпарат саны.
1 бит – 0 және 1 теңболжамды жағдайда сипатталатын бір екілік элементтің ақпарат саны.
Байт – бұл 8 битке тең ақпарат санының бірлігі.
Қысу коэффициенті – жоғары энтропиялы сипатқа ие элементтердің кодталуға өткендегі хабарламаның қысқартылу дәрежесін сипаттайды.
АБТ – ақпаратты біріншілік түрлендіру, ақпараттың формаланған электрлік аналогы үздіксіз немесе дискретті (сандық) формада көрсетілуі;
ДҚ – ақпараттың электрлік аналогын (егер АБТ электрлік аналогты дискретті формада формалайтын болса, ДҚ құрылымда болмайды), декомпозирлеуші ақпараттық массивті символда немесе квантта дискретизациялау құрылғысы;
ТК – «түпнұсқаны кодтаушы», ( )ix p болжамын есепке алуды кодтауды, ИИ шығысында (немесе алғашқы ақпараттың бірыңғай табиғаты жағдайында ДҚ) ix символының шығуын жүзеге асырады;
КШҚ – криптографиялық шифрлау құрылғысы, санкцияланбаған қолжетімділіктен ақпарат қорғанысын жүзеге асырау;
АК – «арнаны кодтаушы», бөгеуілқорғаныс кодтауын байланыс арнасындағы шулы ортаның мүмкін сипаттамалы негізінде жүзеге асыру;
СҚ – скремблдеу құрылғысы, элементар сигналдардың кодтарын жіберілетін генератор және қабылданатын жартылайкешенді аппараттың жұмысының синхрондалу шартын мақсатында араластыруды қаматамасыз етеді, минимизациялау жолымен бумалар ұзындығын «нөлмен» және «бірмен» бөгеуілқорғалған екілік кодты «жалғанкездейсоқ» екілік тізбекпен суммалау.
Жолақтық код – деп GF(P) алаңындағы барлық n-разрядты кодталған комбинациялардың векторлық кеңістіктерің кеңістік асты векторлық кеңістіктерінен құралған векторлар жиынтығын айтады.
F элементі алаңының астындағы жолақтық векторлар кеңістігі (скалярлар) деп - V (векторлар) элементтер жиынтығын айтады, егер оған келесі аксиомалар орындалатын болса.
Оқу пәнінің тақырыбы бойынша дәріс тезистері және дәріс курсын оқу бойынша әдістемелік нұсқаулықтар
Тақырып 1. Ақпарат түсінігі. Ақпарат айналуын кезеңдері. Ақпараттық ақпаратты жіберу жүйелері.
Дәріс мақсаты: Ақпарат түсінігін оқу. Ақпарат айналуын кезеңдерін талдау. Ақпаратты жіберу жүйелерін зерттеу.
Сұрақтар:
Ақпарат теориясының негізгі тапсырмаларын анықтау.
Байланыс жүйесі түсінігін анықтау.
Ақпарат жіберу сұлбасы қандай блоктардан құралған?
Қандай ақпарат қасиеттерін білесіз?
«Ақпарат» термині латынның "informatio" сөзінен шыққан, мәлімет, түсінік, мазмұндау ұғымдарын білдіреді.
Ақпарат – нысан және оның қоршаған ортада пайда болуы туралы, күнделікті тұрмыста және жұмыста ақпарат жүйелерінің (тірі организмдер, басқару машиналары, т.б.) қабылдайтын параметрлері, қасиеттері мен жағдайлары туралы түсінік.
Бірдей хабарламалар да әртүрлі адамдар үшін – алған біліміне, түсіну деңгейіне және алған хабарламаға қызығушылығына байланысты әртүрлі ақпараттардан құралуы мүмкін.
Ақпарат хабарлама сипаттамасы емес, хабарламалар мен оларды қабылдаушылар арасындағы қатынас. Тіпті потенциалды түрде де қабылдаушыларсыз ақпарат туралы айту мағынасыз.
Шамамен компьютерлік деректерді өңдеуде ақпарат мағыналық жүктеулерге ие және компьютерге түсінікті түрде көрсетілген бірнеше символдық түсініктер тізбегімен түсіндіріледі (әріп, сан, кодталған графикалық бейнелер мен дыбыстар, т.б.). Әрбір жаңа символ мұндай символдар тізбегінде хабарламаның ақпараттық көлемін ұлғайтады.
Ақпарат бірнеше әртүрлі формада болуы мүмкін:
мәтін түрінде, сурет, сызба, фотография;жарықтық немесе дыбыстық сигнал түрінде; радиотолқын түрінде; электрлік және жүйке импульсі түрінде; магнитті жазба түрінде; ымдау және мимика түрінде.
Ақпарат қасиеті. Ақпарат оның сапалық белгілерін сипаттайтын келесі қасиеттерге ие: шынайылық, толықтық, бағалылық, уақытылы, түсініктілік, қолжетімділік, қысқалығы және т.б.
Егер істің айқын жағдайын бейнелейтін болса, ақпарат шынайы болады. Шынайы емес ақпарат қате түсінікке немесе қате шешім қабылдауға әкелуі мүмкін. Шынайы ақпарат уақыт өте келе қасиеті көнеленіп, яғни айқын жағдайын бейнелей алмайтын шынайы емес ақпаратқа айналуы мүмкін.
Егер оны түсіну және шешім қабылдау жеткілікті болса, ақпарат толық болады. Толық емес ақпарат ақпарат артықшылығы сияқты шешім қабылдауды тежейді немесе қателікке әкелуі мүмкін.
Ақпарат нақтылығы нысанның, үрдістің, пайда болудың, т.б. шын бейнесіне жақындылығымен анықталады.
Ақпарат бағалылығы тапсырманы орындау маңыздылығымен, сондай-ақ жақын арада адамның қандай да бір қызметінде қолданыс табуына тәуелді. Егер бағалы және уақытылы ақпарат түсініксіз күйде бейнеленсе, ол пайдасыз болуы мүмкін.
Тек өз уақытында алынған ақпарат қана күтілген пайданы әкелуі мүмкін.
Бірдей сұрақтарға ақпаратты қысқа мазмұндауға (детальдарсыз қысу) немесе кеңейтуге (жан-жақты, көпсөзді) болады.
Ақпаратты жасауға, жіберуге, қабылдауға, қолдануға, есте сақтауға, көшіруге, форматтауға, кеңейтуге, түрлендіруге, комбинациялауға, өңдеуге, бөліктерге бөлуге, ықшамдауға, жинауға, сақтауға, іздеуге, өлшеуге, бұзуға, т.б. болады.
Бұл ақпаратты анықтау операциясымен байланысты барлық үрдістер ақпараттық үрдістер деп аталады.
Ақпаратты жіберу. Кез келген әрекет, кез келген жағдай ақпарат көзімен жасалады. Ақпарат хабарлама түрінде кейбір ақпарат көзінен оны қабылдаушыға арадағы байланыс арнасы арқылы жіберіледі. Ақпарат көзі жіберу сигналында кодталатын хабарламаны жібереді. Бұл сигнал байланыс арнасы арқылы жіберіледі. Нәтижесінде қабылдаушыға қабылданған хабарлама декодирленетін қабылдау сигналы келеді. Ақпаратты жіберу байланыс арнасы арқылы бұрмалануды және ақпарат жоғалтуды тудыратын бөгеттер әсеріне жиі ұшырайды.
Кез келген жағдай немесе әрекет әртүрлі, әртүрлі тәсілдермен, әртүрлі әріптермен өрнектелуі мүмкін. Ақпаратты байланыс арнасы арқылы нақтырақ әрі үнемді жіберу үшін оны сәйкесінше кодтау қажет.
Ақпарат материалды қолданушысыз, жіберу энергиясынсыз болуы мүмкін емес. Кодталған хабарлама сигнал-қолданушы ақпаратқа ие. Олар арна арқылы өтеді. Қабылдаушыда шыққанда, ақпарат жалпыға түсінікті түрге келуі қажет.
Байланыс арнасы, байланыс жүйесі туралы айтқанда, мысал ретінде телеграфты алады. Бірақ байланыс арнасы – әртүрлі көптеген жүйелерге ие кең мағыналы түсінік.
Мысалы – есептеу машинасы. Есептеу машинасының жеке жүйелері ақпаратты бір-біріне сигнал көмегімен жібереді. Есептеу машинасы – станок сияқты ақпаратты өңдеуге арналған автоматты құрылғы. Машина ақпаратты «ештеңеден» құрмайды, ол өзіне берілгенді ғана өңдейді.
«Байланыс каналының» алуан түрлі ұғымы түсініктің болуы үшін, бірнеше мысал келтіргеніміз жөн.
Сонымен
қатар бұл шаманы хабарламаның орташа
энтропиясы деп атайды. 
шамасы
дербес энтропия деп аталады.
Солай,
өзінің екілiк логарифмдеріне көбейтілген
оқиғасының пайда болатын салыстырмалы
жиілік туындыларының теріс таңбалы
қосындысы 
оқиғасының энтропиясы болып
табылады. Кездейсоқ оқиғаларға
арналған анықтаманы ықтималдықтарды
үлестіру функциясына кеңейтуге болады.
Шеннон бойынша анықтау
Клод Шеннонның тұжырымы бойынша жұмсалған анықталмағандық мәліменттің өсуіне тең, және соны өзгертуге талаптар қойды:
Өлшем үздіксіз болу керек;кіші шамаға ықтималдық шамасының өзгеруі өзгеру функциясында аз нәтижекөрсету керек;
Барлық жағдайлар(әріптер) тең ықтималды болғанда,жағдай(әріп) санының өсуі функция шамасын да өсіру керек;
Соңғы нәтижелі функция аралық функция қосындысы болатын екі қадамға таңдау жасай алатын мүмкіндік болу керек.
Сондықтан
энтропия функциясы 
шартты
қанағаттандыру керек
анықталған
және 
,
мқндағы 
үшін үздіксіз және 
.
Бүтін оң
үшін орындалу керек:
Бүтін оң
үшін,
мұндағы
,
мына
теңдік орындалу керек
Шеннонның
көрсетуі бойынша бұл шарттарға бағынатын
жалғыз функция мына түрде
Мұндағы
—
константа (өлшеу
шамасын таңдау үшін қолданылады).
Мәлімет
көзіне қолданатын энтропия өлшеу (
),
кодаланған екілік сан түрде мәліметті
тиімді тасымалдау үшін өткізу қабілетті
арналарға қойылатын минималды талаптарды
анықтауға болады.
Мәлімет көзіннен санмен көсетілген «мәлімет санынның» математикалық күтуін есептеу Шеннон формуласының нәтижесі үшін қажетті. Кездейсоқ айнамалыларды тұрақсыз орындау Шеннонның энтропия шамасымен анықталады. Сонымен, энтропия хабарламадада көрсетіген мәліметтердің хабарламада нақты белгілі мәліметпен айырмашылығы болып табылады. Бұған мысал ретінде тілдегі артықтық бола алады — әріптердің пайда болуында нақты статистикалық заңдылық, әріптердің тізбектелген жұбы, және т.б.
Шеннон энтропиясының анықтамасы термодинамикалық энтропия ұғымымен байланысты. Ақпараттық теорияға «энтропия» ұғымын енгізуде статистикалық термодинамика саласында Больцман және Гоббс үлкен жұмыс атқарды. Термодинамикалық және ақпараттық энтропия арасында байланыс бар.
Меншікті ақпарат арқылы анықтау
Сондай-
ақ, кездейсоқ шамалардың энтропиясын
анықтау үшін кездейсоқ шамаларды
үлестіру ұғымын енгіземіз 
Және меншікті ақпарат:
Энтропия анықталады:
Кездейсоқ
шамасының мүмкін болатын
жағдайлар санына ақпарат санын өлшеу
шамасы және энтропия: бит, нат, трит
немесе хартли тәуелді.
Мәлімет
көзі үшін ықтималды модель контекстінде
анықталған сан энтропия болып табылады.
Мысалы, тиын лақтыру энтропиясы:
бит
бір лақтырғанда, ал мүмкін болатын
жағдай саны тең:
мүмкін
болатын жағдай.
Хабарлама
көзі
Жіберу
құрылғысы
Қабылдау
құрылғысы
Қабылдаушы
x
n
Кедергі
көзі
Ақпарат берудің жалпы сұлбасы.
Хабарлама–әр түрлі физикалық табиғаты бар сигналдың көмегімен ақпарат көзінен хабарлама алушыға жіберуге арналған белгілі бір формадағы ақпарат. Хабарлама бұл жерде телеграмма, фототелеграмма, сөз, теледиарлық сурет, әр түрлі байланыс каналдарымен берілетін ЭВМ-ның шығысындағы мәліметтер және т.б., нысаннан шығатын әр түрлі физикалық табиғаты бар сигналдар.
Сигнал –параметрлері хабарламаны баламалы түрде суреттейтін кез-келген физикалық процессті көрсететін ақпаратты материалды тасушы. Физикалық табиғаты бойынша сигналдар электрлік, акустикалық, оптикалық, электромагниттік және т.б. болып бөлінеді.
Ақпаратты қорғау–мемлекеттік, қызметтік, коммерциялық, жеке құпияларды сақтауға бағытталған және кез-келген түрдегі ақпаратты тасымалдаушыны сақтауға арналған қызмет.
Ақпаратты қорғау жүйесі - қорғау мақсатымен және ойымен, керекті техникалық құрылғыларды қолданумен және концепцияға қатысты әдістермен жүргізілген ақпаратты қорғауға арналған ұйымдық және техникалық шара жиынтығы.
Негізгі әдебиет: 2(97-106), 3(12-15); 5(7-9).
Қосымша әдебиет: 16(15-25); 17(5-30).
Бақылау сұрақтары:
Ақпараттық теорияның негізгі міндетін анықтау.
Байланыс жүйесі түсінігін анықтау.
Ақпаратты жіберу сұлбасы қандай блоктардан тұрады?
Ақпараттың қандай ерекшеліктерін білесіңдер?
Тақырып 2.Ақпараттың статистикалық өлшемдері. Энтропия. Энтропия қасиеттері.
Дәріс мақсаты: Энтропия түсінігін және оның нышанын үйрену.
Сұрақтар:
Ақпараттық энтропия дегеніміз не?
Бүгінгі күнде энтропияның қандай түрлері белгілі?
Шенон бойынша анықтама.
Меншікті ақпарат көмегімен анықтау
Математикалық қасиет
Энтропияның тиімділігі
Ақпараттық энтропия —ақпараттың белгісіздік және болжап болмайтын шамасы, бастапқы алфавиттегі қандай да бір нышанның пайда болуының белгісіздігі.
Мысалы, орыс тілінде қандай да бір сөйлем құрайтын әріп реттілігі, әр әріп әр түрлі жиілікпен пайда болады, сондықтан кейбір әріптертің пайда болу белгісіздігі басқа әріптерге қарағанда аз.Егер кейбір әріптердің кездесуі сирек екенін ескерсек, белгісіздік одан сайын азаяды.
Ақпараттық энтропия түсінігін суреттеу үшін Демон Максвелл атын алған термодинамикалық энтропия облысының мысалына жүгінуге болады. Ақпарат және энтропия концепциялары бір-бірімен тығыз байланысқа ие, бірақ бұған қарамастан статикалық механика мен ақпарат теориясындағы теорияның өңделуі көп жылдарға созылды.
Энтропия —статикалық тәуелсіз хабарламаны өндіретін дерекнаманың қарапайым хабарламасына келетін ақпарат көлемі.
X пен n мүмкін жағдайларындағы тәуелсіз кездейсоқ оқиғалар үшін ақпаратттық екілік энтропия осы формуламен есептеледі
Тек
қана
«А»
әріпінен тұратын,
тармақ генерациялаушының қайнар көзінің
энтропиясы
нөлге тең:
,
ал мүмкін
болар жағдайдың
саны:
мүмкін
болар жағдай
(мәні)
(«А») логарифм
негізіне тәуелді емес.Бұл да ескеретін
ақпарат.
Энтропиясы нөлге тең, бірақ ақпарат
саны 1ге тең разрядты пайдаланатын, есте
сақтау құрылғысының мысалы ретінеде,
ПЗУ
да жазылған әр разряды тек бір ғана
мүмкін жағдайға ие, берілгендер разряды
бола алады.
Осылай, мысалыға, ағылшын тестінің энропиясы, символға 1,5 бит екенін анықтауға болады және ол әр түрлі тексттер үшін өзгеріп отырады. Берілгендер қайнар көзі энтропиясының дәрежесі берілгендер элементінің битінің ортақ санын білдіреді. Кейбір берілгендер биттерінде ешқандай ақпарат болмауы мүмкін. Мысалыға, әдетте берілгендер структурасы қажет емес ақпаратты сақтап турады, немесе берілгендер структурасындағы ақпаратқа тәуелсіз бірдей секцияға ие.
Энтропия саны әрдайым биттердің бүтін санымен беріле бермейді.
Математикалық әдісі
Терістеу
.Шетеулері:
,
Йенсен
теңсіздігінен вогнутты
функция
ушін 
және 
.
Егер
-тің
барлық n
элементтері тең болса, 
.Егер
тәуелсіз
болса,
онда 
.Энтропия —мүмкін элементтерді орналастырудың томпақ жоғарғы функциясы.
Егер
бірдей
элементтердің
орналасуына ие болса,
онда 
.
Нәтижелілік
Алфавит
біркелкіден алыс ықтималдықты үйлестіруге
ие бола алады. Егер бастапқы
алфавит 
символдан
тұрса, онда оны мүмкін болған анықтауышы
біркелкі «оптималданған алфавитпен»
салыстыруға болады. Бастапқы және
оптималданған алфавит энтропиясының
арақатынасы — бұл процентпен берілетін
бастапқы алфавиттің нәтижелілігі.
символды
бастапқы алфавиттің нәтижелілігі
-арлы
энтропия арқылы анықталуыда мүмкін.
Энтропия шығынсыз теория жүзінде орындалуы мүмкін максималды қысуды шектейді (немесе мүлдем шығынсыз) – әдеттегі теру немесе, практикада, — Хаффмана, Лемпеля — Зива — Велча немесе арифметикалық кодтау.
Вариация және жалпылау
B энтропия
Жалпы
жағдайда b
энтропия ( b тең
2, 3, …) қайнар көзі 
бастапқы
алфавитімен 
және
дискретті
ықтималдықтарды үлестіру 
ықтималдылығы
(
),
формуламен анықталады:
Мысалы :
Тринарлы энтропия
(b =
3) «чижды»
(үшқырлы сүйектің түрі) лақтырғанда,
тринарлы энтропия қайнар көзі
(«чиж») 
бастапқы
алфавитпен (сандар үшқырдың шегінде
«чиж») 
және
дискретті біркелкі ықтималдықтарды
үйлестірумен («чиждың»
қимасы —теңбағытты үшбұрыш, материал
тығыздығы «чиж»
барлық объектіге біртекті)
ықтималдылығы
(
)
тең:
Тетрарлы энтропия
Төртқырлыны
(b =
4) «чиж»
лақтырғанда, тетрарлы энтропия қайнар
көзі
бастапқы
алфавитімен (сандар төртқырлының шегінде
«чиж») 
және дискретті біркелкі ықтималдықтарды
үйлестірумен (көлденең қима «чиж»
— тіктөртбұрыш, материал тығыздығы
«чиж»
барлық объектіге біртекті
«чиж») 
ықтималдылығы
(
),
тең:
тетрит.
Шартты энтропия
Егер алфавит символдарының ілесімі тәуелді болса (мысалы, француз тілінде «q» әріпінен соң әрдайым «u» әріпі ілеседі, ал «передовик» сөзінен соң газеттерде «производства» немесе «труда» сөздері ілеседі), мұндай символдар бірізділігінен тұратын ақпарат саны.Бірінші шарттың энтропиясы (біріншісі Марков үлгісі үшін бір әріп пайда болу ықтималдығы белгілі) деп аталып жатыр (екі әріпті тіркестердің) ықтималдықтары :
Бұл алдыңғы нышаннан тәуелді болатын және бұл ықтималдық шартта, не алдыңғы нышанмен еді.
Мысалы, « е » [3] әріпсіз тіл орысы үшін.
Дербес және ортақ шартты энтропиялар арқылы осы бөгеттермен каналда берілуде ақпараттық жоғалтулар толық суреттеліп жатыр. Матрица қолданылып жатыр. Тараптармен көз жоғалтулар сипаттама үшін (біресе жіберған сигнал) белгілі бар шартта нышанның қабылдағышпен алудың шартты ықтималдығы қарап жатыр. Бұл каналда матрица келесі түрде болады:
|
|
|
|
… |
|
… |
|
|
|
|
|
… |
|
… |
|
|
|
|
|
… |
|
… |
|
|
… |
… |
… |
… |
… |
… |
… |
|
|
|
|
… |
|
… |
|
|
… |
… |
… |
… |
… |
… |
… |
|
|
|
|
… |
|
… |
|
Анық, диагональ бойынша орналасқан ықтималдыққа, дұрыс қабылдаудың ықтималдық суреттеп жатыр, ал бағанасының барлығын элементтерінiң сома — қабылдағышқа лайықты нышанның пайда болулар ықтималдығын беріп жатыр. Берілетін сигналға келетін жоғалтуды, дербес шартты энтропия арқылы суреттеледі
Барлығын сигналдарында берілуде жоғалтулар есептеу үшін ортақ шартты энтропия қолданылады :
Тараптармен көздің энтропияны білдіріп , тараптармен қабылдағыштың энтропияға ұқсас қаралып, орнына барлық жерде көрсетіліп жатқан жолдар элементтері ықтималдық болып тұр
Өзара энтропия
Өзара энтропия немесе біріктірулер энтропиясы статистикалық тәуелді қатынастар.Энтропия өзара байланысты жүйелер энтропия есеп айырысу үшін арналған және белгі қойған хабарлағышты мінездейді.
Тапсырған және алған сигналдардың өзара байланыс бірлескен оқиғалардың ықтималдықтармен суреттеліп , және канал мінездемелер толық сипаттама үшін тек қана бір матрица керек болады :
|
|
|
… |
|
… |
|
|
|
|
… |
|
… |
|
|
… |
… |
… |
… |
… |
… |
|
|
|
… |
|
… |
|
|
… |
… |
… |
… |
… |
… |
|
|
|
… |
|
… |
|
Канал емес суреттелген кезде, ортағырақ жағдай үшін, ал жүйелер, матрица бүтін өзара жұмыс істеп, квадрат болмауы тиісті емес. Анық, нөмірімен бағанасының барлығын элементтерінiң сома беріп жатыр, нөмірмен жолдар сомасы бар, ал матрицалары барлығын элементтерінiң сомасы 1 тең. Оқиғалардың бірлескен ықтималдығы және бастапқы және шартты ықтималдықтар шығарманы сияқты есептеп жатыр :
Байес формуласы бойынша шарт мүмкіндігі орындалады. Осылайша, кабылдау және энтропия қорын есептеуге бүкіл мәліметтер бар.
Өзара энтропия олардың логарифм көбейтіндісі, бүкіл мүмкін матрицаларды жол бойынша (баған ) реттелген қосу арқылы есептеледі.
Өлшеу бірлігі- бит/екі символы,бұл былайша түсіндіріледі: өзара энтропия жұпты символ анықталмағанын суреттейді .Олар : анықталған және алынған болып бөлінеді.
Қарапайым түрлендіру арқылы аламыз:
Өзара энтропия ақпаратты толық мәніне ие – осыдан қарастырылып отырған көлемдерді алуға болады.
Тарихы
1948 жылы, ақпараттың тиімді берілісінің мәселесі арқылы шумдалған коммуникациялық арнаны зерттей келе, Клод Шеннон коммуникацияның түсінушілікке революционерлік мүмкіндіктің тіл табуын ұсынды және энтропиянің бірінші шынайы математикалық қағидасын жасады. Оның сенсациялық идеялары екі негізгі бағыттың құрылуына негіз болды, олар: ақпарат теориясы, эгродиялық теорияның және мүмкіндік түсінігін коммуникациялық жүйе және статиқалық мінездеме мәліметтерін қолданады, және кодтау теориясы негізі алгебралық және геометриялық құрылғыны эффективті кодты ұйымдастыру үшін қолданады.
Шеннон мақаласында «A Mathematical Theory of Communication» энтропия түсінігі берілген, 1948 жылы екі мақалада жарияланған Bell System Technical Journal .
Бақылау сұрақтары:
Ақпараттық энтропия дегеніміз?
Бүгінгі күнде энтропияның қандай түрлері белгілі?
Шеннон бойынша анықтау
Анықтау өздік ақпарат бойынша
Математикалық құрам
Энтропияның тиімділігі
Тақырып 3. Ақпарат саны және артықшылық. Ақпаратты тасымалдау жылдамдығы.
Лекция мақсаты: Артықшылық түсінігін зерттеу
Сұрақтар:
1. Ақпарат көлемі және энтропия өзара қалай байланысқан?
2. Артықшылық түсінігін анықтау
3. Хабарламадағы ақпарат көлемін анықтау, к тең емес мүмкіншілікпен құрылған
4. Дифференциалды энтропияға анықтама беріңіз және оның негізгі сипатын құрастырыңыз
Егер бүкіл анықталмағандық алынса, ақпарат энтропияға тең
І = Н ,
Қарсы жағдайда- бастапқы және соңғы энтропия арасындағы айырмашылық
I=H1-H2(3.1)
Егер барлық оқиғаның мүмкіндіктері бірдей болса, ақпараттың көп саны алынады, егер толықтай ең көп белгісіздік түсіндіріледі -.
=Нмакс
Ақпараттың артықшылығы - ытималдың арасында ақпарат көлемі және энтропиямен болуы:
(3.2)
Ақпараттың саны сияқты хабарламаның ортақ санының мумкін ұсынысы туындысын к ортаның энтропияснда:
Алғашқы әліпбинің тең мүмкінді және өзара тәуелсіз символ оқиғасы үшін ақпараттың саны арада к m әліпбиінің хабарламаларында тең:
(бит).
Символдық алфавиттегі тең емес ықтималдық этнропиясы :
(бит/символ),
Ықтималдық символы - Ақпараттың хабарлама саны
Ақпараттар саны келесідей талаптарды қанағаттандырады:
Ақпараттар саны екі тәуелсіз хабарламалардың тен қосындылары, яғни әрбір ақпараттың санында.
Жағдайды таңдау мүмкіншілігінің жоғарылауы монотонды қажеттілігі.
Шынайы оқиғаларға толы ақпараттар санының құрамында белгісіздік нолге тең
Ақпарат санының тәуелсіздігі хабарламарың сапасынан, әсіресе хабарлама алушының маңыздылық дәрежесінен, салдарының мүмкіншілік дәрежесінен және т.б.
Ақпарат желісінің ақпарат жіберу жылдамдығы және өткізгіштік қабілеті
Кедергі жоқ кезде ақпарат беру жылдамдығы ақпарат санымен анықталады, ақпараттың орын ауыстыру символы бірлік уақытқа тең: С =n * H
n –символдық саны , бірлік уақыт кезіндегі хабарлама көзі
Н – хабарлама символын қабылдаған кездегі энтропиясы
Техникалық жылдамдық
V=1/τ (симв/сек),
τ- Екінші ретті алфавиттағы бірдей символдық беру уақыты
Онда, тең ықтималдылықтан құралған хабарлама үшін өзара тәуелсіз ақпараттың беру жылдамдық уақытына тең
С=(1/τ) * log2 m(бит/сек).
Тең емес ықтималдық жағдайындағы тең символдық уақыты
С=
(бит/сек).
Өткізгіштік қасиеті бар жоғары жылдамдықты ақпарат беру төмендігі каналдық желі бойынша
(бит/сек).
Екілік код үшін:
(бит/сек).
Тосқауыл бар болғанда байланыс каналының өткізгіштік қабілеті, хабарлама көзінің энтрапия әртүрлілігі мен шартты энтрапияға секундына келетін n белгісі санының туындысы арқылы анықталады:
Cn=n*[H(A)-H(A/B)]
немесе
Cn=n*[H(B)-H(B/A)]
Шуылы бар байланыс каналдары арқылы хабарлама жібергендегі ақпараттық жоғалтулар
Қабылданған хабарламалар ансамбліндегі,ақпараттардың орташа саны
а) бірлескен энтрапия көмегімен:
І(А,В)=Н(А)+Н(В)-Н(А,В) (4,4)
б) шартты энтрапия көмегімен:
І(А,В)=Н(А)-Н(А/В) (4.5)
Айнымалылардың мағыналары:Н(А)- энтрапия,
Н(А/В) – қателіктер әсерінен каналдағы жоғалған ақпарттардың орташа саны.
І(А,В)=I(В,А) (4-6)
(4.4)- (4.5) формулаларынан есептеуге ыңғайлы мына формуланы шығаруға болады:
(4.7)
Дифференциалдық энтропия
Практикада ақпарат көздерінің мүмкін күйлерінің көбісі континиум құрайды, яғни ақпарат көздері үздіксіз.
Үздіксіз
ақпарат көзінің энтрпаиясын келесі
түрде анықтаймыз:үздіксіз кездейсоқ
шаманың өзгеру дипазонын бөлейік
U, п
соңғы
шамасыCu
аз интервалында . Cu аз болғандықтан,
р(
)
ықтималдық реализациясыu
мәні ui
, ui+Cu
интервалында:
p(
)=
Дискретті кездейсоқ шама U энтрапиясы мына түрде беріледі:
немесе
Өйткені
онда
Кемуіне
байланысты
р(
),
нөлге жақынр(
)ықтималдыққа
жақындайды, U дискретті шамасының көлемі
- Uүздіксіз
кездейсоқ шамасына
жақындайды .
0
шекке жеткенде үздіксіз энтропия көзі
H(U)
үшін
келесі теңдікті аламыз :
немесе
(3.4)
Бұл
шама
0шексіздікке
ұмтылады,толығымен анықтамаға сәйкес
келеді, шексіз үлкен саннан тұратын
таңдаудың анықталмағандығы шексіз
үлкен болады.
(3.4)қатынасының оң бөлігінің бірінші мүшесі-соңғы мағынасы,U –дың шексіз мүмкін үлкендігін бөлу заңына тәуелді және U кванттау қадамына тәуелсіз.
Осы қатынастың екінші мүшесі U мүмкін үлкендігінің кванттау қадамына ғана тәуелді,H(U)осыдан шексіздікке айналады.
Үздіксіз көзінің ақпараттық ерекшеліктерінің соңғы сипаттамасын алудың бір жолы үздіксіз көзінің анықталмағандығының сапасы ретінде(3.4) қатынасының бірінші мүшесі алынады:
(3.5)
Ол қатыстық дифференциалды энтропия немесе жай үздіксіз ақпарат көзінің дифференциалдық энтропиясы деп аталды. Дифференциалдық энтропия ерекшелігі:
a.
Егер U –ң мүмкін өлшемінің жалғыз шектеуі
оның мүмкін мәндер аймағы
болса,онда
максималды дифференциалдық энтропия
осы аймақтағы мүмкіндікті тең бөлуге
ие.
б. Егер U үздіксіз мүмкін өлшемі аймағының шектеуі жоқ болса,бірақ белгілі,дисперсиясы шектеулі,максималды дифференциалдық энтропиясы U өлшемінің дұрыс бөлісуіне ие .
Негізгі әдебиеттер:2[111-119J; 3(109-114]; 9J44-46].
Бақылау сұрақтары:
1.Ақпарат саны және энтропиясы бір-бірімен қалай байланысты?
2. Асқын мағынасын анықтаңыз.
3.к тең емес ықтималды белгілерден тұратын хабарламадағы ақпарат санын анықтаңыз.
4. Дифференциалды энтропияға анықтама беріңіз және оның ерекшеліктерін сипаттаңыз.
Тақырып 4. Сигнал түсінігі және оның моделдері. Детермендік сигналдарды көрсетудің жиіліктік түрі.
Дәріс мақсаты:
1.Сигнал ұғымы және модельдері
2. Детерминдендірілген сигналдардың көрсетілу формалары
3. Сигналдың уақыттық формасы
Сұрақтар:
1. Детерминдендірілген сигнал туралы нені түсінеміз?
2. Детерминдендірілген сигналдың математикалық көрсетілім формасының әртүрлілігі.
3. Функция жүйесінің ортогональды және ортонорминальды шартын жазу.
4. Детерминдендірілген сингалдың модельдерін зерттеу.
5. Сингалдың уақыттық көрсетілімін сипаттау.