ГОСТ Емтиханга дайындалуга / Лекция / Лек15каз

Лекция№15. Мәлiметтердiң қоймасы. OLAP технологиясы

Ұйымдардың компьютерлiк жүйелерiнiң пайда болуымен мәлiметтiң көптiктерi жинады, олардың жедел деректер қорларында сақталынады. Бәсекеге түсе алатындықты жоғарылатудың мақсаты бар бұл мәлiметiнiң қолданулары үшiн, кәдiмгi OLTPлердiң өрнектеуiнiң қажеттiлiгi пайда болды - күрделi мәселемен өте көрсететiн шешiм қабылдауды қолдауды жүйедегi жүйелерi. Мәлiметтердiң қоймасының тұжырымдамасын осыған байланысты жасалды - шешiм қабылдаудың бiрнеше әр түрлi көз жедел мәлiмет түсетiн мәлiмет негiзделетiн қолдаулары жүйелердiң талабын қанағаттандыруға қабiлеттi технология. Мәлiметтердiң қоймасы - пәндiк - бағдарлалған, интеграцияланған, тiркеулi уақытқа және шешiм қабылдауды қолдау үшiн қолайлы өзгермейтiн мәлiмет жиыны. Мәлiметтердiң көрcетiлген мiнездемелерiн қарап шығамыз.

- Пәндiк хабарланғандық. Мысалы, мәлiметтердiң қоймасы (немесе субъекттер ) клиенттер, тауарлар және сатуды ұйым) айнала негiзгi заттар ұйымдастырылған, (тауарлық Запасоволардың клиентке есептiң көшiрмесi, бақылауы және тауарлардың сатуы) қызмет қолданбалы облыстан айналалар емес. Бұл қасиеттер кәдiмгi емес жедел - қолданбалы мәлiметтер шешiм қабылдауды қолдау үшiн қолайлы мәлiметтi сақтауларды қажеттiлiктi қамтып көрсетедi.

- Үйлесiмдiлiк. Мысалы, бұл мiнездеменiң мағынасы жедел - қолданбалы мәлiметтер әдетте түседi ылғи бiр мәлiметтердiң келiсiлмеген ұсыныстарын жиi алады әртүрлi қалыптарды қолданатын әртүрлi көз болған тұрады. Бiртұтас қорытылған мәлiметтердiң берiлуiнiң қолданушысы берулер үшiн сақталатын мәлiметтiң келiсушiлiк қамтамасыз ететiн интеграцияланған көз жасауға керек.

- Уақытқа байлануы. Дәл және түзу тек қана сол олар уақыттың кейбiр моментке немесе аралығына байлайтында жағдайдағы қоймаға мәлiметтер. Уақытқа мәлiметтерiнiң қоймасының құштарлығы ар жағында ол бiр орында сақталатын мәлiмет жинаған мерзiмдерi үлкен ұзақтықтан барлық бiр орында сақталатын мәлiметтермен уақытша белгiлердiң байланысының анық немесе анық емесiнен шығады, сонымен бiрге сол сақталатын мәлiмет мәлiметтердiң күйiнiң кездiк суреттерiнiң жиыны iс жүзiнде болатын айғақтан.

- Өзгермейтiндiк. Бұл мәлiметтер жедел тәртiптерде жаңармайды емес, керiсiнше өңдеудiң жедел жүйелерiнен үнемi мәлiмет есебiнен толытырылады бiлдiредi. Жаңа мәлiметтер сонымен бiрге ешқашан бұрынғы алмастырмайды емес, керiсiнше оларларды толықтырады. Сайып келгенде, қойманың деректер қоры жиналған мәлiметпен ендi дәйектi түрде интегралдалатын жаңа мәлiметтермен үнемi толытырылады.

Мәлiметтердiң қоймасының жасаулары мақсат қолданушыларға сұрау салулар айнала құрай алатын бiртұтас репозиторииға бiрлескен мәлiметтерiнiң кiрiгуi есептеу нәтижелерiн шығарсын және мәлiметтердiң талдауын орындау болып табылады. Мәлiметтердiң қоймасы әр түрлi жедел көз сақталатын мәлiметтер алады оларды ұйымдастыратын және тұлғаларға алып берген шешiм қабылдауды қолдаудың жүйелерi үшiн жұмыс ортасы жауапты шешiм қабылдауға осы ұйымда болып табылады. Мәлiметтердiң қоймаларының технологиясы - бұл мәлiметтердiң басқаруын технология және олардың талдауы. Ұйымдағы мәлiметтерiнiң қоймалары табысты iске асырудың жанында нақтылы артықшылықтар жете алады:

1 Инвестициялардан мүмкiндiгi бойынша биiк серпу

2 Бәсекеге түсе алатындықты жоғарылату

3 Тұлғалардың еңбектiң тиiмдiлiгiн жоғарылату, жауапты шешiм қабылдауларға.

OLAP технология. Ақпаратты өңдеуiнiң жанында негiзгi мәселе барлық көп сұрау салуға жүйенiң реакциясының қолайлы уақыты сонымен бiрге сақтап жұмыстанатын және үнемi күрделейтiн құрылыммен iрiлеу деректер қорлары, болатын мәлiмет болғандығында. Ұйымдарға клиент/сервер архитектура мәлiметтердiң ерекше басқарудың есептерiнiң шешiмi үшiн оптимизациялалған мамандандырылған серверлер орнатуға мүмкiндiк бередi. Мұндай нарықтың талдауы және қаржы болжауы ретiнде бизнес- қосымшаларлар үшiн талап-талғам қолдануға керек болады - (мм ) көп өлшемдi массив сияқты болатын деректер қоры ортаға келтiрiлген схемалар. Бұл қажеттiлiктi қосымшалар мәлiмет жиындарынан жазуларын үлкен сан алып және қорытынды мәндердi олардың негiздерiнде лезде есептеуге керемет үлкен бейнеленедi. Мұндай қосымшалар үшiн қолдауды беру барлық OLAPның негiзгi тағайындауы болып табылады - аспаптар.

(OLAP ) жедел аналитикалық өңдеу - бұл көп өлшемдi мәлiметтердiң үлкен көлемдерiнiң динамикалық синтез, талдау және консолидациясы.  OLAP термин күрделi аналитикалық қосымшаларды қолдайтын архитектураны анықтайды. OLAP көпшiлiк - қосымшалар мамандандырылған көп өлшемдi ДҚБЖдардың негiзi немесе шектелген мәлiмет жиыны бар ДҚБЖдың ммы және қосымшалардың күйiне келтiрiлетiн қолданбалы интерфейсiнде жасалады. OLAP - архитектура қосымшаның аралығында функциялардың айқын бөлiнуi бар нақтылы деңгейлерiн ескередi және ДҚБЖ. Бұл бөлiнудiң негiзiнде OLAPның жаңа ұрпағы пайда болды - мұндай кәдiмгi ДҚБЖ ДҚБЖдың ммының мамандандырылған технологияларымен бәсекелесуге мүмкiндiк берген мүмкiндiктер тавляющих аспаптар, дос. Көп өлшемдi мәлiметтердiң ұсынысының бiрнеше балама нұсқаларын қарап шығамыз. Мысалы, қалай түр ең жақсы алдында сұрау салуға шарт қою: “1997 жылдың әрбiр тоқсанында объекттердiң әрбiр қаласындағы ортақ сатудан табыс жылжымалы мүлiк болды?”. Тиiстi мәлiметтер қала және уақытты өлшемдерi бар екi өлшемдi матрицада таратып салып қоюға болады.

Егер қолданушы түрдiң сұрау салуын құрап көрсе: “Әрбiр қала үшiн жиынтық жылдық табыс болды?” әлде әрбiр қала үшiн орташа табыс болды?”, жауаптың алулары үшiн бiрде мәндердiң үлкен саны алып және олардың жалпылауын орындауға талап етедi.  Және табиғи көп олардың үш өлшемдi Кубесiнде таратып салып қоюға болар едi, 14-шi суретке қараңыз. Мәлiметтер онда табыстың әрбiр мәнi объекттiң түрдiң өлшемдерiмен байланатын массив ұяшықтардың түрiнде кейбiр қала және уақыт елестеткен. Реляциялық ДҚБЖдағы кестесi тек қана екi өлшемдердегi көп өлшемдi мәлiметтердi дайындауа алатынын атап өтемiз.

OLAPларға - олардың арасындағы мәлiметтi сақтау және байланыстар үшiн деректер базасының серверлерi технологиялар көп өлшемдi құрылымдарды қолданады. Қай мәлiметтердiң текшелерi көп өлшемдi құрылымдар мәлiметтердiң басқа текшелерiнен өз кезегiнде тұра аладуға ең жақсы сияқты ұсыну. Әрбiр Куба тарабы өлшем болып табылады. Көп өлшемдi деректер қорлары өте тығыз және көрудi құрал және манипуляция жасаудың бос тұрулары көп өзара байланыс ие болатын мәлiмет элементтерiмен қамтамасыз етедi. Ұқсас текше өлшенетiндiктiң жаңа ретiнiң қосындысының мақсатымен оңай кеңiте алады. Кубеге мәлiметтерiнiң үстiнде матрицалық арифметиканың операциясы орындала алады.

14-шi сурет - көп өлшемдi мәлiметтердiң ұсынысы

Көп өлшемдi сұрау салуды өңдеудi уақыт сол лезде өңдеуi керек болған ұяшықтардың санынан тәуелдi болады. Мәлiметтердiң Кубеге ұяшықтарының санның өлшемдерiнiң сандары өсумен экспоненталық өседi. Көп өлшемдi сұрау салуларды көпшiлiктер үшiн дегенмен биiк деңгейдiң тек қана қорытылған мәлiметтерi керек болады. Демек, тиiмдi көп өлшемдi деректер қорының жасаулары үшiн барлық өлшемдерге арналған жанында барлық логикалық аралық және негiзгi қорытынды мәндер алдын ала (мерзiмiн ұзарту ) есептеуге керек. Егер типтi өлшемдер иерархиялық құрылымы болса мұндай алдын ала жалпылау әсiресе бағалы көрсете алады. Алдын ала анықталған иерархияның бар болуы кварталдық табыстардың мәндерiне жылдық табыстардың мәндерiнен өткелмен логикалық талдау және айлық табыстардың мәндерiне бәрiнен алыс бәсеңдейтiн алдын ала логикалық жалпылауды орындауға өлшемдердiң iшi мүмкiндiк бередi және, керiсiнше.

OLAPның негiзiнде көп өлшемдi деректер қорларының серверлерi аталған төменде негiзгi аналитикалық операциялар орындай алады.

• Консолидация мұндай (орам ) мәндердiң жинақтау жай қарапайымы немесе басқа сабақтас мәлiмет қосатын күрделi өрнектердiң қолдануы бар есептеу жалпылауыш операциялар орындайды.

• Бәсеңдейтiн талдау. Операция, қаралатын мерзiмiн ұзартылған мәлiметтер үшiн толық мәлiметтердiң бейнесi қосатын керi консолидация.

• Бұрылыспен бөлiктеу. Бұл (сонымен бiрге қай жинақ кестенiң жасауымен деп аталады) операциялар әртүрлi көзқарастармен мәлiметтердiң берiлуiн алуға мүмкiндiк бередi. Бұрылыспен бөлiктеу уақыттың өстерi жиi бойлай орындалады - тенденциялардың талдауы және заңдылықтардың iздестiруiн мақсатпен.

OLAP - қабiлеттiлiктiң көп өлшемдi деректер қорларының серверлерi қысылған түрiндегi көп бiр қалыпты мәлiметтерiн сақталуға ие болады. Бұл физикалық мәлiметтi сақтауды әдiстiң арқасында динамикалық таңдауы және зволяют бар кеңiстiктi барынша тиiмдi қолданылатын қысудың технологияларының қолдануы жетедi. Тығыздап қапталған мәлiметтер сирелген мәлiметтерден бөлек сақтала алады. Сиретiлу бос ұяшықтардың бар болуымен немесе мәлiметтердiң дубликаттарының бар болуымен байлана алады. ДҚБЖдың көп өлшемдi деректер қорының қабiлеттiлiгi бос немесе қайталанатын ұяшықтарды лықсылсын жұмыстанылатын мәлiметтердiң Куба өлшемi және көлемi айтарлықтай қысқарта алады. Мәлiметтердiң тек қана үлкен көлемiн талдауға қолдану кеңiстiк, OLAPлер оптимизациялай - минимумға дейiн серверлерi өз кезегiнде физикалық мәлiметтi сақтаудың құрылым көрсетiлетiн талаптар қысқартады тиiмдi мүмкiндiк бередi. Сонымен бiрге бұл ввода/выводаның атқарылатын операциялардың саны өнiмдiлiктiң маңызды жоғарылатуына қысқарту есебiнен алып келген компьютердiң жедел жадына мәлiметтер тiкелей көбiрек жүктеуге мүмкiндiк бередi.

Ақыр соңында алдын ала жалпылауға, өлшемдердiң қолдану иерархиялық құрылымы және мәлiметтердiң текшелерiнiң кеңiстiгiнiң толтыруымен басқару деректер қоры өлшем қысқартып және ылғи бiр мәндердiң бiрнеше рет есептеуiн қажеттiктердi шығаруға едәуiр мүмкiндiк бередi. Құрылымы сол сияқты бiрнеше кестелердiң Қосу орындауын қажеттiлiгiн жүгiруге мүмкiндiк бередi, сонымен бiрге тез және көп өлшемдi сұрау салуларды өңдеудi айтарлықтай жылдамдататын деректер массивтарына тiкелей ену қамтамасыз етедi.

OLTP салыстыру - жүйелер және мәлiметтердiң қоймалары

Жүйелердiң осыған екi түрлерiне мүлде әртүрлi талаптар көрсететiндiгiнен, (OLTP ) транзакциялардың жедел өңдеудi қолдауы үшiн жасалған ДҚБЖ мәлiметтердiң қоймаларының ұйымы үшiн жарамдылық емес әдетте сияқты қаралады.  Ұйым әдетте бiрнеше әр түрлi OLTPлары болады - тауарлардың сатудың клиенттерге есептерiнiң көшiрменiң мұндай тауарлық Запасоволардың бақылауы ретiнде бизнес- процесстерлердi қолдауы үшiн қолайлы жүйелерi. Бұл жүйелер өте толық болып табылған жедел мәлiметтер ағымдағы және душар болған өзгерiстермен шығарады. OLTP - жүйелер алдын ала жобаланған транзакциялардың қарқынды өңдеуi үшiн дүркiн-дүркiн қайталайды және мәлiметтердiң жаңартуымен көбiнесе байланған оптимизациялаған. OLTPға мәлiметтер бұл ерекшелiктермен сәйкес - жүйелер нақты бизнес- қосымшаларлардың талаптарына сәйкес ұйымдастырылған және параллель жұмыс iстейтiн қолданушы-орындаушылардың үлкен сандарына күнделiктi шешiм қабылдауға мүмкiндiк бередi.

Ұйымдарда қарсы айтылған жоғары белгiлi бiр дәрежеге дейiн және iс жүзiнде өзгермейтiн (жаңа мәлiметтер яғни тек қана жамала алады) мәлiмет қорытылған тарихи, толық болатын мәлiметтердiң тек қана бiр қоймасы әдетте болады. Мәлiметтердiң қоймалары кез келген, құрылым жасалмағанға және эвристикалық сұрау салулар жауаптар болжамсыз табиғаты болып талап ететiн транзакциялардың бiразы туралы өңдеу үшiн арналған. Мәлiметтердiң қоймасына мәлiмет болуы мүмкiн сұрау салулардың талаптарымен сәйкес ұйымдастырылған және басшылық етушi қызметкерлердiң бiразы туралы ұзақ уақыттық стратегиялық шешiмдердiң қабылдануды қолдауы үшiн арналған.

OLTP бiр жағынан - жүйелер және мәлiметтердiң қоймасы мүлде әртүрлi мiнездемелердi алады және әр түрлi мақсаттар, дегенмен олар үшiн жасалады OLTP сол мағынадада жүйе мәлiметтердiң қоймасы үшiн мәлiметтiң қайнар көзi болып саналады тығыз байланған. Бұл байланыстың ұйымының жанында негiзгi мәселесi түсетiнi OLTPлер - болған жүйелердiң мәлiметтерi дубликаттар немесе рұқсатнама болатын келiсiлмеген, бөлшектелген, душар болған өзгерiс бола алатындығында. Мәлiметтер қоймаға бөлмелерге дейiн сондықтан тазалауы керек.  OLTP - жүйелер кез келген сұрау салуларға тез жауабының алуы үшiн арналмаған. Сонымен бiрге олар тенденциялардың талдауы үшiн керек болатын әлдеқашанғы тарихи мәлiметтердiң сақтауы үшiн қолданылмайды. OLTP - жүйелер, негiзiнде, дәл осылай емес талдауларға оңай ерiксiз көнген мәлiметтердiң iрiмшiктерiнiң көптiгi қояды.

Негiзгi әдебиет: [944-1000 ] 1 Бақылау сұрақтары: 1. Мәлiметтердiң қоймасы деген не ме? 2. Неге OLAPның технологиясында болады ма? 3. OLTPның салыстыруын жасаңыз - жүйелер және мәлiметтердiң қоймалары.