47

Міністерство освіти та науки України

Харківський національний університет радіоелектроніки

Кафедра метрології та вимірювальної техніки

Методичні вказівки до практичних занять з

курсу «Метрологічне забезпечення в умовах ринку»

Харків-2015

З А Т В Е Р Д Ж Е Н О

наказом Міністерства освіти

і науки України

від 24 грудня 2009 року № 1185

Методика рейтингового оцінювання діяльності вищих навчальних закладів ііі-іv рівнів акредитації

1. Загальні положення

1.1. Методика рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації регламентується Положенням про систему рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації всіх форм власності та підпорядкування.

1.2. Рейтингове оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації (далі – суб’єкти ранжування) базується на методології, яка включає систему принципів, методів та засобів організації і побудови системи ранжування вищих навчальних закладів, визначених Положенням про систему рейтингового оцінювання вищих навчальних закладів ІІІ-VІ рівнів акредитації.

1.3. Основу методології системи рейтингового оцінювання становить системний аналіз результатів діяльності та позиціонування суб’єктів ранжування на рейтинговій шкалі відносно системи або ідентифікованої групи за вимірами критеріїв рейтингу Довіра до системи рейтингового оцінювання залежить від етики і відповідальності розробників та суб’єктів ранжування за якість первинної інформаційної бази і результатів рейтингу.

3. Структуру методології визначають такі складові:

• основа – системний аналіз та етика діяльності розробників, суб’єктів ранжування та користувачів;

• характеристики діяльності – визначення особливостей, принципів, умов та норм діяльності вищих навчальних закладів;

• логічна структура діяльності – сукупність суб’єктів, форм, засобів, методів, результатів вирішення задач ранжування;

• технологія виконання робіт та вирішення задач – застосування сукупності засобів, методів, способів та прийомів рейтингового оцінювання.

• часова структура – організація виконання переліку робіт у часі за етапами.

1.4. Процес рейтингового оцінювання діяльності вищих навчальних закладів реалізується у певній часовій послідовності:

• етап проектування, результатом якого є побудована модель ранжування та план її реалізації;

• технологічний етап, результатом якого є реалізація системи рейтингового оцінювання;

• рефлексивний етап, результатом якого є оцінка якості реалізованої системи рейтингового оцінювання, визначення необхідності й доцільності її подальшого корегування.

2. Етап проектування

2.1. У форматі цього ключового етапу виконується ряд робіт щодо проектування моделі системи рейтингового оцінювання діяльності вищих навчальних закладів. Результатами проектних розробок є:

• цілі та цільові групи;

• ієрархія моделі змістовної складової системи рейтингового оцінювання;

• методика обчислення параметрів та критеріїв рейтингу системи рейтингового оцінювання;

• методика контролю якості системи рейтингового оцінювання;

• форми та засоби оприлюднення результатів рейтингів.

2.2. Змістовна складова моделі системи рейтингового оцінювання характеризується ієрархією ряду параметрів, за якими здійснюється обчислення критеріїв рейтингу суб’єктів ранжування та розташування їх в певному порядку на рейтинговій шкалі за принципом найбільшої відповідності конкретному запиту та вимогам цільових груп.

2.3. Ієрархічно організована послідовність змістовної складової системи рейтингового оцінювання (рис. 1) визначається параметрами:

глобальний критерій рейтингу (ГКР);

індекси тематичних напрямів (І);

рейтингові індикатори (Р);

показники первинної інформаційної бази (ПІБ).

2.4. Глобальний критерій рейтингу - параметр, на основі якого здійснюється загальна оцінка діяльності вищого навчального закладу та визначається місце (ранг) вищого навчального закладу на рейтинговій шкалі. У якості ГКР можуть застосовуватися інтегральний рейтинговий індекс (ІРІ) та сума місць (СМ) за індексами тематичних напрямів залежно від якості .первинної інформаційної бази.

2.5. Інтегральний рейтинговий індекс (ІРІ) – сума індексів тематичних напрямів (профілів) діяльності вищого навчального закладу, що формують змістову складову системи рейтингового оцінювання.

2.6. Тематичний напрям (профіль) – це сукупність показників та відповідно рейтингових індикаторів, які визначають результати у певній сфері діяльності або потенціал вищого навчального закладу (наприклад:

Рис. 1. Змістовна структура (критеріальне дерево) системи рейтингового оцінювання вищих навчальних закладів ІІІ-ІV рівнів акредитації

«Міжнародна інтеграція», «Науково-педагогічний потенціал», «Доступ, масштаби, результативність», «Ресурсне забезпечення» тощо).

Вибір тематичних напрямів (профілів) діяльності та номенклатури показників системи в їх межах передбачає встановлення переліку найменувань та абсолютних вимірів результатів (потенціалу) вищого навчального закладу в контексті забезпечення якості його освітньої діяльності та достовірної оцінки його позиціонування на рейтинговій шкалі. Такий вибір базується на цілях застосування результатів рейтингу та задоволення вимог і потреб користувачів.

При визначені тематичних напрямів (профілів) та відповідних показників необхідно керуватися такими основними принципами:

• виділення груп профілів проводиться за чітко визначеними ознаками;

• тематичні напрями (профілі), які формують змістовну структуру, є незалежними;

• початкова номенклатура показників відкрита, тобто допускає можливість внесення або виключення з неї окремих елементів;

• кожний з виділених показників може бути оцінений на шкалах «краще – гірше», «більше – менше»;

• зміст показників повинен бути однозначним;

• сукупність показників повинна відображати всі основні профілі діяльності вищого навчального закладу;

• однорідності та рівноточності. виділених профілів.

Змістовна складова системи рейтингового оцінювання, яка підлягає апробації, містить 86 показників первинної інформаційної бази (ПІБ) та 63 рейтингових індикаторів. Рейтингові індикатори рівномірно розподілені серед 7 тематичних напрямів, що забезпечує однорідність та рівно точність статистичних вибірок за тематичними напрямами. Розподіл рейтингових індикаторів та показників ПІБ наведена на рис. 2.

Рис.2. Розподіл рейтингових індикаторів та показників ПІБ за тематичними напрямами

2.7. Індекс тематичного напряму – параметр, на основі якого здійснюється оцінювання діяльності вищого навчального закладу за рейтинговими індикаторами відповідного тематичного напряму (профілю).

2.8. Коефіцієнт пріоритетності – параметр, який визначає позиціонування рейтингового індикатора суб’єкта ранжування відносно рейтингового індикатора системи.

Вимір коефіцієнта пріоритетності системи є та об’єктивна межа, відносно якої позиціонують вищі навчальні заклади на рейтингових шкалах системи залежно від досягнутих успіхів за результатами діяльності. Намагання вищого навчального закладу у разі відставання досягти рівня системи є підсилюючим ефектом для всієї системи (функція синергії).

Порівняння вимірів коефіцієнтів пріоритетності суб’єктів ранжування з коефіцієнтами пріоритетності системи за кожним рейтинговим індикатором дає можливість поділити їх на дві групи. Успішну групу складають суб’єкти ранжування, які мають К_nj ≥ 1. Менш успішну групу формують суб’єкти ранжування, які мають К_nj < 1. Може мати місце для окремих суб’єктів ранжування К_nj = 0 у разі, якщо за даним рейтинговим індикатором у вищому навчальному закладі «явища не було».

Вимір коефіцієнта пріоритетності вищого навчального закладу по відношенню до системи дає можливість оцінити достовірність, об’єктивність та точність вхідної інформації, здійснити попереднє, інтуїтивне оцінювання результату на наявність похибок та промахів у формуванні первинної інформаційної бази (функція верифікації).

2.9. Рейтинговий індикатор – параметр, на підставі якого формуються всі послідуючі критерії в ієрархічно організованій послідовності параметрів змістовної складової моделі, забезпечує рівні умови для всіх суб’єктів ранжування і відповідає принципам їх сумісності та порівнянності.

Рейтингові індикатори повинні бути прозорими й відкритими по відношенню до цілей та цільових груп і методології, яка використовується для побудови системи рейтингового оцінювання. Надається перевага рейтинговим індикаторам, які вимірюють результати (вихід системи) у порівнянні з рейтинговими індикаторами, які вимірюють потенціал (вхід системи). Формуються на підставі показників первинної інформаційної бази, що підлягають контролю і забезпечують необхідну валідність та релевантність.

2.10. Показники первинної інформаційної бази – параметри, на основі яких обчислюються виміри рейтингових індикаторів тематичних напрямів (профілів) діяльності.

Показники первинної інформаційної бази мають абсолютний вимір, є даними для обчислення рейтингових індикаторів і поділяються на дві групи: змістовні та порівнянності, які забезпечують сумісність та порівнянність суб’єктів ранжування незалежно від їх масштабів та видів економічної діяльності, на які спрямована підготовка фахівців.

Змістовні показники покладені в основу визначення рейтингових індикаторів. Показники порівнянності вживаються для забезпечення сумісності та порівнянності суб’єктів ранжування. Так, наприклад рейтинговий індикатор «Чисельність штатних докторів наук на 100 студентів денної форми навчання» формується на підставі двох показників «Чисельність штатних докторів наук» (змістовний показник) та «Чисельність студентів денної форми навчання» (показник порівнянності).

Формування показників первинної інформаційної бази вищим навчальним закладом є суттєво важливим для забезпечення якості результатів і забезпечення довіри до рейтингів. Вимоги базуються на використанні достовірних, об’єктивних та точних даних, які підтверджуються відповідними документами та підлягають верифікації.

Показники первинної інформаційної бази за звітний період репрезентуються у вигляді уніфікованої електронної таблиці, яка включає дані, що зібрані вищим навчальним закладом за процедурами, технологіями та правилами збору достовірної, об’єктивної та точної інформації.

2.11. На етапі проектування формуються вимоги та критерії якості системи ранжування в контексті забезпечення довіри користувачів до результатів рейтингів. Виявлення на етапі проектування можливих артефактів за окремими рейтинговими індикаторами та причин їх появи дає підстави скорегувати і забезпечити якість системи рейтингового оцінювання на технологічному етапі реалізації проекту. Якість визначається валідністю змістовної складової системи ранжування.

Валідність -обґрунтованість і адекватність дослідницьких інструментів, які застосовуються в системі рейтингового оцінювання.Визначення апріорної, внутрішньої та змістовної валідності переліків показників первинної інформаційної бази і рейтингових індикаторів за тематичними напрямами, є ключовою складовою системи контролю якості з точки зору забезпечення змістовної валідності результату ранжування.

Апріорна валідність передбачає попереднє, інтуїтивне оцінювання змістовної валідності результату, можливий негативний вплив змісту окремих параметрів на валідність результату ранжування.

Контролю підлягають кількість та зміст тематичних напрямів (профілів) діяльності вищих навчальних закладів, орієнтація їх з перевагою на результативність та цільові групи. Інтуїтивно оцінюється правомірність застосування адитивної моделі визначення критеріїв рейтингу, яка вимагає по можливості рівномірного розподілу рейтингових індикаторів за тематичними напрямами, сумісності та порівнянності суб’єктів ранжування.

Здійснюється попереднє оцінювання показників та рейтингових індикаторів, які можуть провокувати появу похибок та промахів, первинних джерел інформації щодо їх надійності та якості. Не допускається застосування інтегрованих показників, які об’єднують декілька результатів діяльності в один, що створює сприятливі умови для подання неякісної інформації, яка не підлягає контролю.

Внутрішня валідність базується на проведенні неформальної процедури визначення валідності результату, яка полягає в проведенні незалежної експертизи методології рейтингового оцінювання, моделі системи рейтингового оцінювання та визначення її параметрів, алгоритмів ранжування та оприлюднення результатів.

Змістовна валідність передбачає оцінювання валідності інструмента ранжування, яке базується на результатах детального дослідження змісту рейтингових індикаторів, який повинен відповідати цілям рейтингу, запиту та потребам користувачів. Вживаються заходи, які спрямовані на мінімізацію впливу можливої появи артефактів. Детальне дослідження впливу змісту рейтингових індикаторів на оцінку валідності інструменту ранжування здійснюється на основі аналізу можливих вимірів коефіцієнтів пріоритетності рейтингових індикаторів суб’єктів ранжування за тематичними напрямами (профілями) на технологічному етапі реалізації рейтингової системи.

2.12. Методика обчислення параметрів рейтингової системи базується на ієрархії змістовної складової системи рейтингового оцінювання, забезпечує формування математичних моделей параметрів (показники системи, рейтингові індикатори, індекси тематичних напрямів, інтегральні рейтингові індекси) та послідовність їх обчислення. Процес визначення параметрів системи рейтингового оцінювання діяльності вищих навчальних закладів проводиться на підставі сформованої первинної інформаційної бази у такій послідовності за етапами:

Перший етап. Доповнюється матриця показників первинної інформаційної бази суб’єктів ранжування показниками системи, що передбачає обчислення її показників в контексті показників суб’єктів ранжування за формулою:

(2.1)

де: – показник і-го рейтингового індикатора системи рейтингового

оцінювання (s);

–показник і-го рейтингового індикатора j-го суб’єкта

ранжування.

Показники діяльності вищих навчальних закладів (суб’єктів ранжування), які представлені в таблиці 1, є основою для формування первинної інформаційної бази системи рейтингового оцінювання та подальшого обчислення її параметрів.

Таблиця 1. Структура первинної інформаційної бази за показниками діяльності суб’єктів ранжування та системи

Суб’єкти ранжування	Показники діяльності за тематичним напрямом(профілем)
	П1	П2	П3	П4	П5	П6	П7	П8	П9
	Коди відповідно до уніфікованої електронної форми
	01.01.	01.02.	01.03.	01.04.	01.05.	01.06.	01.07.	01.08	01.09.
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ J
Система	ΣП1J	ΣП2J	ΣП3J	ΣП4J	ΣП5J	ΣП6J	ΣП7J	ΣП8J	ΣП9J

Застосування показників системи суб’єктів ранжування, дає можливість визначити об’єктивну межу, відносно якої вони позиціонують на рейтинговій шкалі. При цьому місце (ранг) суб’єкта ранжування залежить тільки від достовірності, об’єктивності та точності поданої ним інформації.

Другий етап. Визначаються значення рейтингових індикаторів як відношення змістових показників до відповідних показників порівнянності суб’єктів ранжування за формулою (2.2) та системи за формулою (2.3):

(2.2) (2.3)

де: Р_nj – n-ий рейтинговий індикатор j-го суб’єктa ранжування;

–змістовний (z) і-ий показник n-го рейтингового індикатора

j-го суб’єкта ранжування;

–і -ий показник порівнянності (р) n-го рейтингового індикатора

j-го суб’єкта ранжування;

Р_ns – n-ий рейтинговий індикатор системи;

–змістовний (z) і-ий показник n-го рейтингового індикатора

системи (s);

–і -ий показник порівнянності (р) n-го рейтингового індикатора

системи (s).

Визначені рейтингові індикатори забезпечують принцип сумісності та порівнянності суб’єктів ранжування. Результати обчислень рейтингових індикаторів за кожним тематичним напрямом можуть бути представлені в таблиці 2.

Таблиця 2. Змістовна складова системи рейтингового оцінювання діяльності вищих навчальних закладів за рейтинговими індикаторами тематичних напрямів

Суб’єкти ранжування	Рейтингові індикатори суб’єктів ранжування та системи за тематичним напрямом (профілем)
	Р11	Р12	Р13	Р14	Р15	Р16	Р17	Р18	Р19
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ J
Система

Третій етап. Розраховуються коефіцієнти пріоритетності суб’єктів ранжування та системи (табл. 3). Цей параметр розглядається як відношення рейтингових індикаторів суб’єктів ранжування до відповідних рейтингових індикаторів системи за формулою:

К_nj = Р_nj / Р_ns (2.4),

де: К_nj – коефіцієнт пріоритетності n-го рейтингового індикатора j-го

суб’єкта ранжування.

Очевидно, що із виразу (2.4) коефіцієнт пріоритетності системи буде визначатися формулою:

К_ns = Р_ns / Р_ns =1 (2.5),

де: К_ns – коефіцієнт пріоритетності n-го рейтингового індикатора

системи і дорівнює одиниці

Таблиця 3. Коефіцієнти пріоритетності рейтингових індикаторів за тематичними напрямами (профілями) діяльності вищих навчальних закладів

Суб’єкти ранжування	Коефіцієнти пріоритетності рейтингових індикаторів суб’єктів ранжування та системи за тематичним напрямом (профілем)
	Р11	Р12	Р13	Р14	Р15	Р16	Р17	Р18	Р19
	К11	К12	К13	К14	К15	К16	К17	К18	К19
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ J
Система	1,0	1,0	1,0	1,0	1,0	1,0	1,0	1,0	1,0

Четвертий етап. На підставі матриці коефіцієнтів пріоритетності суб’єктів ранжування та системи проводиться обчислення індексів тематичних напрямів (профілів), які застосовуються як критерії рейтингу за тематичним напрямом (профілем). Індекси тематичних напрямів (профілів) суб’єктів ранжування та системи розраховуються відповідно за формулами:

(2.6) (2.7)

де: І_tJ - індекс t-го тематичного напряму (профілю) j-го суб’єкту

ранжування;

І_ts - індекс t-го тематичного напряму (профілю) системи;

- n – ий коефіцієнт пріоритетності t-го тематичного напряму

(профілю) j-го суб’єкту ранжування;

- n – ий коефіцієнт пріоритетності t-го тематичного напряму

(профілю) системи;

b - кількість коефіцієнтів пріоритетності рейтингових індикаторів

в тематичному напрямі (профілі), 1 ≤ n ≤ b;

m - кількість коефіцієнтів пріоритетності рейтингових індикаторів в

системі рейтингового оцінювання.

Таблиця 4. Індекси тематичних напрямів (профілів) та інтегральні рейтингові індекси (ІРІ) суб’єктів ранжування

Суб’єкти ранжування	Індекси тематичних напрямів (профілів) інтегральні рейтингові індекси суб’єктів ранжування та системи
	І1	І2	І3	І4	І5	І6	...	Іt	Σ Іt
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ J
Система									1,00

П’ятий етап. Визначаються глобальні критерії рейтингу. Обчислюються

інтегральні рейтингові індекси (табл. 4) як сума індексів тематичних напрямів (профілів) кожного суб’єкта ранжування (ф. 2.8) та системи (ф. 2.9):

(2.8), (2.9),

де: ІРІ_j – інтегральний рейтинговий індекс J –го суб’єкту ранжування;

ІРІ_s – інтегральний рейтинговий індекс системи рейтингового

оцінювання і відповідно до формули 2.9 дорівнює одиниці.

d – кількість тематичних напрямів (профілів) системи ранжування.

Застосування адитивної моделі визначення глобального критерію рейтингу при можливій наявності артефактів є проблемним в контексті достовірності результатів рейтингу. Необ’єктивно завищені показники та відповідно їм рейтингові індикатори в подальшому негативно впливають на достовірність вимірів коефіцієнтів пріоритетності, індексів тематичних напрямів та інтегральних рейтингових індексів. Для запобігання викривлення результатів критерії рейтингу повинні бути такими, щоб виключити або зменшити вплив похибки у вихідних даних.

Інтегральний рейтинговий індекс застосовується у якості глобального критерію рейтингу за умов коректної, неупередженої та об’єктивної первинної інформаційної бази.

Зменшує вплив похибки (артефактів) первинної інформаційної бази на результати рейтингу застосування у якості глобального критерію рейтингу суми місць (табл. 5), які займає суб’єкт ранжування на рейтингових шкалах індексів тематичних напрямів (профілів), При такому підході критерії рейтингу суб’єктів ранжування за формулою 2.10, системи – за формулою 2.11:

(2.10) (2.11)

де: СМ_J - сума місць j-го суб’єкту ранжування за індексами тематичних

напрямів (профілів);

М_tj - місце (ранг), яке займає j – ий суб’єкт ранжування на рейтинговій шкалі t-го тематичного напряму (профілю);

d - кількість тематичних напрямів (профілів), 1 ≤ t ≤ d.

Таблиця 5. Позиціонування суб’єктів ранжування та системи (М – місце) на рейтингових шкалах індексів тематичних напрямів та сума місць (СМ)

Суб’єкти ранжування	Місця (М), які займають суб’єкти ранжування та система за індексами тематичних напрямів (профілів), та їх сума місць (СМ)
	М1	М2	М3	М4	М5	М6	...	Мt	ΣMt
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ J
Система

Шостий етап. Проводиться ранжування вищих навчальних закладів на підставі глобальних критеріїв рейтингу за інтегральним рейтинговим індексом (ІРІ) або сумою місць (СМ) залежно від .якості первинної інформаційної бази і визначається місце (ранг) на рейтинговій шкалі системи рейтингового оцінювання діяльності вищих навчальних закладів, які брали участь у ранжуванні. Кращим вважається суб’єкт ранжування, у якого інтегральний рейтинговий індекс (ІРІ) має більше значення, або менша сума місць (СМ) за індексами тематичних напрямів.