Екстремальні елементи у вибірковому обстеженні

Варто розрізняти і такі поняття як якісна та кількісна екстремальності. Якщо одиниця є типовою, але його характеристики в певному сенсі відмінні чи вагоміші від інших, то маємо кількісну екстремальність. Якщо підприємство внаслідок певних об’єктивних причин відрізняється від інших, то воно якісно екстремальне.

Грубі помилки зазвичай є кількісно екстремальними елементами, оскільки це типові одиниці, які стали екстремальними лише внаслідок допущеної помилки. Одиниці, значення ознаки яких сильно впливають на вибіркову оцінку, але не є нетиповими, також є кількісно екстремальними, оскільки вони значно не відрізняються від інших елементів, а лише внаслідок перевищення їх характеристиками певної межі, почали впливати на похибку вибірки в бік погіршення. Нетипові одиниці є якісно екстремальними, оскільки вони відмінні від інших внаслідок об’єктивних причин.

Отже, екстремальні елементи можуть бути:

1. дійсно реальними відхиленнями, які обумовлені змінами, що об’єктивно відбулися:

а) для одиниці;

б) у сфері, в якій знаходиться одиниця;

2. у результаті допущених помилок при обстеженні:

а) порушення однорідності вибірки;

б) в результаті нечітких питань, які містяться в анкеті;

3) у результаті помилок при реєстрації інформації респондентом, пов’язаних з:

- недоліками в системі обліку;

- випадковістю;

- небажанням за тими або іншими причинами респондента давати правильні відповіді.

Останні дві причини викликають необхідність очистити сукупність, усунувши невластиві їй екстремальні елементи, а потім на основі елементів, що залишилися, проводити аналіз даних.

Для вибіркового обстеження виявляти і враховувати екстремальні одиниці можна як на етапі планування вибіркового обстеження, так і після його проведення.

Загалом оцінка на екстремальність полягає у:

1) візуальному оцінюванні наявності екстремальних значень ознаки;

2) вимірі ступеня відхилення чи ступеня їх впливовості;

3) аналізі причин відхилень;

4) ухваленні рішення щодо врахування екстремальних елементів.

Обґрунтування рішення щодо екстремальних елементів сукупності означає надання статусу екстремальності крайнім у ряду розподілу значенням і вирішення питання, що з ними робити: лишати в даній сукупності (1), виключити з неї (2) або утворити з екстремальних одиниць окрему сукупність (3).

2 Методи виявлення екстремальних елементів

Для виявлення екстремальних елементів використовується відповідний арсенал математичних засобів теорії статистики, який дозволяє кількісно виявляти екстремальні значення, та логічний аналіз, що розглядає якісні фактори, які треба враховувати в методології виявлення та врахування екстремальних значень.

Обґрунтування рішення у відношенні екстремальних елементів сукупності повинне базуватися на комплексному підході до проблеми, у гармонійному поєднанні математичних засобів та логічного аналізу.

У основу математичних методів виявлення екстремальних елементів звичайно кладеться ступінь віддаленості оцінюваного елемента від середнього (медіани) або від попереднього найбільш близького йому елемента. При цьому враховується стандартне відхилення і ймовірність, що задаються користувачем.

Основні методи виявлення екстремальних елементів:

1. Алгебраїчні. Базуються на ступені віддаленості оцінюваного елемента від середнього (медіани) або від попереднього (для найбільшого) чи наступного (для найменшого) елемента варіаційного ряду.

1.1. Метод, що базується на відхиленні елемента від середнього.

1.1.1. З ймовірністю стверджується, що елементекстремальний, якщо його значення перевищує величину, де– середнє значення;– середнє квадратичне відхилення показника;– квантиль нормального розподілу (довірчий коефіцієнт) рівня(), що є табличним значенням. Частковим випадком цього методу є часто вживаний метод ”трьох сигм”, який виявляє екстремальний елемент з ймовірністю 99,7% (при цьому=3).

1.1.2. Метод, що базується на порівнянні фактичної квантилі розподілу максимального відносного відхилення з табличним значенням. З ймовірністюстверджується, що елементекстремальний, якщо фактична квантиль розподілу максимального відносного відхилення перевищує табличне значення().

1.1.3. Метод Груббса. Базується на порівнянні співвідношення суми квадратів відхилень, розрахованих виходячи з повного складу сукупності і зі складу вибірки без екстремального елементу , з табличним значенням. З ймовірністюстверджується, що елементекстремальний, якщоперевищує табличне значення, що залежить від ймовірності та обсягу сукупності.

1.1.4. Метод, за яким елемент визначається як екстремальний, якщо його значення перебільшує величину , де– кількість підприємств у сукупності.

1.2. Метод, що базується на відхиленні елемента від медіани. З ймовірністю стверджується, що елемент екстремальний, якщо його значення перевищує величину, де– медіанне значення. При використанні цього методу доцільно і надалі при аналізі сукупності використовувати саме робастні оцінки.

1.3. Метод Ірвіна. Базується на співвідношенні різниці між елементом, що підозрюється на екстремальність, і попереднім (для найбільшого) або наступним (для найменшого) у варіаційному ряді до середнього квадратичного відхилення сукупності . За таблицею Ірвіна по обрахованомута відомому обсязі сукупності знаходиться ймовірність того, що елемент є екстремальним. Якщо ця ймовірність перевищує порогове значення ймовірності задане користувачем, то елемент вважається екстремальним, в супротивному разі елемент екстремальним не визнається.

2. Графічні. Базуються на графічному представленні розподілу елементів сукупності.

2.1. Метод Box-plot найбільш популярний. Елемент вважається екстремальним, якщо він знаходиться за межами “ящика”. Фактично екстремальними будуть елементи, що перевищують значення . Тобто цей метод є графічною реалізацією методу 1.2 з імовірністю 98,8%.

Кожен із цих методів має свої переваги і недоліки. Проте є недоліки, що мають місце для усіх вищеописаних методів:

1) присутній суб’єктивний фактор, що вносить варіантність одержуваних результатів;

2) більшість методів вимагають нормального розподілу сукупності.

Про наявність суб’єктивного фактору свідчить таке:

1) визначення сумнівних елементів проводиться візуально і не має критерію, який би дозволив відносити або не відносити той чи інший елемент сукупності до числа сумнівних;

2) вільний вибір ступеню ймовірності впливає на віднесення елемента до екстремальних, тобто один і той же елемент при ймовірності, наприклад, 95% може визначатись як екстремальний, а при ймовірності 95,5% вже не визначатись таким.

3) різні методи дають різні результати щодо визначення сумнівного елементу екстремальним і ця різниця може бути дуже великою.