Додаток в: шкали dialang

Цей додаток містить описання системи оцінювання мовлення DIALANG, яка є прикладом застосування Загальноєвропейських рекомендацій (ЗЄР) з діагностичними .цілями. Головну увагу сфокусовано на твердженнях для самооцінювання, використаних у системі, та на дослідженні калібрування, що запроваджується на їх основі як складова розробки системи. До додатку включено також дві відповідні дескриптивні шкали, які базуються на ЗЄР і використовуються для повідомлення та інтерпретації діагностичних результатів тим, хто навчається. Дескриптори в цьому проекті були шкаловані та приведені у відповідність до рівнів ЗЄР за допомогою Методу № 12 с (моделювання за Рашем), що наводиться в кінці Додатку А.

Проект DIALANG

Система оцінювання DIALANG

DIALANG - це система оцінювання, призначена для тих, хто вивчає мову і хоче отримати діагностичну інформацію про рівень володіння нею. Проект DIALANG здійснюється за фінансової підтримки Європейської Комісії та Генерального Директорату з питань Освіти та Культури (Програма SOCRATES, LINGUA Action D).

Система складається з самооцінювання, мовних тестів і зворотного зв'язку, які надаються на чотирнадцятьох європейських мовах: датській, голландській, англійській, фінській, французькій, німецькій, грецькій, ісландській, ірландській, італійській, норвезькій, португальській, іспанській та шведській. DIALANG надається через мережу Інтернет безкоштовно.

Рекомендації з оцінювання DIALANG та дескриптивні шкали, що застосовуються для повідомлення користувачів про одержані результати, базуються на Загальноєвропейських рекомендаціях (ЗЄР). Твердження для самооцінювання, що використовуються в DIALANG, також, в основному, взяті із загальних європейських рекомендацій та адаптовані, де це необхідно, до специфічних потреб системи.

Мета (призначення) DIALANG

DIALANG призначається для дорослих, які хочуть знати свій рівень володіння мовою та отримувати зворотний зв'язок про сильні та слабкі сторони цього володіння. Система також забезпечує учнів порадами щодо того, як покращити їх мовленнєві вміння та, більш того, націлена на поглиблення усвідомлення ними процесу вивчення мови та володіння нею. Система не передбачає надання сертифікатів.

Користувачі системи - це, насамперед, учні. які вивчають мову самостійно або на мовних курсах. Разом з тим викладачі мови також можуть знайти в системі багато корисного для власних цілей.

Процедура оцінювання за DIALANG

Процедура оцінювання DIALANG має такі стадії :

1. Вибір мови проведення (з 14 можливих)

2. Реєстрація

3. Вибір мови, яка контролюється (з 14 можливих)

4. Тест розміщення (за обсягом) лексичного запасу

5. Вибір уміння (читання, аудіювання, письмо) або навички (лексичної, граматичної)

6. Самооцінювання (лише з читання, аудіювання та письма)

7. Система попередніх висновків про здібності учня

8. Проведення тесту відповідної складності

9. Зворотний зв'язок.

Включаючись у систему, учні спочатку вибирають мову, на якій вони б хотіли отримати інструкції та зворотний зв'язок. Після реєстрації користувачі мають виконати тест розміщення, який також вимірює обсяг їх лексичного запасу. Після вибору вміння/навички, рівень розвитку/сформованості яких вони хотіли б протестувати, користувачам пропонується ряд тверджень для самооцінювання перед тим, як вони виконають вибраний тест. Ці твердження для самооцінювання охоплюють вміння/ навички, про які йдеться, і учень має вирішити, чи може він/вона виконувати діяльність, описану в кожному твердженні. Самооцінювання не є прийнятним для двох інших аспектів, що оцінюються за DIALANG: словника та структур, тому що в ЗЄР не існує відповідних тверджень. Після тесту - і це є складовою зворотного зв'язку - учням повідомляється, чи відрізняється їх рівень володіння за самооцінюванням від рівня володіння, визначеного на основі виконання ними тесту. Користувачі також отримують можливість дослідити можливі причини розбіжностей результатів самооцінювання і тесту в розділі "Роз'яснення зворотного зв'язку".

Мета (призначення) самооцінювання за DIALANG

Твердження для самооцінювання (CO) мають в системі DIALANG подвійне призначення. По-перше, самооцінювання саме по собі вважається важливою діяльністю. Воно розглядається як таке, що заохочує автономне вивчення, забезпечує учнів більшим контролем їх навчання та поглиблює усвідомлення учнями особливостей їх навчального процесу.

Друге призначення самооцінювання в DIALANG є більш "технічним": система використовує лексичний тест розміщення і результати самооцінювання для попереднього визначення вмінь учнів, а потім скеровує їх на тест, який за рівнем складності найкраще відповідає їх підготовці.

Шкали самооцінювання DIALANG

Джерело

Більшість тверджень для самооцінювання, які використовуються в DIALANG, було взято з англійської версії Загальноєвропейських Рекомендацій (Варіант 2,1996). В цьому аспекті DIALANG є безпосереднім застосуванням Рекомендацій в цілях оцінювання.

Забезпечення якості

Робоча група DIALANG з самооцінювання* переглянула усі твердження ЗЄР за 1998 рік і вибрала ті, що виявились найбільш конкретними, чіткими та простими; враховувались також емпіричні результати про твердження Норта (North, 1996/2000). Для читання, аудіюваннята письма було відібрано більш ніж сто тверджень. Крім того, було відібрано твердження для говоріння, проте, оскільки говоріння не є складовою теперішньої системи DIALANG, їх не було включено до дослідження надійності, описаного нижче, і тому вони не представлені в цьому додатку.

* Група складалася зАлекса Тісдейда /Alex Teasdale (голова) та співробітників Neus Figueras, An Huhta, Fellyanka K-aftandijeva, Mats Oscarson та Sauli Takala.

Словесне формулювання тверджень було змінено з "Можу робити" на "Я можу", тому що вони призначались швидше для самооцінювання, ніж для вчительського оцінювання. Деякі твердження було спрощено, щоб вони були більш прийнятними для користувачів; також було розроблено кілька нових тверджень, коли в ЗЄР не вистачало матеріалу (нові твердження виділені в таблицях курсивом). Усі твердження були перевірені доктором Брайаном Нортом, автором тверджень в ЗЄР, групою експертів з тестування чотирма мовами та вчителями-експертами. Потім було узгоджене остаточне словесне формулювання тверджень.

Переклад

Оскільки DIALANG є мультилінгвальною системою, твердження для самооцінювання були перекладені з англійської мови на інші тринадцять мов. Переклад здійснювався за узгодженою процедурою. Було узгоджено основні напрями перекладу та вирішення спірних питань; головним якісним критерієм була зрозумілість для учнів. Спочатку двоє-троє експертів з кожної мови перекладали твердження на свої мови кожен окремо, а потім збирались для обговорення відмінностей та приведення словесного формулювання до консенсусу. Далі варіанти перекладу передавались Групі з Самооцінювання, члени якої мали достатній лінгвістичний рівень для додаткової перехресної перевірки якості перекладів дев'ятьма мовами. Відбувалися й обговорення з перекладачами, з'ясовувалися всі питання, пов'язані зі словесним формулюванням, а зміни узгоджувались.

Калібрування тверджень для самооцінювання

Таким чином у проекті DIALANG реалізоване калібрування тверджень для самооцінювання, (Калібрування - це процедура, під час якої статистичне визначається рівень складності положень, тверджень і т.д., і з них створюється шкала). Калібрування базувалось на даних 340 осіб (повна структура тесту), які також виконали певну кількість тестів DIALANG фінською мовою. Твердження для CO було надано їм (суб'єктам) шведською мовою (для 250 осіб, рідна мова яких була шведська), або англійською. Крім того, більшість учасників могли консультуватись з варіантом тверджень на фінській мові.*

* Дослідження проводилось у Центрі Прикладних мовних досліджень при університеті Яаваскіла (Yyvaskylä), який був Координаційним Центром Проекту в 1996-1999 роках. Робочою Аналітичною Групою (for Data Analysis) у складі Фелянки КафтанджиєвоЇ (голова), Нормана Верхельста, Саулі Такала, Джона де Джонга, Тімо Тортакангаса. Координаційний центр DIALANG на стадії 2 знаходився в Берлінському Університеті (Freie Universität Berlin).

Дані було проаналізовано за програмою OPLM (Verfielst et al.1985; Verhelst and Glass 1995).*

* OPLM - це розширена модель Раша, яка дозволяє даним відрізнятись за їх дискримінацією. Різниця між нею та двопараметровою моделлю в тому, що параметри цієї дискримінації не розглядаються, а приймаються як відомі константи.

Результати аналізу були позитивними: більш ніж 90% тверджень можна було шкалувати (оскільки вони задовольняли вимогам застосованої статистичної моделі). Всі три шкали самооцінювання, створені на базі калібрування тверджень, були однорідними, про що свідчать показники високої надійності (Кронбах-альфа): 0,91 для читання, 0,93 для аудіювання та 0,94 для письма. *

* Глобальна модель параметрів також була досить доброю (р= .26), коли твердження були калібровані разом. Статистична відповідність для калібрування на Основі вмінь теж було добрим (р=. 10 для Читання,. 84 для Письма та. 7 8 для Аудіювання).

Подібні дослідження з калібрування будуть проведені при пілотуванні інших 13 мов на основі підходу, розробленого Аналітичною Групою. Вони покажуть ступінь надійності результатів першого дослідження, та чи існує тенденція щодо окремих тверджень бути постійно кращими від інших для цілей самооцінювання.

Хоча перше дослідження з калібрування є одиничним, важливо зазначити, що воно свідчить про якість більш ніж однієї мовної версії тверджень для CO DIALANG. Це є справедливим, тому що більшість учнів-учасників дослідження могли вибрати будь-яку, навіть усі, із трьох версій (Шведською, Англійською або Фінською мовою) при самооцінюванні, хоча більшість із них спиралась на шведську. Завдяки ретельній процедурі перекладу ми можемо з упевненістю підсумувати, що твердження з CO є прийнятними для всіх мов - це висновок, який очевидно буде перевірений як складова інших досліджень з калібрування.

Додаткові підтвердження якості шкал для самооцінювання DIALANG - і шкал ЗЄР - були отримані доктором Кафтанджиєвою шляхом кореляції значень складності тверджень у цьому дослідженні зі значеннями таких самих тверджень, отриманих Нортом ( 1996/ 2000) в іншому контексті. Кореляція виявилась дуже високою (0,83), або навіть 0,897, за винятком одного твердження з неоднозначною поведінкою.

Документ В1 представляє 107 тверджень для самооцінювання з читання, аудіювання та письма, які пройшли калібрування, основане на даних з фінської мови. Твердження в кожній таблиці впорядковані за ступенем складності від найлегшого до найскладнішого. Твердження, що не були взяті з ЗЄР, виділені курсивом.