- •Міністерство освіти і науки україни
- •Укладачі: Романюк а. Б., канд. Техн. Наук, ст. Викладач
- •Рецензенти: Каркульовський в. І., канд. Техн. Наук, доцент
- •Мета робота
- •Короткі теоретичні відомості
- •1.3 Корпус Brown
- •1.5 Корпус інаугураційних примов президентів сша.
- •1.6 Анотовані (розмічені) корпуси текстів.
- •2.1 Умови і події.
- •2.2 Підрахунок слів для окремих жанрів.
- •Порядок виконання роботи
- •Зміст звіту
- •Інтернет посилання
- •Методичні вказівки
- •Укладачі: Романюк Андрій Богданович
Порядок виконання роботи
Ознайомитися з теоретичними відомостями.
Виконати приклади, які використовуються в теоретичних відомостях.
Виконати наступні вправи.
Використовуючи модуль corpus прочитайте текст austin-persuasion.txt. Визначить скільки tokens (слів) і type (унікальних слів)містить ця книжка.
Напишіть, використовуючи модуль читання корпусу текстів Brown nltk.corpus.brown.words(), програму, яка дозволяє доступитися до фрагментів текстів у двох різних жанрах корпусу Brown, і назва яких відповідає першій літері прізвища і імені студента.
Прочитайте тексти з корпусу State of the Union addresses використовуючи state_union модуль читання. Визначити частоту вживання слів men, women, people в кожному з документів. Як змінилася частота вживання цих слів з часом?.
Використовуючи конкорданси поясніть відмінності у вживанні слова however на початку речення ("in whatever way", "to whatever extent", або "nevertheless”).
Виберіть пару текстів і дослідіть відмінності між ними (кількість оригінальних слів, багатство мови, жанр). Знайдіть слова, які мають різний зміст в цих текстах, подібно до слова monstrous в Moby Dick та у Sense and Sensibility.
Проаналізуйте таблицю частот модальних дієслів для різних жанрів. Спробуйте її пояснити. Знайдіть інші класи слів вживання яких також відрізняються в різних жанрах.
Напишіть програму для знаходження всіх слів в корпусі Brown, які зустрічаються не менш ніж три рази.
Напишіть програму генерації таблиці відношень кількість слів/кількість оригінальних слів для всіх жанрів корпуса Brown. Проаналізуйте отримані результати та поясніть їх.
Напишіть програму для знаходження 50 найчастотніших слів в тексті, за виключенням незначущих слів.
Напишіть програму яка виводить на екран 50 найчастотніших біграмів тексту, за виключенням біграмів до складу яких входять незначущі слова.
Напишіть програму для створення таблиці частот слів для різних жанрів. Знайдіть слова чия присутність або відсутність є характерною для певних жанрів (подібно до модальних дієслів).
Напишіть функцію word_freq(), яка приймає слово і назву частини корпуса Brown як аргументи і визначає частоту слова в заданій частині корпуса.
Визначити функцію hedge(text), яка обробляє текст і створює нову версію цього тексту додаючи слово ‘like’ перед кожним третім словом.
Підготувати і оформити звіт.
-
Варіант
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Номери завдань
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
5
6
5
6
5
6
5
6
5
6
5
6
5
5
6
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
8
8
8
8
8
8
8
8
8
8
8
8
8
8
8
9
10
11
9
10
11
9
10
11
9
10
11
9
10
11
12
13
12
13
12
13
12
13
12
13
12
13
12
12
13
-
Варіант
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Номери завдань
1
2
3
4
1
2
3
4
1
2
3
1
2
3
4
5
6
5
6
5
6
5
6
5
6
5
6
5
5
6
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
9
10
9
10
11
9
10
11
9
10
11
9
9
10
11
13
12
13
12
13
12
13
12
13
12
13
12
13
12
13
8
8
8
8
8
8
8
8
8
8
8
8
8
8
8