Министерство образования Республики Беларусь

Учреждение образования

Белорусский государственный университет

информатики и радиоэлектроники

УДК____________

Ковалевский Александр, Михайлович

Алгоритмы профилирования пользователей посредством нейронных сетей

Диссертация

на соискание степени магистра технических наук

по специальности ____________________________________________

(шифр и название специальности согласно учебному плану)

	_____________________________ (подпись магистранта)
	Научный руководитель
	Гуринович Алевтина Борисовна _____________________________ (ученая степень, ученое звание) _____________________________ (подпись научного руководителя)

Минск 2018

Реферат

АЛГОРИТМЫ ПРОФИЛИРОВАНИЯ ПОЛЬЗОВАТЕЛЯ ПОСРЕДСТВОМ НЕЙРОННЫХ СЕТЕЙ: магистерская диссертация / А. М. Ковалевский – Минск : БГУИР, 2018, – п.з. – 26 с.

Магистерская диссертация на тему «Алгоритмы профилирования пользователя посредством нейронных сетей» рассматривает проблему анализа данных при профилировании пользователей. В данном исследовании рассматривается персонализация данных с помощью нейронных сетей с целью упрощения и оптимизации процесса поиска подходящей информации для каждого пользователя.

Магистерская диссертация представлена в виде пояснительной записки на 26 страницах, состоящей из введения, шести разделов и заключения.

В первом разделе приведено описание понятия семантической паутины, а также профилирования пользователя.

Второй раздел посвящён работе с веб-данными, описанию источников данных и их обработке.

Третий раздел содержит некоторые подходы к автоматическому анализу информации на основе профиля пользователя.

В четвёртом разделе приводится описание понятия нейронной сети и её архитектуры.

Пятый раздел посвящен описанию архитектуры сверточных нейронных сетей.

В шестом описаны разработанные алгоритмы и приведены результаты их работы.

В результате работы над магистерской диссертацией были разработаны два алгоритма для классификации текстов на основе сверточных нейронных сетей для задачи профилирования пользователя.

Результаты, полученные в ходе магистерского исследования, могут использоваться во множественных сферах, таких как фильтрация документов, поиска информации, перевода текстов, таргетировании рекламы, распознавание спама и др.

Содержание

Введение 5

1. Профилирование пользователей 7

2. Работа с веб-данными 8

2.1 Источники данных 8

2.2 Обработка данных 8

3. Содержимое на основе профиля пользователя 10

3.1 Управление данными 10

3.2 Профилирование пользователя для веб-просмотра 11

3.3 Классификация профилей пользователя 11

3.3.1 Индексация и предобработка 12

3.3.2 Извлечение термов 13

3.3.3 Взвешивание термов с использованием статистических мер 15

3.3.4 Перевод текста в векторное представление 16

4. Нейронные сети 19

4.1 Функции активации 20

4.2 Функция потерь 20

5 Сверточные нейронные сети 22

5.1 Архитектура сверточной нейронной сети 22

5.1.1 Полносвязный слой 23

5.1.2 Сверточный слой 24

5.1.3 Cубдискретизирующий слой 24

5.1.4 Dropout слой 25

5.2 Модели использования сверточной нейронной сети дляклассификации текстов 25

5.2.1 Посимвольный подход 26

5.2.2 Подход c использованием кодирования слов 27

6 Использование сверточной нейронной сети для профилирования 28

6.1 Алгоритм при векторной репрезентации слов и текстов 28

6.2 Алгоритм при семантической репрезентации слов и текстов 33

6.3 Результаты работы алгоритмов 35

Заключение 37

Библиографический список 38

Приложение А 40

Введение

В настоящее время в обществе, компьютеры и интернет широко используется для доступа к различным видам информации. Сейчас недостаточно того, чтобы компьютеры выполняли сложные задачи в нужные сроки и хранили большие объемы информации. С появлением интернета, объем информации увеличился во много раз и ежедневно этот объем информации увеличивается. Сейчас в интернете множество разнообразных ресурсов, начиная от социальных сетей, видеосервисов до новостных лент различной тематики. И современный человек обязан быть в курсе событий, а для этого необходимо ежедневно просматривать большой объем информации. Поэтому можно говорить о такой важной задаче как профилирование пользователей, так как большая часть информации в интернете не представляет интереса для конкретного пользователя, что её просматривает. Это связано с тем, что каждый человек уникален. Таким образом, что интересно одному, будет бессмысленно другому.

Профилирование – разумное ограничение предъявляемой посетителю информации с целью выделения более важного для него содержания. Само профилирование означает процесс персонализации веб-сайтов в соответствии с профилем конкретного пользователя, чтобы достичь наиболее эффективного просмотра веб-страниц, таким образом подавая в первую очередь контент, в котором он предположительно заинтересован и отбрасывая нерелевантный контент.

Задача профилирования – отбор пар «пользователь – данные», путем отсеивания неинтересной конкретному пользователю информации.

Решение данной задачи позволит потребителям услуг тратить меньше времени на поиск, просмотр и усвоение контента и больше на практическое применение. Тем самым увеличивается эффективность работы во многих сферах связанных с масс медиа: информирование о свежих новостях, подбор информации по заданной тематике при поиске, предложение конкретных товаров и услуг, необходимых потребителю. А также при сокращении времени на данные виды деятельности, у пользователей будет больше времени на другие, что эффективно скажется на их работе, и экономике государств в целом.

В данной диссертации для профилирования используются сверточные нейронные сети и рассматриваются алгоритмы векторной и семантической репрезентаций для фильтрации информации.