Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
KL_MiMSI.doc
Скачиваний:
82
Добавлен:
10.05.2015
Размер:
2.88 Mб
Скачать

2. Лица, знакомые между собой или с модератором.

Знакомые друг с другом люди уже выработали схему взаимодействия, которая не вписывается во взаимодействие незнакомых людей. Один может "передавать" свой голос другому, говорить в пользу другого, стремиться к согласию и т.п. Возможна поляризация группы или развитие конфликтных ситуаций (напрмер, когда знакомые изобличают друг друга во лжи). К тому же, наличие в группе знакомых несколько нервирует и унижает остальных.

Все исследователи сходятся на том, что участие в группе близких родственников совершенно недопустимо. Например, эксперименты показали, что в группах, составленных из супружеских пар, вдвое уменьшается количество независимых высказываний. Недопустимо также участие в группе лиц, иерархически подчиненных друг другу. Вообще существуют специальные методы работы с такими группами, но они никак не относятся к фокусированным групповым интервью.

Ни в коем случае нельзя включать в группу людей, принадлежащих к одному "социальному микрокосму" то есть объединенных не только личным знакомством, но и идейными убеждениями. Примерами таких "микрокосмов" могут быть, например, клубы, религиозные общины, ортодоксальные общественные движения с небольшим количеством членов и т.д.

В конце 80-х годов в США введен критерий неучастия в фокус-группах от полугода до года.

Повторные респонденты, во-первых, перестают быть естественными, во-вторых, несознательно берут на себя роль модератора и в-третьих, подавляют своей уверенностью остальных.

Фильтрующая анкета может не гарантировать отсутствие в группе "профессинальных" повторных респондентов. Поэтому целесообразно составление баз данных (БД) по респондентам и обмен ими между исследователями.

Лица, знакомые между собой или с модератором уже выработали схему взаимодействия, которая не вписывается во взаимодействие незнакомых людей. Один может "передавать" свой голос другому, говорить в пользу другого, стремиться к согласию и т.п. Возможна поляризация группы или развитие конфликтных ситуаций (например, когда знакомые изобличают друг друга во лжи). К тому же, наличие в группе знакомых несколько нервирует и унижает остальных.

Все исследователи сходятся на том, что участие в группе близких родственников совершенно недопустимо. Например, эксперименты показали, что в группах, составленных из супружеских пар, вдвое уменьшается количество независимых высказываний. Недопустимо также участие в группе лиц, иерархически подчиненных друг другу. Вообще существуют специальные методы работы с такими группами, но они никак не относятся к фокусированным групповым интервью.

Ни в коем случае нельзя включать в группу людей, принадлежащих к одному "социальному микрокосму" т.е. объединенных не только личным знакомством, но и идейными убеждениями. Примерами таких "микрокосмов" могут быть, например, клубы, религиозные общины, ортодоксальные общественные движения с небольшим количеством членов и т.д.

Недопустимо и применение выборочного метода "снежного кома".

Лица, профессионально знакомые с предметом обсуждения также нежелательны в фокус- группах.

Если исследуется какая-то отрасль социальной жизни, какой-то продукт и т.п. то люди, соприкасавшиеся с этой отраслью (продуктом) в рамках профессиональной деятельности, а также их близкие родственники не должны допускаться к участию в дискуссиях по этим проблемам. Их взгляды и опыт нетипичны и приближаются к экспертным оценкам, что противоречит сразу нескольким методическим принципам. Эти люди изначально занимают в группе обособленное положение и либо дистанцируются от дискуссии, либо проявляют излишнюю активность и указывают другим респондентам на их заблуждения. А если знания такого лица превосходят уровень компетентности модератора, то группа становится неуправляемой. Фильтрующий опрос должен отбрасывать не только людей, очевидно знакомых с предметом обсуждения, но и тех, кто в этом подозревается.

.

Не следует также допускать к участию в группах профессиональных социологов и психологов.

Исключение указанных лиц из выборки, как правило, не представляет проблемы в силу их малочисленности даже в сравнительно узких популяциях.

Остановимся на ТРЕБОВАНИЯХ, ПРЕДЪЯВЛЯЕМЫХ К МОДЕРАТОРУ. Функции модератора и функции интервьюера, проводящего индивидуальные глубокие интервью, схожи с точки зрения конечных целей работы, но не с точки зрения стиля. Специфика фокус-групповых исследований состоит не в том, что опрашиваемых много, а в том, что основным элементом данного метода является взаимодействие опрашиваемых друг с другом. В соответствии с этим основная функция модератора состоит не в опрашивании, а в регулировании дискуссии. Термин moderator (дословно - регулирующий) не имеет русского эквивалента и потому употребляется в транслите. Модератор должен иметь основательную предметную подготовку (кроме, естественно, знания науки о человеческом поведении и, при необходимости - маркетинга). Существует некоторый континуум осведомленности модератора в обсуждаемой области, концы которого весьма подвижны, но не уходят ни в ноль, ни в бесконечность.

Информированность модератора может быть недостаточной, достаточной и избыточной. При недостаточной информированности модератор может не понять или не придать значения какой-нибудь линии дискуссии, вследствие чего будет упущен целый пласт информации. Не информированный модератор не может внушить уважение к себе а, следовательно, и эффективно управлять группой. Не менее опасной является ситуация, когда модератор является профессиональным экспертом в обсуждаемой области. Когда респонденты поймут это, групповая динамика резко изменится, поменяется и ролевая структура группы. Это не пойдет на пользу результатам дискуссии. Если же излишне опытный модератор пытается скрыть свою компетентность, задавая наивные вопросы, группа, как правило, достаточно быстро раскрывает его тактику, и кроме вышеперечисленных эффектов проявляется еще недоверие респондентов к модератору.

В самом начале развития техники группового интервью ученые при подготовке модераторов пытались пойти по неверному пути. Например, при исследованиях в области медицины делались попытки обучить профессии модератора врачей. Этот путь казался проще, но оказалось, что он не дает желаемого эффекта - подобные модераторы деструктивно влияли на ход обсуждения.

В общем виде "идеальную" компетентность модератора можно представить так: его знания не должны выходить за рамки знаний типичного представителя генеральной совокупности. В этом случае модератор не будет выглядеть профаном, но, в то же время, сможет учиться у респондентов, что всегда приятно последним.

Обсуждаемые в группах предметы по степени своей сложности могут быть разделены на три категории:

1. Предмет обсуждения находится в рамках повседневного опыта модератора. Модератор либо лично соприкасается с ним, либо может легко его опробовать.

2. Предмет обсуждения является продуктом, незнакомым модератору по личному опыту и используемому в некоторых специфичных областях рынка. В этом случае перед проведением группы модератор должен ознакомиться со специальной литературой, посоветоваться с экспертами и пользователями (если речь идет о некотором продукте) и т.д.

3. Предмет обсуждения является настолько сложным и специальным, что сами его пользователи являются профессионалами с высоким уровнем подготовки. Модератор не может изучить предмет обсуждения. Из этой ситуации есть два выхода. Во-первых, можно поменять метод, проведя, например, индивидуальные глубокие интервью. Во-вторых, если фокус-группы необходимы, можно пригласить на дискуссию эксперта, который сыграет роль помощника модератора. Обычно это дает хороший эффект.

Модератору необходимо иметь ряд личностных качеств, без которых ведение дискуссии невозможно или затруднено. Каждый модератор в зависимости от своих врожденных психофизических качеств может вести группы от 6 до 12 человек, а иногда и больше. Максимальное число респондентов для конкретного модератора можно установить при помощи специальных психологических тестов. Начинающий модератор должен найти свой стиль, наиболее соответствующий его характеру. Стиль модератора может быть серьезным или веселым, активным или пассивным, основанным на использовании тех или иных методических приемов. Остановимся лишь на основных деструктивных стилях.

1. Растерянный и запуганный модератор.

2. Авторитарный модератор (максимум контроля над группой).

3. Попустительствующий модератор (полная противоположность авторитарному).

4. Модератор, влияющий на ход дискуссии (слишком активно проявляющий свою точку зрения).

5. Слишком активный модератор.

6. Плохо слушающий модератор.

7. "Слишком знающий " и "наивный" модератор (речь идет не об объективной информированности, а о психологической игре модератора).

8. Модератор - комедиант (сосредоточен на развлекательном аспекте).

9. Модератор - эксгибиционист (ведет группу ради самоутверждения) .

10. Соблазняющий модератор (проявление непрофессионального внимания к респондентам противоположного пола).

11. Модератор с болезненным любопытством. Любой из этих стилей может весьма отрицательно повлиять на ход дискуссии, поэтому необходимо наблюдение за модератором.

Хороший модератор не должен терять нить обсуждения, соотносить ход дискуссии с целью исследования. Он должен воодушевлять участников обсуждения; отстаивать свою главенствующую роль. Опытный модератор правильно и эффективно использует время дискуссии. Эффективность дискуссии в большой степени зависит от правильного выбора модератора, поэтому исследователь всегда должен уделять этому вопросу достаточно внимания. Идеален вариант, когда у исследователя есть БД, где собрана информация обо всех доступных модераторах, включающая социально - демографические, психологические, прфессиональные и иные характеристики, а также обычный уровень оплаты работы модератора, что поможет составить смету затрат на исследование в ходе разработки программы.

Фокус-группы могут проводиться либо в специальных стационарных помещениях, либо в помещениях, временно приспособленных для этой цели. Как правило, исследователь может арендовать специальное помещение, хотя на российском рынке эта сфера услуг развита явно недостаточно.

Специальное помещение для проведения фокус-групп состоит, по крайней мере, иэ трех комнат: прихожая, комната для заседаний и комната для наблюдателей. Специфичной чертой помещения является наличие полупрозрачного зеркала, отделяющего комнату для заседаний от наблюдательской, т.е. наблюдатели могут видеть проходящее в другой комнате, а респонденты и модератор не видят наблюдателей. Наблюдатели также имеют одностороннюю аудиосвязь, а при отсутствии специального зеркала и видеосвязь (хотя этот вариант значительно хуже). При проведении дискуссии в неподготовленном помещении наблюдатели могут явно или скрыто сидеть среди респондентов.

В комнате для заседаний должна быть установлена аудио и видеоаппаратура, хорошо организовано освещение. Целесообразно наличие дублирующих магнитофонов и видеокамер, а также ассистента, который следит за аппаратурой. В комнате должна быть комфортная температура и влажность, не рекомендуется наличие отвлекающих декорирующих элементов и больших окон без занавесок или жалюзи. Иногда ход дискуссии фиксируется стенографистом, но при наличии аппаратуры это нецелесообразно.

Существуют разные точки зрения на оборудование комнаты. Некоторые предлагают вариант конференц-зала с круглым столом. Другие - комнату, максимально приближенную к жилой (без декоративного оформления). Здесь роль играют психологические факторы, насчет которых ученым трудно договориться.

Важным вопросом является обеспечение явки респондентов. Обычно отобранным в ходе фильтрующего опроса людям обещается или вручается определенное вознаграждение ( в России - около 10$ США или подарки). За сутки до дискуссии респонденты обзваниваются для подтверждения явки.

Учитывая, что неявка респондентов все же возможна, в группу набирается людей больше, чем запланировано, однако "лишние" и опоздавшие к дискуссии, как правило, не допускаются.

Процедура проведения фокус-групп достаточно стандартна и включает в себя ряд этапов.

Проверка готовности. Модератор и его помощники должны прибыть к месту проведения группы примерно за 30 минут до начала дискуссии чтобы проверить готовность помещения (состояние аппаратуры, наличие стульев, бумаги, температуру и уровень шума в помещении и т.д.). Кресло модератора должно быть обращено спинкой к наблюдателям или видеокамере, а все респонденты должны быть в поле зрения. Должно быть проверено наличие демонстрационных стендов и тестируемой продукции, готовность и количество вознаграждения, питья и закусок.

Встреча участников. Модератор или его помощники встречают участников дискуссии в прихожей, предлагают им раздеться . Здесь могут быть поданы какие-нибудь закуски. Проводится дополнительная фильтрующая беседа. Это делается для надежного исключения из группы лиц, находящихся в состоянии опьянения, а также не соответствующих отборочным критериям.

Помощники модератора способствуют возникновению беседы, не затрагивая однако запланированных тем. Стоит спровоцировать беседы о спорте, погоде, детях и т.д. Следует избегать спорных вопросов (религия, политика и т.п.). Модератор следит за ходом беседы и примерно определяет роли респондентов. Опыт показывает, что около 40% участников дискуссии излишне активны и их надо сдерживать, около 40% желают высказаться, если им представится возможность и около 20% склонны отмалчиваться.

Обычно как только число участников в прихожей достигло запланированного, они приглашаются в комнату для заседаний, куда не допускается кто бы то ни был (полезна соответствующая табличка на дверях). Опоздавших, как правило, просят заполнить какую-нибудь анкету, чтобы создать у них впечатление важности их явки. Если число явившихся участников менее шести (или семи), группа обычно считается несостоявшейся.

Вступительное слово. Перед началом дискуссии модератор произносит краткую вступительную речь, вводя респондентов в курс дела, называя предмет обсуждения, а также объясняя им процедуру проведения группы в том числе сообщив респондентам о присутствии наблюдателей и наличии записывающей аппаратуры. В соответствии с новыми тенденциями вступительное слово модератора должно звучать примерно так:

" Добрый день. Я ваш модератор. Меня зовут ... Вы, наверное, уже заметили здесь микрофоны и поняли, что наша беседа будет записываться. Здесь вы также видите зеркальное стекло. За ним находятся наблюдатели. Тема нашего сегодняшнего обсуждения (называет тему)."

Среднее время для такого выступления - около 40 секунд. Объявления о том, что нельзя перебивать другого и т.д. лучше делать в ходе дискуссии при возникновении соответствующих ситуаций.

Для "разбивания льда" модератор задает группе несколько простых вопросов. Уместен юмор. Иногда модератор просит респондентов представиться. Этот этап должен занять не более 3-5 минут. Далее начинается основная часть дискуссии.

Роли участников. Конструктивные роли:

1. Лидеры мнений (лучше других артикулируют мнения).

2. Союзники модератора (помогают поддерживать порядок дискуссии).

3. Сдержанные участники (основной контингент).

  1. Застенчивые (работа с ними сложна, но плодотворна).

Деструктивные роли:

1. Конкурент модератора (не согласен с темой обсуждения) .

2.Доминатор (стремится сам ответить на все вопросы).

3. Миссионер (все вопросы рассматривает через призму своей идеологии)-

4. Антагонист (выражает критическую точку зрения по любому вопросу).

5. Уточнитель (всегда не согласен с обобщенными формулировками) .

6. Весельчак (во всем ищет повод для острот).

7. Нашептыватель (отвлекает участников разговорами шепотом).

8. Пассивный участник (отсутствие интереса к дискуссии).

9. Соглашатель (пассивный тип участника; соглашается с любым суждением).

Один участник может играть несколько ролей, но, как правило, все они либо конструктивны, либо деструктивны. Для распознания и регуляции поведения участников модератору требуются знания и опыт, а также вышеназванные личностные качества.

Желательным является как можно большее число охвата респондентов в дискуссии. Конструктивное лидерство должно поощряться, деструктивное поведение - сразу пресекаться. Взаимодействие не должно становиться слишком бурным или, наоборот, затихать. Модератор всегда должен помнить о фокусировании обсуждения.

Важны методы зондирования, простейшим из которых является молчание модератора. Модератор также может использовать ряд простых методических приемов для организации внутригруппового взаимодействия. Можно переадресовывать вопросы, заданные модератору, другим участникам дискуссии, можно "стравливать" участников для стимуляции взаимодействия пассивных респондентов. Модератор может имитировать частичное или полное непонимание высказываний респондента, а так же неправильное их понимание (хотя есть опасность, что его игра будет раскрыта). Можно провоцировать респондента, оспаривая его слова (делать это надо очень осторожно, чтобы респондент не замкнулся в себе). Иногда полезны прямые вопросы и вопросы "почему?".

Завершение интервью. В зависимости от запаса времени этот этап может занять от 5 минут и более. Модератор закрывает дискуссию, предлагая участникам поговорить в неформальной обстановке. Иногда в это время высказываются ценные мысли. Заканчивается дискуссия словом модератора, где он:

1. Благодарит каждого респондента за участие в дискуссии.

2. Объясняет группе, если это необходимо, что за пределами комнаты могут находиться участники следующей группы и что ни в коем случае не следует говорить с ними о прошедшем заседании.

3. Объясняет порядок получения вознаграждения. На этом работа фокус-группы заканчивается, участники покидают комнату, а модератор с помощниками и наблюдателями начинают анализировать результаты работы.

 Фокусированное групповое интервью, как метод информации.

Фокусированное групповое интервью представляет собой организованную дискуссию людей для получения информации об их именах, ожиданиях, преломленных через их индивидуальный опыт, относительно проблемы, предложенной исследователем. “Фокус-группа” – сокращённое наименование фокусированного группового интервью. Метод представляет собой, по существу, неформализованное интервью, сфокусированное на цель и приводимое не с одним респондентом, а с группой, где элементы интервью сочетаются с элементами дискуссии.

Цель дискуссии – получение информации о мнениях и реакции участников на определённую проблему. При этом не ставятся такие цели как согласование интересов, разрешение конфликтов, достижение терапевтического эффекта и др.

Особенности группового интервью

Фокусированное групповое интервью не просто чередование вопросов интервьюера и ответов респондента, а групповая дискуссия. Участники фокус-группы оказываются более свободными в выборе формы выражения своих чувств и мыслей относительно заданной темы. При этом по ходу дискуссии могут возникнуть новые вопросы, а предмет разговора приобрести иные очертания, чем предполагалось заранее (в этом гибкость данного метода).

Поэтому одно из основных условий качественного проведения фокус-группы – комфортность обстановки. Важно, чтобы участники фокус-группы не были скованы недостатками времени, почувствовали внимание к себе, сумели настроиться на тему, интересующую исследователя, имели возможность немного отдохнуть в ходе дискуссии и т. п.

Особенностью метода является и то, что данная дискуссия носит фокусированный характер: тема дискуссии, логика и форма постановки вопроса (не более десяти) определяются заранее. Хотя оттенки вопросов, обязательно открытых, подходы к их решению не всегда может предвидеть исследователь, важно (и в этом проявляется искусство ведущего) направить дискуссию в русло необходимой темы.

Сбор информации происходит на основе наблюдения за обсуждением участниками предлагаемых ведущим вопросов, а также за невербальным поведением. В этом фокус-группы близки методу наблюдения. Мнения участников здесь воспринимаются не сами по себе, а в вербальном и невербальном контексте дискуссии: ведь участники по ходу беседы могут как изменять своё мнение, так и корректировать мысли друг друга.

Важнейшей особенностью и достоинством метода является то, что возникающая в ходе дискуссии групповая интеракция позволяет исследователю получить информацию не просто о том, что люди думают по той или иной проблеме, но и почему они так думают. В процессе дискуссии ведущий просит участников подкреплять свои высказывания фактами из личного опыта. Это, придавая высказываниям более обоснованный характер, позволяет исследователю глубже проникнуть в их мотивацию. Более того, истина может оказаться вообще за пределами представлений о ней исследователей. Дискуссия способна лучше показать разнообразие мнений, их качественные отличия, чем массовый опрос, поскольку восприятие темы здесь динамично из-за влияния людей друг на друга в процессе общения.

Отличительная особенность фокусированного интервью ещё в том, что интервьюируемые должны быть участниками некоторой определённой ситуации: просмотрели кинофильм, прослушали радиопрограмму, прочитали памфлет, статью или книгу, принимали участие в психологическом эксперименте, участвовали в митинге. Во-вторых, гипотетически важные элементы, характер, процессы, общая структура этой ситуации предварительно проанализированы социологом. В-третьих, на основе этого анализа разработано руководство для проведения интервью – сценарий.

Условия проведения фокус-группы

КОМФОРТНОСТЬ. Кроме того, о чём уже говорилось, важным оказывается подготовка места – наиболее благоприятна обстановка “круглого стола”. Следует избегать модели “классной комнаты ”, где интервьюер – “учитель”, а участники – “студенты” или “учащиеся”.

РАЗМЕР ГРУППЫ. Группа не должна быть настолько большой, чтобы стать неуправляемой, что помешает участию в ней большинства её членов, и не должна быть настолько маленькой, что не в состоянии обеспечить существенно больший охват, чем интервью с одним человеком. Оптимально: 7 “плюс-минус” 2 (5–9), можно до 10-12 человек.

СОСТАВ ГРУППЫ. Социальная и интеллектуальная гомогенность (однородность) обеспечивает эффективное участие всех членов группы. Возможно, наиболее важной является гомогенность по образованию, полу и возрасту.

АНОНИМНОСТЬ. Члены группы не должны быть знакомы друг с другом, а информация об их высказываниях не разглашается.

Преимущества группового интервью

ОСЛАБЛЕНИЕ НАПРЯЖЁННОСТИ. По мере того, как каждый член группы делает сообщение личного характера, происходит установление группового стандарта свободного общения. Выражение интереса со стороны ведущего способствует ослаблению напряжённости.

РАСШИРЕНИЕ ПОЛНОТЫ ОТВЕТА. Групповое интервью очевидно обеспечивает больший охват и представленность мнений, чем индивидуальное.

АКТИВИЗАЦИЯ ЗАБЫТЫХ ДЕТАЛЕЙ. Общение в группе служит для восстановления в памяти каждого участника подробностей, которые в противном случае могли быть забыты и не вспомнились бы.

Недостатки группового интервью

РЕАКЦИЯ НА СИТУАЦИЮ ИНТЕРВЬЮ. Обсуждение в группе может породить противоречия или дискуссию, не связанную с заданной темой. “Эффект лидера” – разговорчивые члены группы могут занять роль лидера: остальные ориентируются на него и высказывают мнения, сходные с его мнением, а не свои. Они могут монополизировать дискуссию.

ПРЕРЫВАНИЯ ХОДА ДИСКУССИИ часто ведёт к неполному обсуждению темы.

СДЕРЖИВАЮЩИЙ ЭФФЕКТ ГРУППЫ. Некоторые не захотят высказываться в публичной ситуации, даже активные члены группы могут сдерживать себя, считая, что остальные тоже хотят высказаться.

Недостатки фокусированного интервью может свести на нет только профессионализм ведущего (модератора) и его помощников (аналитиков).

История возникновения метода

Сферы применения

“Нью-Йорк Таймс Мэгэзин” (30 августа 1992 г.) в статье “Американский президент глазами избирателей” пишет: “В настоящее время не осталось практически ни одной области, связанной с потреблением товаров, которая не была бы охвачена деятельностью фокус-групп. Загляните в любой американский магазин, и вы увидите длинные ряды товаров, каждый из которых прошёл в своё время проверку в фокус-группе. Включите телевизор, и перед вами замелькают кадры разнообразных рекламных роликов, предварительно просмотренных и одобренных фокус-группами. Зайдите в любой попавшийся кинотеатр – фильмы, которые вы там увидите, наверняка были сделаны с учётом замечаний участников фокус-групп.”

Некоторые газеты и журналы прибегают к данной методике сбора информации с целью узнать мнение читателей на предлагаемое введение новых рубрик или изменение художественного оформления своих изданий. Телестудии таким образом выясняют, какова будет реакция аудитории на ту или иную концовку снимаемого фильма.

С начала 80-х годов метод фокус-групп широко применяется в американских политических кругах для изучения общественного мнения избирателей. Как правило. фокус-группы проводятся профессиональными интервьюерами по заказу крупных политических деятелей, сенаторов, конгрессменов, способных оплатить такое мероприятие. И Д. Буш, и Б. Клинтон не совершали практически ни одного шага, не проверив его предварительно на фокус-группе. И эта тактика вполне оправдана, поскольку теоретически любое замечание, обронённое участниками фокус-группы, может оказаться полезным для кандидата и повлиять на результаты выборов.

В решении социологических задач использование фокусированных групповых интервью может выступать в качестве самостоятельного метода, а также в сочетании с другими методами сбора социологической информации. В различного рода массовых опросах наряду с репрезентативной информацией о мнениях и настроениях больших групп людей, можно получить ответ почему эти мнения таковы. Весьма эффективно применение фокус-групп при составлении и при тестировании уже готового инструментария таких видов опроса, как телефонный, почтовый и индивидуальное интервью.

Однако применение данного метода сдерживается рядом обстоятельств. в том числе его дороговизной. Если заказчик маркетингового исследования или исследования общественного мнения избирателей идёт на необходимые затраты как заинтересованное лицо, то использование фокус-групп в социологических проектах предполагает поддержку спонсора или заказчика.

Литература.

1. Белановский С. А. Методика и техника фокусированного интервью –М., 1995

2. Белановский С. А. Метод фокус- групп. М.: Магистр, 1996

 

 

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]