Программное обеспечение вычислительной техники и автоматизированных систем - РГР и ЛР (Дергачёв) / Тестирование интерфейсов

Юзабилити-тестирование

Какими бы не были совершенными логические соображения, приведшие к созданию интерфейса, всегда остается вероятность того, что интерфейс получился плохой, либо, что более вероятно, не такой хороший, каким бы он мог быть. Необходимо иметь какие-либо подтверждения его работоспособности. Всё, что для этого нужно, это несколько пользователей средней квалификации, никогда не видевшие тестируемой системы, плюс прототип (разумеется, при наличии основательного бюджета можно развернуться и пошире, например, купить прибор, фиксирующий направление взгляда пользователя). Существует распространенное заблуждение, что с помощью тестирования, можно решить все проблемы интерфейса. С помощью тестирования можно определить только слабые места интерфейса, но почти невозможно обнаружить сильные, поскольку они пользователями просто не замечаются, и совсем уж невозможно определить новые способы улучшения. Юзабилити-тестирование представляет собой постановку экспериментов с целью выявления специфичной информации, касающейся дизайна исследуемого продукта. Юзабилити-тестирование производится на протяжении всего цикла разработки продукта. На ранних стадиях разработки тестирование предыдущей версии или конкурирующих продуктов позволяет команде проектировщиков наметить контрольные точки, которых необходимо достигнуть в процессе разработки. В середине работы над продуктом, тестирование проверяет корректность произведённого дизайна и предоставляет обратную связь, сообщая места, где дизайн нуждается в улучшении. На заключительных этапах тестирование удостоверяет, что продукт соответствует тем целям, для которых был спроектирован. В целом, провести тестирование несложно. Нужно лишь взять несколько пользователей и выяснить, как именно они работают с исследуемым продуктом. Как правило, в процессе тестирования производятся индивидуальные наблюдения за каждым из пользователей, которые выполняют ряд специально подготовленных заданий, требующих работы с продуктом. Производится сбор всех возможных данных, касающихся того, как именно пользователь выполняет задания, – например, сколько времени уходит на выполнение каждого задания или сколько ошибок совершается в процессе работы. Затем производится анализ собранной информации с выявлением тенденций и закономерностей.

Подготовка к тестированию

Цели исследования Проектирование исследования Подбор участников тестирования Подготовка необходимого инструментария Подготовка тестовой группы Цели исследования Что вам необходимо узнать об исследуемом продукте? Начните с общей цели вашего исследования; возможно, вас интересует, почему после выхода последней версии продукта участились звонки в службу техподдержки. Или ваше положение на рынке пошатнулось и вы желаете знать, не вызвано ли это тем, что продукция конкурента более удобна в использовании. Разбейте цель эксперимента на несколько чётких задач. «Удобен ли мой продукт?» – хороший пример плохой постановки задачи. Задачи должны быть поставлены таким образом, чтобы по результатам тестирования можно было легко определить решение каждой из них, они должны касаться того, что можно непосредственно заложить в тестирования, например: Является ли задержка при загрузке Java-апплета причиной ухода с сайта посетителей? Насколько сложной для новичка является процедура заполнения налоговых форм с помощью данного продукта? Предоставляет ли онлайн-система подсказки достаточное количество информации о налоговом кодексе? Эта информация изложена простым, доступным для понимания языком, а не на юридическом жаргоне? Проектирование исследования Характеризуйте пользователей, которые станут участниками тестирования. Это необходимо, потому что когда вы займётесь непосредственно подбором участников, очень важно будет знать, кто именно вам нужен: новички, эксперты или опытные пользователи, мужчины, женщины, или же вы нуждаетесь в представителях обоих полов; также важен возраст пользователей. Кто является целевой группой пользователей вашего продукта? Если вы тестируете дисплеи реактивных истребителей, вам ни к чему пропускать через ваши тесты орды тинэйджеров. Если ваш продукт – автомат для продажи газировки, в таком случае те же тинэйджеры придутся как нельзя кстати. Выявление профиля пользователей вашего продукта важно для проектирования эксперимента и непосредственно для подбора его участников. Определите структуру вашего эксперимента Композиционное строение вашего тестирования описывает, как вы будете проводить отдельные тесты, в каком порядке они будут выстроены, чтобы исключить из рассмотрения и дальнейшего анализа все переменные, не представляющие интереса. Предположим, что вы тестируете программный продукт, связанный с налогообложением. Нужны ли вам пользователи, уже использовавшие ваш продукт в работе и уже обладающие некоторыми сведениями и навыками, касающимися именно вашего продукта? Возможно, вы предпочтёте разбить участников тестирования на две группы, разделив их на новичков и пользователей, уже имеющих некоторый опыт работы с продуктом. Определите задания, которые будут предложены участникам тестирования во время проведения каждого теста Эти задания, несомненно, должны быть заимствованы и основаны на тех задачах, которые пользователи решают с помощью вашего продукта в процессе его нормального использования. Укажите всё, что понадобится вам для того, чтобы определить сценарий теста: состояние автомата, машины или компьютера, экраны, документацию, другие средства помощи и подсказки, которые должны присутствовать. Также укажите, каким образом определяется успешное завершение выполнения каждого задания, – например, если пользователь успешно сохранит отредактированный документ или выполнит некоторую производственную операцию, достигнув определённого законченного результата. Опишите инструментарий исследований В традиционных научных экспериментах, например, биологических или химических исследованиях, лежащих в самых корнях методологии юзабилити-тестирования, инструментарием исследования является оборудование лабораторий, пробирки, мензурки, горелки и другие устройства, используемые в процессе эксперимента. Для юзабилити-тестирований, таким инструментарием будет компьютер и установленное программное обеспечение, или макет изготавливаемой рабочей станции, или прототип приборной доски автомобиля. Инструментарий также может включать в себя устройства, используемые в процессе проведения тестов, такие как видеокамеры для записи поведения пользователей, преобразователи развёртки для записи того, что происходит на экранах мониторов, диктофоны и записывающая аудиоаппаратура для протоколирования вербального общения и записи вербальных протоколов, односторонние зеркала, позволяющие наблюдателям и экспериментатору оставаться невидимым для участников тестирования и так далее. Вы можете собрать много полезной информации, пользуясь простыми любительскими видеокамерами или даже вообще без видеозаписей. Характеризуйте требуемый персонал Вам понадобится как минимум один экспериментатор (ассистент), который будет проводить тестирование, начиная от оглашения его темы, объяснения плана тестирования и заканчивая непосредственной работой с участником тестирования над каждым заданием. Для того, чтобы уменьшить нагрузку на экспериментатора, связанную с фиксацией получаемых данных (ведением журналов-логов), вы можете включить в состав команды одного или двух наблюдателей. Также во время тестирования должны присутствовать наблюдатели – участники проекта, имеющие непосредственное отношение к разработке программы и интерфейса, которые будут находиться в соседней комнате за односторонним зеркалом или у телевизора, на который поступает сигнал с видеокамеры. Подбор участников тестирования Составьте список пользователей, из которого вы будете подбирать участников для каждого теста Вам понадобится количество пользователей, достаточное, чтобы создать выборку в требуемой для теста пропорции опыта, навыков и демографических характеристик, – поскольку в противном случае неучтенные факторы могут закрасться в структуру проводимого эксперимента и повлиять на полученные в ходе тестов данные. Профиль пользователей, который вы определили в ходе подготовки и проектирования эксперимента, поможет вам создать модель типового пользователя вашего продукта. Например, приборной доской реактивного истребителя могут пользоваться не только сами пилоты, но и обслуживающие рабочие, механики, инструкторы и диагностирующий персонал. Тем не менее, для тех целей, которые преследуете вы («Позволяет ли использование дисплея радара ближайшего окружения самолёта избежать столкновений в процессе полёта на спине?»), вы можете быть заинтересованы в рассмотрении только одного сегмента всей выборки – в нашем примере, только пилотов. Даже если вы уже сузили выборку до единичного профиля, например, «пилоты мужского и женского пола со зрением 20/20 в возрасте от 22 до 35 лет, имеющие учёную степень не менее бакалавра или эквивалентную», вам все ещё необходима дополнительная информация, касающаяся ваших пользователей. Каким опытом работы с данным типом дисплея обладает каждый пользователь? Пользуются ли они устаревшими механическими индикаторами или предпочитаю компьютеризированные дисплеи? Есть ли среди них дальтоники? Какой глаз является доминантными для каждого из них? Список вопросов можно продолжить, поскольку чем лучше вы знаете участников тестирования, тем меньше сюрпризов преподнесут неучтённые и спонтанные факторы, способные исказить ваши экспериментальные данные. Как вам найти всех этих пользователей? Всеми возможными способами. Попросите своих коллег по работе, их друзей и родственников. Привлеките для поиска людей агенства по найму и компании, занимающиеся маркетинговыми исследованиями (вам придётся заплатить за их услуги, однако, скорее всего, вы облегчите себе работу по сортировке и отбору, используя предоставленные характеристики). Используйте записи звонков в службу техподдержки и списки постоянных клиентов-лидеров по покупкам для того, чтобы привлечь наиболее активных пользователей продукта. Поместите рекламное объявление в Интернет или в прессу. Отправьте приглашения на ознакомительную и производственную практику в школы. Подготовка необходимого инструментария Инструментарий юзабилити-тестирования включает в себя компьютер и установленное на нём программное обеспечение для тестирования программного продукта, или машину, автомат или его макет для тестирования оборудования. Некоторые тесты производятся на прототипах системы, в таком случае необходимо удостовериться, чтобы все состояния агрегата, которые могут возникнуть в процессе тестирования по каждому сценарию теста, были реализованы в прототипе. Также в инструментарий входят материалы, предоставляемые участнику и экспериментатору в течении тестов. Участнику тестирования обычно выдаётся список заданий, которые ему необходимо выполнить. Часто последовательность шагов, необходимых для выполнения каждого задания, намеренно опускается, особенно в том случае, если вы хотите определить, насколько легко обнаружить определённые последовательности управляющих действий. Экспериментатор обычно получает основное описание того, как он должен сообщать задания участникам теста, и вспомогательную форму для фиксации своих наблюдений в течении теста. В некоторых случаях оказывается удобным использовать предварительно согласованные условные обозначения для стенографирования событий, чтобы ничего не упустить в стремительном водовороте процесса. Если вы используете видеокамеру, то стоит провести кабель от нее в соседнюю комнату, в которой каждый, кто участвует в разработке, мог бы сам наблюдать за ходом тестирования по телевизору. Видеокамера должна фиксировать то, что видит пользователь (на экране монитора или на бумаге, в зависимости от того, что вы тестируете), а также то, что произносят пользователь и ассистент. Подготовка тестовой группы Ваша тестовая группа – это группа пользователей, которые примут участие в данном тесте. Сколько вам потребуется человек? Наиболее распространённые руководства рекомендуют привлекать в среднем 4-5 участников для того, чтобы обнаружить большинство проблем, связанных с юзабилити. Подберите вашу тестовую группу на основе ваших задач и профиля пользователей, учитывая доступность участников в дни, на которые вы назначили проведение теста. Вероятнее всего, уже первые три пользователя помогут выявить все самые значительные проблемы. Якоб Нильсен и Том Ландауэр утверждают, что тестирование пяти пользователей позволяет обнаружить уже как минимум 85% проблем интерфейса, и далее с каждым дополнительным пользователем отдача от тестирования существенно снижается. К тому же, намного важнее провести больше циклов тестирования, чем стремиться собрать всю возможную информацию из каждого цикла. Тестирование в цикле только трех пользователей, скорее всего, позволит вам провести хотя бы еще один цикл. Кроме того, после корректировки проблем, обнаруженных в первом цикле, те же самые пользователи, приглашенные на следующий цикл, возможно, обнаружат другие проблемы, поскольку застревать на исправленных они уже не будут. Если вы тестируете только трех или четырех пользователей, то вы можете обсудить полученные результаты в тот же день и сразу сделать нужные изменения. Если же в вашем тестировании участвует более четырех пользователей, то объем заметок, сделанных в процессе тестирования, становится слишком большим, чтобы их можно было быстро прочитать. К тому же, большинство из этих заметок будет касаться мелких проблем, возникнет опасность потерять главное. Так что постарайтесь сосредоточиться на главных проблемах, корректируйте их, и затем как можно скорее тестируйте снова.

Проведение тестирования

Подготовка участника к тестированию Действия ассистента во время тестирования Действия наблюдателя во время тестирования Подготовка участника к тестированию Большинство людей чувствуют себя неуютно, когда попадают в лабораторию, где им приходится выполнять задания, зная, что время выполнения замеряется и все их ошибки записываются для дальнейшего анализа, поэтому сделать так, чтобы пользователь чувствовал себя комфортно и спокойно, очень сложно. Объясните участнику, что он может в любой момент остановить тест, отлучиться в уборную или сделать перерыв, если это ему потребуется. Подчеркните, что вы подвергаете тестированию продукт, а не пользователей, и им не стоит чувствовать себя под давлением теста. Поблагодарите пользователей за участие в тестах. Большинство тестов требуют от участников предварительного заключения соглашения о неразглашении информации и подтверждения их согласия на произведение записей. В качестве части этой «бумажной работы», вы можете провести участников через анкетирование для того, чтобы идентифицировать знание предметной области, их позиции и отношения, или чтобы получить ещё немного информации о характеристиках пользователей. Действия ассистента во время тестирования Задача ассистента заключается только в том, чтобы объяснить пользователям, что им нужно сделать, просить их высказывать свои мысли вслух, слушать внимательно, что они говорят, и всячески оберегать их. Попробуйте, сначала протестировать себя. За день до проведения теста попробуйте выполнить самостоятельно то, что собираетесь просить делать участников тестирования, и убедитесь, что сможете справиться в отведенное время. Оберегайте участников тестирования. В ваши обязанности входит защита чувства собственного достоинства пользователей. Будьте внимательны и тактичны с ними. Если пользователь застрял где-то, ободрите его, похлопайте его по плечу (в переносном смысле), а в завершении тестирования обязательно поблагодарите (искренне). Дайте знать вашим пользователям, что их участие было очень ценным и полезным для вас. Сопереживайте участникам тестирования. Будьте добры и терпеливы к ним и старайтесь ободрять их. Дайте им ясно понять, что вы знаете, что они не глупы. Постарайтесь увидеть и понять, какие мысли возникают у них. Самая главная задача для вас - это попытаться наблюдать за ходом их мысли. Когда вы не уверены, что вам понятно, о чем они думают, спросите у них об этом. Если пользователь уставился на экран в течение 10 сек., то спросите у него: «На что вы смотрите?» или «О чем вы задумались?». Постарайтесь понять, какие на каждом шагу у них возникают ожидания и насколько программа соответствует этим ожиданиям. Когда пользователь уже готов щелкнуть мышью, спросите у него, что он ожидает увидеть. После того как он щелкнет мышью, узнайте, действительно ли результат оправдал его ожидание. Не подсказывайте им, что делать. Во многом это напоминает работу психиатра. Если пользователь говорит: «Я не знаю, что делать дальше», вам нужно спросить: «А как вы думаете, что бы вы могли сделать?» или «А что бы вы сделали, если бы были дома?». Ваши инструкции должны быть простыми. Их не так уж и много, поэтому их легко запомнить: Оглядите экран и скажите, чем это все является и по чему вы, скорее всего, щелкнули бы? Скажите, по чему вы щелкнули бы теперь, и как вы думаете, что вы увидите после этого? Постарайтесь как можно больше произносить свои мысли вслух. Не бойтесь повторять эти инструкции часто, тем более что это больше надоест вам самим, чем пользователю. Уточняйте, уточняйте, уточняйте. Трудность состоит в том, что нельзя отвлекать пользователей или оказывать на них влияния, но в то же время необходимо выяснить, что они в действительности думают (чего, кстати, они и сами могут не до конца понимать). Не бойтесь импровизировать. Например, если первые два пользователя безнадежно застряли в одном и том же месте и вам ясно, в чем там проблема и как ее решить, то не заставляйте и третьего пользователя без нужды возиться с ней. Как только он дойдет до этого места, объясните ему, что к чему и как продолжить работу дальше. Не расстраивайтесь, если пользователь окажется совсем неопытным или полностью запутается. Наблюдая за пользователем, который ни во что не «въезжает», вы можете узнать больше полезного. Более опытный пользователь обладает лучшими навыками для того, чтобы разобраться с проблемой «как получится», и вы можете даже не заметить, что на самом деле он не понимает, как «это» работает. Делайте записи после каждой сессии. Сразу после каждого тестирования делайте короткие записи о том, что вам запомнилось. Если вы не сделаете этого до начала следующего теста, то потом вам будет очень трудно вспомнить важные детали. Действия наблюдателя во время тестирования Работа наблюдателя на юзабилити-тестировании довольно простая. Все, что вам нужно будет делать в качестве наблюдателя, — это только слушать и смотреть, быть внимательным и попутно делать записи. Вот на что вам придется обращать внимание: Попробуйте, сначала протестировать себя. За день до проведения теста попробуйте выполнить самостоятельно то, что собираетесь просить делать участников тестирования, и убедитесь, что сможете справиться в отведенное время. Они понимают? Могут ли пользователи без посторонней помощи разобраться, чем является программа, каково ее назначение и откуда можно начать ей пользоваться? Могут ли они разобраться в структуре программы? Понятна ли навигация для пользователей? Ясна ли для пользователей функциональность и понятны ли названия, которые использованы для меню и кнопок? Моменты просветления. Вы сможете отличить эти моменты по следующему признаку: когда пользователь совершит или не совершит какое-то действие, все, кто наблюдает тестирование, внезапно хлопнут себя по лбу и воскликнут: «Почему же мы раньше об этом не подумали?» или «Почему же мы раньше этого не замечали?». Это очень важные моменты просветления. Моменты шока. В такие моменты вы, вероятно, также стукнете себя по лбу, но вместо «Почему мы не замечали этого?» вы воскликнете: «Почему же он (или она, речь идет о пользователе) не заметил(а) этого?» или «Почему же он(а) не понял(а) этого?». В отличие от решений, возникающих в моменты просветления, решение для «шоковой» проблемы не всегда легко найти, и, возможно, для этого вам придется вновь вернуться к «чертежной доске». Новые идеи. Пользователи часто подсказывают решения какой-либо проблемы, над которой вы уже давно бьетесь. Очень часто такие подсказки наводят вас на идеи, о которых вы уже раньше думали, но по каким-то причинам отклонили их. Ситуация, когда вы видите, как пользователь сталкивается с этой проблемой, иногда позволяет по-новому взглянуть на нее. Иногда случается, что в проект были внесены какие-то изменения (например, было решено применить другую технологию или сместились коммерческие приоритеты), и становится полезным тот метод или подход, который был отклонен в начале. Оглядите экран и скажите, чем это все является и по чему вы, скорее всего, щелкнули бы? Скажите, по чему вы щелкнули бы теперь, и как вы думаете, что вы увидите после этого? Постарайтесь как можно больше произносить свои мысли вслух. Восторг. Какие элементы программы действительно очень нравятся пользователю? Обращайте внимание на фразы вроде: «Это именно то, что я искал(а)!», «Когда же этим можно будет, наконец, пользоваться?». Во время тестирования вы заметите и много того, что пока не работает, ну, например, съехавшие подписи в опциях, не работающие функции, опечатки. Следует отмечать эти элементы, чтобы потом передать список тем, кто должен их исправить. Однако не забывайте, что это не является вашей основной задачей, и делайте это только попутно.

Итоги тестирования

Обсуждение с участником пройденного тестирования Отчет о наблюдении Анализ полученных данных Обсуждение с участником пройденного тестирования После того, как задания были выполнены и тестирование завершено, пообщайтесь с его участником, обсудите тест. Пройдитесь с ним вместе по событиям, произошедшим во время теста, для того, чтобы получить дополнительную информацию, касающуюся того, о чём думал пользователь в то время. Одним из путей обзора события является его восстановление и обсуждение с участником тестирования. Кроме этого, вы можете просто спросить участника, что из случившегося во время теста показалось ему заслуживающим внимания. Поблагодарите пользователя за участие в тестировании. Помните, участники оказывают вам услугу своим присутствием на тестах, и важно дать им понять, как высоко вы это цените. Большинство лабораторий вручают участникам небольшие подарки по завершении тестирования: кофейную кружку, футболку или бесплатное программное обеспечение. В большинстве случаев вам не раз ещё потребуется привлечь этих пользователей для своих тестирований, поэтому очень важно, чтобы они остались довольны своим участием. Отчет о наблюдении После тестирования каждый наблюдатель и ассистент должен как можно быстрее написать небольшой отчет об основных проблемах, которые были им замечены во время тестирования, а также изложить свои мысли по поводу способов их устранения. Не надо писать полных и развернутых отчетов. Пусть это напоминает скорее резюме. В идеале, все участники группы по разработке должны прочитать эти отчеты (или хотя бы пробежать их глазами), поэтому они не должны по объему превышать страницу или две. На собрании рабочей группы раздайте копии всех отчетов и приложите к ним копии набросков и изображений, которые тестировались. Следует обсудить два вопроса: Отбор. Рассмотрите проблемы, с которыми сталкивались пользователи, и решите, какие из них должны быть исправлены. Поиск решений. Определите возможные решения для отобранных проблем. Анализ полученных данных В первую очередь ищите крупные проблемы Как правило, найти крупную проблему проще всего, поскольку они становятся заметны ещё при проглядывании заметок, сделанных во время наблюдения за пользователями. Если каждый участник сталкивался с проблемами при использовании определенного пункта меню, очевидно, что дизайн этого пункта нуждается в пересмотре. Подведите итог собранным данным по производительности Данным, касающиеся производительности, таким как частота возникновения ошибок и времена выполнения заданий, оценка даётся с помощью их статистического анализа. Большая часть такого анализа сводится к нахождению среднего значения и стандартного отклонения, а также к проверке достоверности полученных данных. Все ли тенденции выявляются этим набором данных? Где расположены наиболее сложные и трудные части продукта? Подведите итог данным, касающимся предпочтений пользователей Наблюдая за действиями пользователей и записывая их мнения, как во время теста (используя метод записи «мыслей вслух» или задавая вопросы), так и до или после теста с использованием анкет и опросных листов, вам удалось собрать большое количество информации, касающейся предпочтений пользователей. Большинство опросников имеют строение, позволяющее вам количественно измерить мнения, используя численную шкалу, и обнаруженные таким образом количественные данные могут анализироваться с помощью статистических методов так же, как и данные, касающиеся производительности. Также вы можете использовать цитаты из мнений участников тестирования в качестве «ударных фраз», включив их в итоговый отчёт.