1 Подготовка к тестированию

1.1 Цели исследования

Что вам необходимо узнать об исследуемом продукте?

Начните с общей цели вашего исследования; возможно, вас интересует, почему после выхода последней версии продукта участились звонки в службу техподдержки. Или ваше положение на рынке пошатнулось и вы желаете знать, не вызвано ли это тем, что продукция конкурента более удобна в использовании.

Разбейте цель эксперимента на несколько чётких задач.

«Удобен ли мой продукт?» – хороший пример плохой постановки задачи. Задачи должны быть поставлены таким образом, чтобы по результатам тестирования можно было легко определить решение каждой из них, они должны касаться того, что можно непосредственно заложить в тестирования, например: Является ли задержка при загрузке Java-апплета причиной ухода с сайта посетителей? Насколько сложной для новичка является процедура заполнения налоговых форм с помощью данного продукта? Предоставляет ли онлайн-система подсказки достаточное количество информации о налоговом кодексе? Эта информация изложена простым, доступным для понимания языком, а не на юридическом жаргоне?

1.2 Проектирование исследования

Характеризуйте пользователей, которые станут участниками тестирования.

Это необходимо, потому что когда вы займётесь непосредственно подбором участников, очень важно будет знать, кто именно вам нужен: новички, эксперты или опытные пользователи, мужчины, женщины, или же вы нуждаетесь в представителях обоих полов; также важен возраст пользователей. Кто является целевой группой пользователей вашего продукта? Если вы тестируете дисплеи реактивных истребителей, вам ни к чему пропускать через ваши тесты орды тинэйджеров. Если ваш продукт – автомат для продажи газировки, в таком случае те же тинэйджеры придутся как нельзя кстати. Выявление профиля пользователей вашего продукта важно для проектирования эксперимента и непосредственно для подбора его участников.

Определите структуру вашего эксперимента

Композиционное строение вашего тестирования описывает, как вы будете проводить отдельные тесты, в каком порядке они будут выстроены, чтобы исключить из рассмотрения и дальнейшего анализа все переменные, не представляющие интереса. Предположим, что вы тестируете программный продукт, связанный с налогообложением. Нужны ли вам пользователи, уже использовавшие ваш продукт в работе и уже обладающие некоторыми сведениями и навыками, касающимися именно вашего продукта? Возможно, вы предпочтёте разбить участников тестирования на две группы, разделив их на новичков и пользователей, уже имеющих некоторый опыт работы с продуктом.

Определите задания, которые будут предложены участникам тестирования во время проведения каждого теста

Эти задания, несомненно, должны быть заимствованы и основаны на тех задачах, которые пользователи решают с помощью вашего продукта в процессе его нормального использования. Укажите всё, что понадобится вам для того, чтобы определить сценарий теста: состояние автомата, машины или компьютера, экраны, документацию, другие средства помощи и подсказки, которые должны присутствовать. Также укажите, каким образом определяется успешное завершение выполнения каждого задания, – например, если пользователь успешно сохранит отредактированный документ или выполнит некоторую производственную операцию, достигнув определённого законченного результата.

Опишите инструментарий исследований

В традиционных научных экспериментах, например, биологических или химических исследованиях, лежащих в самых корнях методологии юзабилити-тестирования, инструментарием исследования является оборудование лабораторий, пробирки, мензурки, горелки и другие устройства, используемые в процессе эксперимента. Для юзабилити-тестирований, таким инструментарием будет компьютер и установленное программное обеспечение, или макет изготавливаемой рабочей станции, или прототип приборной доски автомобиля.

Инструментарий также может включать в себя устройства, используемые в процессе проведения тестов, такие как видеокамеры для записи поведения пользователей, преобразователи развёртки для записи того, что происходит на экранах мониторов, диктофоны и записывающая аудиоаппаратура для протоколирования вербального общения и записи вербальных протоколов, односторонние зеркала, позволяющие наблюдателям и экспериментатору оставаться невидимым для участников тестирования и так далее. Вы можете собрать много полезной информации, пользуясь простыми любительскими видеокамерами или даже вообще без видеозаписей.

Характеризуйте требуемый персонал

Вам понадобится как минимум один экспериментатор (ассистент), который будет проводить тестирование, начиная от оглашения его темы, объяснения плана тестирования и заканчивая непосредственной работой с участником тестирования над каждым заданием. Для того, чтобы уменьшить нагрузку на экспериментатора, связанную с фиксацией получаемых данных (ведением журналов-логов), вы можете включить в состав команды одного или двух наблюдателей.

Также во время тестирования должны присутствовать наблюдатели – участники проекта, имеющие непосредственное отношение к разработке программы и интерфейса, которые будут находиться в соседней комнате за односторонним зеркалом или у телевизора, на который поступает сигнал с видеокамеры.