1.2 Отчет о наблюдении

После тестирования каждый наблюдатель и ассистент должен как можно быстрее написать небольшой отчет об основных проблемах, которые были им замечены во время тестирования, а также изложить свои мысли по поводу способов их устранения.

Не надо писать полных и развернутых отчетов. Пусть это напоминает скорее резюме. В идеале, все участники группы по разработке должны прочитать эти отчеты (или хотя бы пробежать их глазами), поэтому они не должны по объему превышать страницу или две.

На собрании рабочей группы раздайте копии всех отчетов и приложите к ним копии набросков и изображений, которые тестировались. Следует обсудить два вопроса:

• Отбор. Рассмотрите проблемы, с которыми сталкивались пользователи, и решите, какие из них должны быть исправлены.

• Поиск решений. Определите возможные решения для отобранных проблем.

1.3 Анализ полученных данных

В первую очередь ищите крупные проблемы

Как правило, найти крупную проблему проще всего, поскольку они становятся заметны ещё при проглядывании заметок, сделанных во время наблюдения за пользователями. Если каждый участник сталкивался с проблемами при использовании определенного пункта меню, очевидно, что дизайн этого пункта нуждается в пересмотре.

Подведите итог собранным данным по производительности

Данным, касающиеся производительности, таким как частота возникновения ошибок и времена выполнения заданий, оценка даётся с помощью их статистического анализа. Большая часть такого анализа сводится к нахождению среднего значения и стандартного отклонения, а также к проверке достоверности полученных данных. Все ли тенденции выявляются этим набором данных? Где расположены наиболее сложные и трудные части продукта?

Подведите итог данным, касающимся предпочтений пользователей

Наблюдая за действиями пользователей и записывая их мнения, как во время теста (используя метод записи «мыслей вслух» или задавая вопросы), так и до или после теста с использованием анкет и опросных листов, вам удалось собрать большое количество информации, касающейся предпочтений пользователей.

Большинство опросников имеют строение, позволяющее вам количественно измерить мнения, используя численную шкалу, и обнаруженные таким образом количественные данные могут анализироваться с помощью статистических методов так же, как и данные, касающиеся производительности. Также вы можете использовать цитаты из мнений участников тестирования в качестве «ударных фраз», включив их в итоговый отчёт.

2 Методики тестирования

В настоящее время меньшее внимание уделяется результатам, основанным на фактических данных, акцент делается на интерпретации этих результатов; можно видеть, что в сравнении с сухими цифрами большую важность приобретают другие моменты, наблюдаемые в процессе тестирования. В частности, очень многие тестирования проводятся на базе записи «мыслей вслух» в сочетании с какой-либо разновидностью измерения производительности. Измерения производительности до сих пор обладают определенной полезностью для исследований, однако информация, получаемая при записи «мыслей вслух», способна гораздо быстрее отражаться на изменениях в продукте, поскольку она не нуждается в предварительном обобщении и статистическом анализе.

Выделяют следующие методики тестирования:

• Метод фокусных групп.

• Проверка посредством наблюдения за пользователем.

• Мыслим вслух.

• Проверка качества восприятия.

• Измерение производительности.

• Карточная сортировка.