7. Определение и содержание процесса тестирования. Информационные потоки процесса тестирования.
Тестирование — процесс выполнения программ с целью обнаружения факта на-личия ошибок.
К наиболее распространенным ошибкам общего (несинтаксического) характера, остающимся в программах после выполнения синтаксического контроля, можно отне-сти следующие:
• логические ошибки (например, неполный учет возможных условий или не-верное указание ветви алгоритма после проверки условия);
• ошибки при программировании циклов (например, неверные границы начала и конца);
• ошибки при работе со структурами данных (например, отсутствие исходной инициализации или обнуления элементов структуры);
• ошибки в описании переменной (например, отсутствие инициализации пере-менной);
• ошибки ввода-вывода.
На входе процесса тестирования три потока:
• текст программы;
• исходные данные для запуска программы;
• ожидаемые результаты.
8. Основные стратегии тестирования, их характеристики, достоинства и недостатки. Основные типы ошибок, выявляемых каждой из стратегий.
Существуют две основные стратегии тестирования:
• тестирование программы как «черного ящика» (функциональное тестирова-ние), при котором программа рассматривается как объект, внутренняя струк-тура которого неизвестна;
• тестирование программы как «белого ящика» (структурное тестирование) подразумевает знание исходного кода программы и полный доступ к нему.
При тестировании программы как «черного ящика» исследуется работа каждой функции программы в соответствии со спецификацией. Основное место приложения тестов «черного ящика» - интерфейс ПС.
Тесты функционального тестирования демонстрируют:
• выполнение функций программы;
• корректность ввода исходных данных;
• процесс получения результатов.
При тестировании «черного ящика» принимаются во внимание специфициро-ванные системные характеристики программ, а их внутренняя логическая структура игнорируется. Исчерпывающее тестирование, как правило, невозможно. Например, ес-ли в программе 10 входных величин и каждая принимает по 10 значений, то потребует-ся 1010 тестовых вариантов. Тестирование «черного ящика» не реагирует на многие программные ошибки.
Тестирование «белого ящика» исследует корректность работы внутренних эле-ментов программы и связей между ними. Объектом тестирования здесь является не внешнее, а внутреннее поведение программы. Проверяется корректность построения всех элементов программы и правильность их взаимодействия друг с другом. Обычно анализируются управляющие связи элементов, реже — информационные связи. Тести-рование по принципу «белого ящика» характеризуется степенью, в какой тесты выпол-няют или покрывают логику (исходный текст) программы. Исчерпывающее тестирова-ние также затруднительно.
Существуют также разновидности тестирования.
Детерминированное тестирование, при котором контролируется каждая комби-нация исходных эталонных данных и соответствующая ей комби¬нация результатов функционирования программ. На практике полное де¬терминированное тестирование обычно нереализуемо.
Стохастическое тестирование, при котором исходные тестовые данные берутся случайным образом, как правило, с использованием статистиче¬ского распределения.
Ручное тестирование, которое проводится без исполнения тестируемой про-граммы на компьютере.
Тестирование программ в процессе разработки
Поскольку в процессе разработки приходится тестировать еще не завершенную программу, все подходы к тестированию делятся на две группы.
Тестирование сверху вниз. Применяется, если программа разрабатывается сверху вниз. В данном случае используются "заглушки" - фрагменты кода, имитирующие еще не написанные части программы.
Тестирование снизу вверх. При этом, как правило, дополнительно должна быть создана небольшая программа-- "драйвер", организующая взаимодействие уже напи-санных модулей.
Отладка программы
Когда фиксируется ошибка — начинается отладка. Отладка — процесс локали-зации и устранения ошибок. Такой процесс носит творческий характер, плохо форма-лизуем и непредсказуем по времени. Заранее неизвестно, сколько потребуется времени на поиск места дефекта и исправление ошибки. Такая неопределенность приводит к большим трудностям в планировании действий. Тем не менее, основной идее отладки (базирующейся на анализе данных) можно придать вид следующего алгоритма:
1.Изучить исходные и полученные результирующие данные.
2.Сформулировать некоторую гипотезу, которая объясняет получение таких ре-зультирующих данных.
3.Подготовить новые исходные данные и провести эксперимент, который по-зволит доказать или опровергнуть гипотезу.
Тестовые данные
Для тестирования программ методом черного ящика готовятся определенные группы тестов.
Для тестирования классов эквивалентностей. Классы эквивалентностей позво-ляют вместо большого количества тестов использовать лишь их не¬большое подмноже-ство. Каждый тест представляет набор тестов, на ко¬торых программа ведет себя одина-ково. Существует два основных типа классов эквивалентностей:
• Класс корректных тестовых случаев, отражающих типичную "нормальную" ситуацию.
• Класс тестов, содержащих ненормальную ситуацию, т. е. описывающих си-туацию, которой быть не должно.
Для тестирования граничных значений.
Для анализа причинно-следственных связей. Эти тесты применяются для про-грамм, в которых взаимодействуют объекты.
Для тестирования тех утверждений, которые приводятся в документации.
Для оценки результатов тестирования используются эталонные ("золотые") фай-лы, которые содержат ожидаемые результаты работы программы (эта¬лонные результа-ты). Основные варианты получения эталонных результатов таковы:
- использование справочников;
- вычисление вручную;
- использование результатов, полученных при помощи другой программы, ко-торой мы доверяем.
Тестовое покрытие — это набор тестов, покрывающих программу (каждый ли-нейный участок). Тестовое покрытие важно знать, чтобы определить участки кода, пропущенные при тестировании.
Особый важный класс составляют тесты, измеряющие производительность. Существуют специальные группы и компании, которые разрабатывают такие тесты.
Структурное тестирование программного обеспечения
Объектом тестирования является внутреннее поведение программы. Проверяет-ся корректность построения всех элементов программы и правильность их взаимодей-ствия друг с другом. Обычно анализируются управляющие связи элементов, реже — информационные связи. Тестирование по принципу «белого ящика» характеризуется степенью, в какой тесты выполняют или покры¬вают логику (исходный текст) програм-мы.
Особенности тестирования «белого ящика»
Обычно тестирование «белого ящика» основано на анализе управляющей струк-туры программы. Программа считается полностью проверенной, если проведено ис-черпывающее тестирование маршрутов (путей) ее графа управления.
В этом случае формируются тестовые варианты, в которых:
- гарантируется проверка всех независимых маршрутов программы;
- проходятся ветви True, False для всех логических решений;
- выполняются все циклы (в пределах их границ и диапазонов);
- анализируется правильность внутренних структур данных.
Недостатки тестирования «белого ящика»:
1. Количество независимых маршрутов может быть очень велико. Например, ес-ли цикл в программе выполняется k раз, а внутри цикла имеется п ветвлений, то коли-чество маршрутов вычисляется по формуле
При n = 5 и k = 20 количество маршрутов т = 1014. Примем, что на разработку, выполнение и оценку теста по одному маршруту расходуется 1 мс. Тогда при работе 24 часа в сутки 365 дней в году на тестирование уйдет 3170 лет.
2.Исчерпывающее тестирование маршрутов не гарантирует соответствия про-граммы исходным требованиям к ней.
3.В программе могут быть пропущены некоторые маршруты.
Достоинства тестирования «белого ящика» связаны с тем, что принцип «белого ящика» позволяет учесть особенности программных ошибок:
1.Количество ошибок минимально в «центре» и максимально на «периферии» программы.
2.Предварительные предположения о вероятности потока управления или дан-ных в программе часто бывают некорректны. В результате типовым может стать мар-шрут, модель вычислений по которому проработана слабо.
3.При записи алгоритма ПО в виде текста на языке программирования возмож-но внесение типовых ошибок трансляции (синтаксических и семантических).
4.Некоторые результаты в программе зависят не от исходных данных, а от внутренних состояний программы.
Каждая из этих причин является аргументом для проведения тестирования по принципу «белого ящика». Тесты «черного ящика» не смогут реагировать на ошиб¬ки таких типов.