5.4.3. Альфа– и Бета–тестирование

Представленная выше организация испытаний сложных ПС ориентирована на наличие конкретного заказчика комплекса программ и ограниченного числа пользователей, контролируемых заказчиком. Несколько иначе организуется оценивание характеристик качества коммерческих пакетов прикладных программ (ППП), создаваемых по инициативе разработчиков для широкого круга пользователей при отсутствии конкретного заказчика.

Для таких коммерческих ППП принято проводить оценивание (испытания) в два последовательных этапа:

• Альфа–тестирование;

• Бета–тестирование.

Испытания проводятся на соответствие критериям, формализованным руководителем проекта. Они заключаются в нормальной и форсированной (стрессовой) опытной эксплуатации конечными пользователями оформленного программного продукта в соответствии с сопроводительной эксплуатационной документацией и различаются количеством и компетентностью участвующих пользователей.

При Альфа–тестировании привлекаются наиболее компетентные конечные пользователи, работающие обычно в той же компании, но не участвующие непосредственно в разработке ППП.

Для Бета–тестирования привлекаются добровольные пользователи (потенциальные покупатели), которым бесплатно передается версия ПС для опытной эксплуатации. При этом особое значение имеет выделение достаточно компетентных, тщательных и доброжелательных пользователей, способных достоверно оценить и своими рекомендациями улучшить качество испытываемых программ. Их деятельность стимулируется бесплатным и ранним получением и освоением нового программного продукта и собственной оценкой его качества.

Только после успешной эксплуатации и Бета–тестирования ограниченным контингентом пользователей принимается решение руководителем проекта или предприятия–разработчика о передаче ПС в продажу для широкого круга пользователей. Обобщенные результаты Бета–тестирования могут использоваться как часть или основа сертификационных испытаний.

5.4.4. Программная генерация тестов

Программная генерация тестов для оценивания характеристик ПС зависит от типа ЭВМ, на которой они реализуются. Имитаторы внешней среды, совмещенные с тестируемыми программами, применяются достаточно часто. Однако они предназначаются в основном для оперативного контроля качества функционирования ПС при взаимодействии с реальными объектами, а также используются на завершающей стадии испытаний.

Программ имитации внешней среды на ЭВМ позволяет:

• проводить длительное непрерывное генерирование имитируемых данных для оценивания характеристик функционирования ПС в широком диапазоне изменения условий и параметров;

• расширять диапазоны характеристик имитируемых объектов за пределы реально существующих или доступных источников данных и генерировать потоки информации, отражающие перспективные характеристики создаваемых систем и объектов внешней среды;

• создавать тестовые данные, соответствующие критическим или опасным ситуациям функционирования объектов внешней среды, которые невозможно или рискованно реализовать при натурных экспериментах;

• обеспечить высокую повторяемость имитируемых данных при заданных условиях их генерации и возможность прекращения или приостановки имитации на любых фазах моделирования внешней среды.

При использовании программных моделей на ЭВМ достоверность генерации тестов определяется следующими факторами:

• адекватностью имитатора моделируемому объекту или источнику информации;

• инструментальной точностью средств, реализующих имитатор внешней среды;

• статистической точностью процесса имитации и объемом тестовых данных, учитываемых при статистическом обобщении результатов тестирования;

• точностью дискретизации имитаторами реальных непрерывных процессов в моделируемых объектах.

Перечисленные компоненты взаимозависимы. Повышение достоверности имитации за счет одного из факторов приводит, как правило, к снижению достоверности из-за влияния остальных. Поэтому важной задачей при создании имитационных моделей является достижение заданной суммарной достоверности имитации внешней среды и определения характеристик качества ПС при сбалансированном влиянии каждого из факторов.