Количественный анализ - Автоматизация регрессионного тестирования
Расчет разницы между ручным и автоматическим тестированием по времени.
Анализ работы применяемого инструмента для тестирования Cucumber показал, что на выполнение теста на один элемент проверки соответствия тратится от 0,5 до 1,5 минут в зависимости от конфигурации. Автоматическое тестирование всех имеющихся элементов проверки соответствия в версии продукта 2.1 занимает 7,5 часов, то есть около одного рабочего дня одного члена команды (Рис. 5).
Рис. 5 Затраты ресурсов на автоматическое регрессионное тестирование
Также стоит отметить, что на разработку, отладку и тестирование автоматических скриптов было затрачено около 27 рабочих дней. Однако необходимо учесть, что автоматический скрипт оказался универсальным для различных версий продукта. Кроме того, вероятность внедрения новых методов работы в программном продукте крайне мала, поэтому дальнейших ресурсов на обслуживание данного тестового сценария не требуется.
Здесь же отметим, что при выполнении автоматических тестов, необходимо около трех дней на подготовку к тестированию, сбор и обработку информации, анализ отчетов.
Таким образом, учитывая все действия, совершенные для первого использования автоматического скрипта для регрессионного тестирования элементов проверки соответствия версии 2.1 программного продукта (с учетом того, что первое регрессионное тестирование элементов проверки соответствия выполнялось вручную), выигрыша во времени не было из-за траты значительного количества времени на разработку, отладку и тестирование автоматического сценария.
Однако уже для версии 2.2 программного продукта для автоматического регрессионного тестирования элементов проверки соответствия нам необходимо на 50 дней меньше времени, чем для выполнения аналогичного ручного тестирования, при условии выполнения тестов одним человеком.
Поскольку уже известно количество элементов проверки соответствия, для которых будет проведено регрессионное тестирование для ПО версии 2.3, можно рассчитать затраты временных ресурсов для данного вида деятельности команды. В итоге, количество дней, высвобожденных после внедрения автоматического тестирования для 2.3 релиза, составляет 65 рабочих дней при условии выполнения регрессионного тестирования 1 человеком дважды за жизненный цикл этой версии программного продукта. Для версии продукта 2.k это значение составляет.
Текущая и спрогнозированная тенденция прироста времени после внедрения автоматического тестирования отображена на графике на Рис. 5.
Рис. 5 Тенденция прироста времени (в днях) после внедрения автоматизированного тестирования
Расчет разницы между ручным и автоматическим тестированием по производительности.
Если говорить о производительности, то регрессионное тестирование 500 элементов проверки соответствия версии 2.2 ПО занимало бы 31 день, производительность ручного тестирования составила 16 тестов в день. Аналогичная метрика для производительности автоматизированного регрессионного тестирования элементов проверки соответствия дает результат в 111 тестов в день. Из этих данных полагаем, что при переходе от ручного регрессионного тестирования элементов проверки соответствия к автоматическому производительность команды относительно данного вида деятельность увеличится почти в 7 раз. Таким образом, автоматизация тестирования значительно повышает уровень производительности команды и благоприятно сказывается на временных и человеческих затратах при проведении регрессионного тестирования элементов проверки соответствия.
Похожие статьи
-
Ручное регрессионное тестирование проверки соответствия - Автоматизация регрессионного тестирования
В начальной версии 2.0 тестируемого программного продукта не производилось регрессионное тестирование проверки соответствия, т. к. не было необходимых...
-
Качественный анализ - Автоматизация регрессионного тестирования
Основой качественного анализа является анализ преимуществ и недостатков автоматического тестирования, применимых к текущему проекту. Во-первых, Cucumber,...
-
Постановка задачи., Практическая часть. Ход работы - Автоматизация регрессионного тестирования
В проекте несколько раз в течение жизненного цикла тестируемого продукта проводится ручное регрессионное тестирование такой функциональности, как...
-
В нашем проекте, занимающимся тестированием вышеописанного программного продукта, используемого для настройки и конфигурации коммуникационных сетей, для...
-
Тестируемый программный продукт работает с телекоммуникационными сетями нового поколения. Имеет следующие функции: конфигурация, настройка, изменение и...
-
Автоматизированное тестирование. - Автоматизация регрессионного тестирования
Автоматизированное тестирование программного обеспечения - один из вариантов верификации продукта на стадии его разработки. Автоматизация подразумевает...
-
Заключение - Автоматизация регрессионного тестирования
В ходе работы было установлено что, внедрение автоматического тестирования для регрессионных тестов элементов проверки соответствия значительно повышает...
-
Пояснение статусов тестов - Автоматизация регрессионного тестирования
Во время определения статуса теста Cucumber не просто решает, насколько удачно выполнился тест, но работает с исключениями в случае неудачного выполнения...
-
Автоматизированное тестирование программного обеспечения - это процесс проверки программного обеспечения, который включает в себя такие шаги как запуск,...
-
Введение - Автоматизация регрессионного тестирования
Тестирование программного обеспечения. Тестирование программного обеспечения является неотъемлемой частью процесса создания программного продукта. При...
-
Преимущества, которые дает тестировщику автоматизация тестирования: - Исключен "человеческий фактор". Существует некоторая гарантия того, что не один...
-
Что такое регрессионное тестирование. - Автоматизация регрессионного тестирования
Появление первых компьютеров отразилось на программном обеспечении. Программирование, в частности, невозможно без различного рода ошибок, совершенных под...
-
Для того, чтобы вынести решение об оправданности или неоправданности внедрения автоматизированного тестирования вместо ручного, необходимо...
-
Настраиваемые аргументы инструмента Cucumber - Автоматизация регрессионного тестирования
Файл CucumberRunner. mwe2 содержит специализированные аргументы для настройки и корректной работы инструмента для тестирования Cucmber. Обязательной...
-
Общие сведения. - Автоматизация регрессионного тестирования
В качестве инструмента для автоматизированного регрессионного тестирования был выбран Cucumber. Cucumber - приложение, широко используемое для...
-
Полиция автоматизированный рабочий В настоящее время весьма актуальна проблема автоматизации управления и учета на предприятиях различных отраслей и...
-
Внедрение данной программы на производстве позволит значительно сократить время на обработку заказов, а значит добиться снижения расхода энергии...
-
В то время как цель проекта заключалась в оценке эффективности автоматизации тестирования функционала ядра, работа стала своего рода подведением итогов...
-
В выпускной квалификационной работе предметом исследования является деятельность по учету и управлению доставкой корреспонденции. Для того, чтобы...
-
Стоимость одного часа машинного времени вычисляем по формуле: , (3.4) Где: СЭкс - годовые эксплуатационные расходы, руб.; F Н - эффективный годовой фонд...
-
Как следует из названия, нефункциональные требования не связаны непосредственно с функциями, выполняемыми системой. Они связаны с такими интеграционными...
-
В качестве предметной области для дипломного проекта была выбрана организация МКДОУ детский сад №85 "Почемучка". Описание и основные виды деятельности...
-
Анализ затрат на оплату труда В выпускной квалификационной работе рассматривается процесс автоматизации деятельности компании за счет разработки...
-
В течении года от команды разработчиков пришло 6 пакетов, содержащих изменения в ядре программы. Для каждого пакета составлялось в среднем от 1-ого до...
-
Анализ функций департаментов и отделов компании ИнПлат - это инновационная платежная компания, а так же разработчик IT - решений для банков и операторов...
-
Для обеспечения эффективного управления активами коммерческой организации необходимым условием является наличие оперативной и достоверной информации и...
-
В автоматизируемых процессах участвуют сотрудники департамента IT и департамента коммерции. Процесс направлен на внедрение платежной системы клиенту....
-
Постановка задачи: Фирма приобрела технологическую линию за начальную стоимость Sn. Срок службы технологической линии составляет K лет. Остаточная...
-
Объектом автоматизации сайта "вопрос-ответ" является предметная область "Проектирование информационных систем". Основное назначение сайта "вопрос-ответ"...
-
В соответствии с определением американского стандарта в области управления проектами PMBOK (2004), риск проекта - это неопределенное событие или условие,...
-
Деятельность линейного отдела полиции Законопроект определяет правовую основу органов внутренних дел (полиции) Республики Казахстан и правовой статус его...
-
Построение ER диаграмм - Модернизация структуры базы данных на основе анализа требований предприятия
При построении моделей информационных систем важнейшей методикой является ER-моделирование или построение диаграмм сущность-связь. Сущность представляет...
-
Архитектура разрабатываемой системы имеет два уровня: нижний - подсистема управления (датчики, микроконтроллер, исполнительные механизмы и оборудование)...
-
Выбор методики тестирования В процессе разработки системы разработчиком выявляются и устраняются все ошибки допущенные при проектировании. Ошибки,...
-
Тестирование программного продукта - Разработка информационно-справочной системы "Аптека"
В настоящее время для установления соответствия программного продукта заданным правилам построения, техническим условиям и заданиям на них, для...
-
Анализ проектных ограничений - Автоматизация деятельности отдела продаж в логистической компании
При проектировании информационной системы очень важно рассмотреть проектные ограничения, которые предъявляют определенные требования к внедряемой...
-
Информационные потоки предметной области показаны на рисунке 3. 4 Рисунок 3 Информационные потоки внутренней и внешней среды ООО "СЕРВИС ПАРТНЕР" Как...
-
Изучение специфики предметной области по литературным данным и по результатам поиска в интернете Задачи автоматизации деятельности почтовых систем в...
-
Общая характеристика НИИ ГА Информационно-аналитический центр (ИАЦ) ГосНИИ ГА образован 29 декабря 2006 года с целью решения проблем...
-
МАТЕМАТИЧЕСКАЯ ПОСТАНОВКА ЗАДАЧИ - Анализ потерь рабочего времени сорудников предприятия
Постановка задачи Имеется смета на выполнение проекта монтажа охранной сигнализации, в которой расписаны этапы выполнения работ, подбор специалистов на...
Количественный анализ - Автоматизация регрессионного тестирования