Post on 01-Nov-2014
description
Waterfall revisited: практические метрики тестирования
Григорий Сенин. Anywayanyday.com, Luxoft Training
«Что у нас с качеством?»
Closed P3 =
All Found
Проще всего -- так
• График незакрытых дефектов
10
0 %
P3
Q = … P3
1. …2. …3. дефекты исправлены;
исправления дефектов подтверждены
Критерий качества #3
passed
Прогнали не все тесты…
P3P
2
Тест
ов
вы
пол
нен
о
Тест
ов
созд
ан
оQ= … P2
x P3
Критерий качества #2
1. …2. Прогнать тесты и найти дефекты
• test run
3. Подтвердить исправления дефектов
Написали не все тесты…
P3P
2Тест
ов
созд
ан
о P1
Тест
ов
зад
ум
ан
оQ = P1
x P2 x P3
Критерий качества #1
1. Создать тесты на базе требований • test design
2. Прогнать тесты и найти дефекты 3. Подтвердить исправления дефектов
Зависимости и ограничения
поправка на:Проектирование
тестов, P1
Выполнение тестов, P2
Верификация дефектов, P3
--Closed----------- = 25%Found
Невыполненные тесты
Executed------------- = 80%Designed
20% = 25% * 80%
Ненаписанные тесты
Designed------------- = 50%Planned
40% = 80% * 50% 10% = 25%*80%*50%
«Старшинство» процессов
P3P
2P1
Достижение цели тестирования
P3
P2
P1
Работа, которую нужно сделать
• Тесты пишутся, написаны не все• Тесты частично прогоняются• Найденные дефекты не исправляются
Вариации: Разработка в разгаре
• Тесты разработаны полностью• Почти все тесты выполнены• Большая часть найденных дефектов
исправлена и закрыта
Вариации: Разработка на финише
Вариации: Шлифовка подсистем
• Тесты разработаны полностью• Протестирована половина
функционала• Все найденные дефекты исправлены и
закрыты
Вариации: Разработчики задерживают тестирование
• Требования определены, тесты написаны• Разработка отстаёт => тесты не прогоняются• Дефекты не выявляются
Вариации: Требования задерживают разработку
• Требования к части продукта неизвестны (не утверждены, не изучены)
• Оставшаяся часть продукта полностью протестирована, все дефекты закрыты
Последствия изменений
CR
Показатели в динамике
Успеем ли к сроку?
Пример с реальными данными
Взгляд через «диаграмму сгорания»
Проектирование и прогон тестов: P1, P2
Прогноз скорости исправлений
Индикация отставания
Зазор качества
Откуда первичные данные?
P3: данные из баг-трекера
• Статус дефектов
P2: данные из таблицы Excel
• завершённость прогона тестов
P2: данные из инструментария
• завершённость прогона тестов
P1: данные из Excel
• Готовность тестов
P1 = 38%
P1: ‘осталось’ против ‘сделано’
• Трудозатраты на тест-проектирование
P1 = 13,75 / (2,25+13,75) = 86%
P1: данные из статуса задачи
• завершённость тест-проектирования
Статус P1 =
Open 10%
In Progress 50%
Resolved 90%
Closed 100%
P1: данные из статусов задач
• завершённость тест-проектирования
P1 = (5*100% + 4*50%)/9 = 78%
P1: данные покрытия
завершённость тест-проектирования
не есть полнота тестового покрытия ?
P1: данные покрытия
T1 T2 T3 T4 T5 T6 T7 Да/нет
R1 +
R2 +
R3 +
R4 +
R5 -
P1 = 80%
Если есть инструментарий…
Ещё «стакан»: тест-идеиТребован
ий
все
го
Q = P0 x P1
x P2x …
P2
Тест
ов
разр
абот
ано
P1
Тест
ов з
адум
ано
- ид
еи
Тест
ов
выпо
лне
ноP0
Что у нас с качеством?
− Пока 18%. Ждали 25% ...
GregSenin@Gmail.com
Вопросы?