Profit from the CloudTM

QA Team Leader

Казаков Кирилл

Блуждание во тьме...

или как понять состояние продукта

2 Profit from the CloudTM

• В тестировании с 2006 года• Прошёл путь от мл.

инженера до руководителя группы тестирования

• В настоящее время работаю в Parallels

• Основной продукт в портфолио – Parallels Plesk Panel

О себе

Кирилл Казаков

3 Profit from the CloudTM

• Parallels – мировой лидер в области ПО для хостинга и облачных услуг

• Более 5 тыс. сервис-провайдеров предоставляют облачные и хостинг сервисы для более чем 10 млн. малых бизнесов в 125 странах мира

• Центры разработки в Москве и Новосибирске• Основные продукты: Parallels Automation, Parallels

Virtuozzo Containers, Parallels Desktop for Mac, Parallels Plesk Panel.

О Parallels

4 Profit from the CloudTM

О чём я буду говорить?

• О графиках

• Ещё о графиках

• И снова о графиках

• И ещё чуть-чуть о графиках

5 Profit from the CloudTM

… где-то на пути к успеху релизу ...

Кто-то заболел

Новые «важные»

фичи

Всё оказалось не так просто

Изменились требования

Море баговСторонняя команда

нарушает сроки

Потеря мотивации

Бюрократия

6 Profit from the CloudTM

«Правильный» путь

Как быть?

Что делать?

Как это контроллировать?

На что обращать внимание?

Какие выводы делать?

7 Profit from the CloudTM

Team capacity vs Estimations

Team capacity3 months * 4 weeks * 5 days * 8 hours * (1 people * 1.2 + 2 people * 1 + 5 people * 0.8

+ 2 people * 0.6) ~ 4000 people hours

EstimationsNew features ~2200Bug verification ~350

Regression testing ~500Automation ~400Vacations ~160

Risks ~200= ~3800

Успеваем или нет?

8 Profit from the CloudTM

Team capacity vs Estimations

• Промолчать и оставить всё как есть, выкинуть отпуска людей, автоматизацию и часть тестирования

• Уменьшить число фичей, сдвинуть срок релиза, добавить людей

• Покреативить

А если Team capacity < Estimations?

9 Profit from the CloudTM

Release burn down chart

Своевременно корректируйте ваши планы, исходя из текущего прогресса

day

1da

y 4

day

7da

y 10

day

13da

y 16

day

19da

y 22

day

25da

y 28

day

31da

y 34

day

37da

y 40

day

43da

y 46

day

49da

y 52

day

55da

y 58

day

61da

y 64

day

67da

y 70

day

73da

y 76

day

79da

y 82

day

85da

y 88

0500

10001500200025003000350040004500

EffortToDo Ideal ForecastВсё по плану?

10 Profit from the CloudTM

Open bugs trend vs time

Сфокусируйтесь только на том, что действительно нужно чинитьА то ли мы чиним? А успеваем ли?

11 Profit from the CloudTM

Found vs Fixed bugs

Если число найденных багов не уменьшается, то что-то не так

12 Profit from the CloudTM

Found bugs by severity

Неуменьшающееся кол-во багов не говорит об ухудшении продукта

13 Profit from the CloudTM

Found bugs by condition

Характер багов позволяет понять причину появления багов

14 Profit from the CloudTM

Blocker Critical Major Normal Minor Grand Total

Component #1 4 4

Component #2 5 4 1 10

Component #3 1 2 1 4

Component #4 2 2 1 1 6

Component #5 3 3

Component #6 1 1

Component #7 1 3 13 7 24

Component #8 2 1 3

Component #9 1 1 2

Component #10 0

Grand Total 4 13 30 1 9 57

Blocker Critical Major Normal Minor Grand Total

Component #1 4 4

Component #2 5 4 1 10

Component #3 1 2 1 4

Component #4 2 2 1 1 6

Component #5 3 3

Component #6 1 1

Component #7 1 3 13 7 24

Component #8 2 1 3

Component #9 1 1 2

Component #10 0

Grand Total 4 13 30 1 9 57

Found bugs by components

Выделите проблемные компоненты, и определите причины возникновения багов в них

?Кто у нас слабое звено?

15 Profit from the CloudTM

Обратная связь от пользователей

• Support• Forum• E-mails• Built-in statistics

• Что развивать?

• Как использовать?

• Что тестировать?

16 Profit from the CloudTM

Сравнение с предыдущими релизами

Используйте опыт и данные предыдущих релизов

• Сколько стоит?

• Чего ожидать?

• Много ли будет

проблем?

• Когда решим их?v1.0 v2.0 v3.0

0.0

5.0

10.0

15.0

20.0

25.0

30.0

0.6 0.8 1.25.6 5.2

7.8

9.2 8.4

11.2

4.43.6

3.8

Param 1Param 2Param 3Param 4Param 5

17 Profit from the CloudTM

• Results of regular automatic tests• Initial estimates vs spent time• Features quality• Open bug count by severity/priority• Bugs to verify trend• Fixed vs Found bugs• Bugs density• etc

На что ещё стоит обращать внимание?

18 Profit from the CloudTM

Это очень мощный и полезный инструмент!

Но! Все эти графики имеют смысл только, если вы способны на основании них делать полезные выводы и менять продукт и

процессы к лучшему

Важно помнить, что ...

19 Profit from the CloudTM

Спасибо за внимание

Казаков Кирилл

QA Team Leader at Parallels

Любой вопрос можно задать сюда:

E-mail: kkazakov@parallels.com,

kriogen2002@gmail.com

Skype: kkazakov_

Twitter: @kirill_kazakov