Блуждание во тьме. Или как понять состояние продукта

Profit from the CloudTM

QA Team Leader

Казаков Кирилл

Блуждание во тьме...

или как понять состояние продукта

2 Profit from the CloudTM

• В тестировании с 2006 года• Прошёл путь от мл.

инженера до руководителя группы тестирования

• В настоящее время работаю в Parallels

• Основной продукт в портфолио – Parallels Plesk Panel

О себе

Кирилл Казаков


• Parallels – мировой лидер в области ПО для хостинга и облачных услуг

• Более 5 тыс. сервис-провайдеров предоставляют облачные и хостинг сервисы для более чем 10 млн. малых бизнесов в 125 странах мира

• Центры разработки в Москве и Новосибирске• Основные продукты: Parallels Automation, Parallels

Virtuozzo Containers, Parallels Desktop for Mac, Parallels Plesk Panel.

О Parallels


О чём я буду говорить?

• О графиках

• Ещё о графиках

• И снова о графиках

• И ещё чуть-чуть о графиках


… где-то на пути к успеху релизу ...

Кто-то заболел

Новые «важные»

фичи

Всё оказалось не так просто

Изменились требования

Море баговСторонняя команда

нарушает сроки

Потеря мотивации

Бюрократия


«Правильный» путь

Как быть?

Что делать?

Как это контроллировать?

На что обращать внимание?

Какие выводы делать?


Team capacity vs Estimations

Team capacity3 months * 4 weeks * 5 days * 8 hours * (1 people * 1.2 + 2 people * 1 + 5 people * 0.8

+ 2 people * 0.6) ~ 4000 people hours

EstimationsNew features ~2200Bug verification ~350

Regression testing ~500Automation ~400Vacations ~160

Risks ~200= ~3800

Успеваем или нет?


Team capacity vs Estimations

• Промолчать и оставить всё как есть, выкинуть отпуска людей, автоматизацию и часть тестирования

• Уменьшить число фичей, сдвинуть срок релиза, добавить людей

• Покреативить

А если Team capacity < Estimations?


Release burn down chart

Своевременно корректируйте ваши планы, исходя из текущего прогресса

day

1da

y 4

day

7da

y 10

day

13da

y 16

day

19da

y 22

day

25da

y 28

day

31da

y 34

day

37da

y 40

day

43da

y 46

day

49da

y 52

day

55da

y 58

day

61da

y 64

day

67da

y 70

day

73da

y 76

day

79da

y 82

day

85da

y 88

0500

10001500200025003000350040004500

EffortToDo Ideal ForecastВсё по плану?


Open bugs trend vs time

Сфокусируйтесь только на том, что действительно нужно чинитьА то ли мы чиним? А успеваем ли?


Found vs Fixed bugs

Если число найденных багов не уменьшается, то что-то не так


Found bugs by severity

Неуменьшающееся кол-во багов не говорит об ухудшении продукта


Found bugs by condition

Характер багов позволяет понять причину появления багов


Blocker Critical Major Normal Minor Grand Total

Component #1 4 4

Component #2 5 4 1 10


Component #4 2 2 1 1 6

Component #5 3 3

Component #6 1 1

Component #7 1 3 13 7 24

Component #8 2 1 3

Component #9 1 1 2

Component #10 0

Grand Total 4 13 30 1 9 57

Blocker Critical Major Normal Minor Grand Total

Component #1 4 4



Component #4 2 2 1 1 6

Component #5 3 3

Component #6 1 1

Component #7 1 3 13 7 24

Component #8 2 1 3

Component #9 1 1 2

Component #10 0

Grand Total 4 13 30 1 9 57

Found bugs by components

Выделите проблемные компоненты, и определите причины возникновения багов в них

?Кто у нас слабое звено?


Обратная связь от пользователей

• Support• Forum• E-mails• Built-in statistics

• Что развивать?

• Как использовать?

• Что тестировать?


Сравнение с предыдущими релизами

Используйте опыт и данные предыдущих релизов

• Сколько стоит?

• Чего ожидать?

• Много ли будет

проблем?

• Когда решим их?v1.0 v2.0 v3.0

0.0

5.0

10.0

15.0

20.0

25.0

30.0

0.6 0.8 1.25.6 5.2

7.8

9.2 8.4

11.2

4.43.6

3.8

Param 1Param 2Param 3Param 4Param 5


• Results of regular automatic tests• Initial estimates vs spent time• Features quality• Open bug count by severity/priority• Bugs to verify trend• Fixed vs Found bugs• Bugs density• etc

На что ещё стоит обращать внимание?


Это очень мощный и полезный инструмент!

Но! Все эти графики имеют смысл только, если вы способны на основании них делать полезные выводы и менять продукт и

процессы к лучшему

Важно помнить, что ...


Спасибо за внимание

Казаков Кирилл

QA Team Leader at Parallels

Любой вопрос можно задать сюда:

E-mail: [email protected],

[email protected]

Skype: kkazakov_

Twitter: @kirill_kazakov

mailto:[email protected]

mailto:[email protected]

Блуждание во тьме. Или как понять состояние продукта

Documents

Transcript of Блуждание во тьме. Или как понять состояние продукта