Real World Quality ManagementDebunking Myths and Practical Tips for 

Optimizing Project Quality

Yvette Soliz Rivers, PMP, CQADirector, IV&V and Quality AssuranceFebruary 18, 2015

11

• Far too many projects fail to meet business needs.– Solutions riddled with defects that take an unexpected amount of 

time, effort, and money to address – Solutions that deliver less value than expected– Solutions inconsistent with business processes and constraints– Solutions that don’t meet real business needs/requirements and 

satisfy end users

• In the continuous struggle between quality, cost, and schedule constraints, quality is usually neglected.

Why?Incompetent people? Unrealistic timelines? Bad contractors? 

Not really … It’s usually due to …

The Quality Problem

Quality Management Dysfunction.

22

Issue 1: Misunderstanding quality and underestimating quality management • Different perceptions of quality—beyond cosmetics and testing • PMBOK Definition: The processes and activities that determine 

quality policies, objectives, and responsibilities so that the project will satisfy the needs for which it was undertaken.

• Lack of good quality management guidance • Project teams frequently underestimate quality management 

complexity and effort.                                                                         

Real World Quality Management Tips• Educate all team members early on QM.• Consider the quality of all project activities and work products. Tie all 

QM to meeting business needs and requirements.• Budget and plan to spend at least 35% on QM.                             

Understanding Quality Management

33

Issue 2: Insufficient quality management planning• QM Plans tend to be full of boilerplate.• Teams frequently fail to define quality standards and think through all 

aspects of quality that require monitoring and control.• QM planning is usually not collaborative enough.• Sometimes processes are implemented for the sake of process rather 

than focusing on value‐added processes.

Real World Quality Management Tips• Identify QM activities for all major work products/deliverables and 

major activities and milestones.• Streamline QM processes to eliminate the nonessential.  • Anticipate human error, ambiguity, and subjectivity; Address them in 

planning and risk management.• Engage team members in QM planning.

Quality Management Planning

44

Issue 3: Failing to clearly define project scope• PMBOK describes the “Define Scope” process as the “process of 

developing a detailed description of the project and the product.”• Many project teams do not fully define the scope of projects early 

which leads to scope ambiguity and failure to meet expectations.• Many focus on the primary end product of the project but they don’t 

think through every work product, output, and deliverable that needs to be developed and all activities necessary to properly develop them.

Real World Quality Management Tips• Ensure that project scope statements are detailed and clear.• Define SMART requirements for all scope components.• Do not rely on documentation alone to communicate project scope.• Engage stakeholders in scope definition.• Analyze assumptions in scope definition.

Project Scope Definition

55

Issue 4: Ambiguous acceptance criteria• Most project teams do not define clear and comprehensive 

deliverable acceptance criteria.• The resulting ambiguity allows for multiple interpretations of 

expectations, significant wasted effort and rework, and failure to meet expectations.

Real World Quality Management Tips• Specify measurable criteria by which deliverable quality will be 

assessed and accepted.• “Deliverables” can be services or milestones.• Do NOT assume that requirements = acceptance criteria.• Understand that some level of subjectivity is inevitable.• Obtain consensus early.• Remember that “perfect is the enemy of the good.”

Acceptance Criteria

66

Issue 5: Failing to define, monitor, and control quality metrics As Peter Drucker said, “You can’t manage what you can’t measure.”

• Project teams rarely define metrics for tracking and reporting quality performance throughout the project. When they do, it is frequently subjective.

• As a result, senior management isn’t aware of quality deficiencies until late in the project when correction costs are greater.

Real World Quality Management Tips• Define objective quality performance measures to track throughout 

the project.• Include quality performance metrics in routine status reporting 

provided to senior management. • Foster awareness of impact across triple constraints.

Quality Performance Metrics

77

Issue 6: Inadequate understanding of the business need and processes• A common root cause of quality issues is failing to thoroughly define 

current business processes as an input to requirements definition.• Project requirements are also frequently too ambiguous to ensure 

proper implementation, testing, and traceability.• Frequently the most involved team members are not those with the 

greatest understanding of existing and future business processes.

Real World Quality Management Tips• Assign experienced personnel to develop detailed and comprehensive 

business process diagrams and narratives.• Verify business process definition.• Ensure that requirements consider the implications 

of all business processes.

Understanding the       Business Need

88

Issue 7: Subjective quality reviews• Document reviews are usually subjective.  As a result, reviews are not 

thorough and not tied to the business need/requirements.• Feedback is frequently arbitrary which can lead to multiple cycles of 

unnecessary effort and rework.• Feedback is frequently focused on easily identifiable cosmetic issues 

rather than tackling the more difficult task of assessing whether or not the deliverable achieves the quality standards.

• Document reviews are also frequently rushed.

Real World Quality Management Tips• Conduct deliverable reviews using predefined deliverable review and 

acceptance criteria. Trace it all to meeting the business need.• Schedule realistic review timelines.• Document output of review cycles.

Quality Review Approach

99

Issue 8: Delayed focus on quality• Project teams frequently don’t start focusing on quality until late in 

the life cycle or until there’s an obvious problem with quality.• The longer quality management activities are delayed the greater the 

impact to project performance.

Real World Quality Management Tips• Spread quality management effort throughout the life cycle with a 

heavy allocation early in quality management planning with substantial activities for every major milestone.

• In routine status reports, include a section to identify quality management activities performed during the prior period.

• Implement Agile principle of testing early and often.

Quality Management Timing

1010

Issue 9: Failing to involve the right people at the right time• Most organizations have some degree of personnel resource 

constraints but they fail to proactively mitigate the risks associated with these constraints.

• Far too often, personnel with critical insight and perspectives get deeply involved in the project way too late—after key project activities or work products are completed.  This results in either significant rework, additional costs, and/or solution failures.

Real World Quality Management Tips• Dedicate subject matter experts to projects or, at minimum, to critical 

project activities.  If this is not feasible, ACCEPT THE REALITY that the schedule will be delayed and/or rework will be necessary.

• Collaborate with SMEs and stakeholders early on to identify and document the best people to be involved in each                               stage of the project, including deliverable reviews.

Personnel Participation

1111

Issue 10: Insufficient time spent on quality• Teams almost never plan to spend as much time on QM as required.• Sometimes they figure this out well into the project and have to 

spend even more time to achieve quality standards.  Sometimes they don’t and it impacts the quality of project outcomes.

• A 2014 World Quality Report published by Capgemini and HP (from survey of 1500+ CIOs) identifies average spending on testing alone as 26% of the total IT budget and expects this to increase 29% by 2017.

Real World Quality Management Tips• Plan to spend at least 35% of total effort on quality‐related activities. 

Unfortunately, there are no magic universal numbers for this because it depends on the project scope and complexity.

• Include contingency/reserve time in QM activities.• Track time spent on quality‐related activities.                                        

Use metrics as lessons learned for continuous improvement.

Quality Management Effort

1212

Issue 11: Delayed end user exposure to work products• Failure to share work products in progress and allow end users to 

engage early in the life cycle delays the verification of business needs and the inevitable identification of issues.

• The more end users and stakeholders are exposed to visual, hands‐on, and collaborative interaction with works in progress, the more they will be able to fully understand the business need and the extent to which the work products meet the business needs.

Real World Quality Management Tips• During project scope definition and scheduling, plan for as many end 

user engagement activities as possible—Demos, mockups, conference room pilots, pilot releases, trials, user testing, training, etc.

• Consider implementing Agile principle of frequent delivery of products with iterative releases.

End User Engagement

1313

Issue 12: Failure to embrace positive change • Some teams do not understand that change requests are good 

sometimes! It’s not scope creep if the modification addresses the business need in a better way.

• Many times, organizations do not fully understand what they need when they initiate a project.  Comprehensive definition and planning cannot anticipate everything.

• A high‐performing team is open‐minded about opportunities for improvement and quickly adapts to implement changes that will improve project outcomes.

Real World Quality Management Tips• Embrace change management for value‐added improvements.• Obtain buy‐in from senior management early.• Anticipate change and plan for contingency time                                  

and budget.

Adaptability and Agility

1414

Questions and Discussion