Checklist for What a Quality Manager Should Know

Quality Manager Pre-Conference WorkshopJune 11, 2017

APHL  Annual MeetingProvidence, RI

Jill J. Power, MS, M(ASCP), CMQ/OE(ASQ)Biosafety Officer/Quality Coordinator

NH Public Health LaboratoriesConcord, NH 03301Tel: 603‐271‐5869

jill.power@dhhs.nh.gov

LSS Committee Objectives

• Quality driven • Standardizing internal and external 

processes• “Think Tank” for APHL • Assist member labs in developing and 

training quality leaders and champions• Create deliverables

APHL Quality Manager 

• Quality manager position description o KSAso Competency tool

• Roles & Responsibilities

• Regulations

• CLSI QSEs

• ASQ Checklist

Regulations• A2LA – American Association for Laboratory

Accreditation• AIHA – American Industrial Hygiene Association• CLIA – Clinical Laboratory Improvement Amendment• CAP – College of American Pathologists• EPA – Environmental Protection Agency• FDA – Food & Drug Administration• ISO – International Organization for Standardization• NELAC – National Environmental Laboratory

Accreditation Conference• TNI – The NELAC Institute• USDA – United States Dept. of Agriculture

Clinical Laboratory Standards Institute Quality System Essentials

Certified Quality Manager (ASQ)

• Leadership• Strategic Plan Development and Deployment• Management Elements and Methods• Quality Management Tools• Customer‐Focused Organizations• Supply Chain Management• Training and Development

I. Leadership

• Organizational Structures and Culture• Leadership Challenges• Teams and Team Processes

II.  Strategic Plan Development &             Deployment

• Strategic Planning Models• Business Environment Analysis

o SWOT Analysis• Strategic Plan Deployment

III.  Management Elements & Methods

• Management Skill and Abilities• Communication Skills and Abilities• Project Management• Quality System• Quality Models and Theories

IV.  Quality Management Tools

• Problem‐Solving Tools• Process Management• Measurement: Assessment and Metrics

• Customer Identification & Segmentation• Customer Relationship Management

VI.  Supply Chain ManagementVII. Training and Development

V. Customer – Focused Organizations

SWOT Analysis

S – StrengthsW – WeaknessesO – OpportunitiesT – Threats

Quality Management System(QMS) SWOT

• What does your laboratory’s QMS look like?• What could be improved?• What is lacking?• Why is it so great?• How could it be wiped 

out/destroyed/undermined?

Writing a Quality ManualWhat the Quality Guru in Your Laboratory Should Know

Quality Manager Pre-Conference WorkshopJune 11, 2017

APHL  Annual MeetingProvidence, RI

Karen Sanderson, BHS, MT(ASCP)SCQuality Assurance Manager

North Carolina State Laboratory of Public Health1918 MSC

Raleigh, NC 27699‐1918Tel. 919‐807‐8747

Karen.sanderson@dhhs.nc.gov

What is a Quality Manual?• Provides laboratory leadership, personnel, and assessors with a 

description of the laboratory’s Quality Management System (QMS).

• Provides the intent for how the laboratory will:o Ensure Qualityo Practice good quality managemento Implement requirements consistently across all lab operationso Meet regulatory, accreditation, and customer requirements.

• Defines and documents a laboratory’s system for managing quality by compiling policies, processes and procedures for the QSEs.

• Includes non‐technical documents generated and received by the laboratory that specify requirements for activities other than pre‐examination, examination, and post‐examination work processes.

Adapted from: CLSI QMS25 Handbook for Developing a Quality Manual, 1st ED (2017) and WHO Quality Manual Template (2013)

The 4 Levels of Documentation

Make It Your Own• Customize it:  no one format fits every lab’s          

needs• Content, format and structure vary depending on 

lab size and test complexity• Separate manuals for clinical and environmental or 

one manual for all or hybrid?• Add documents under each QSE or at end as 

appendix?• Use links to documents or paper copies?

Contents of a Quality Manual• Title Page• Table of Contents• Introduction• Acronyms/Abbreviations• Definitions• Quality Goals and Objectives• QSEs (Quality System Essentials) used like chapters in your Quality Manual  arrange the order to fit your facility and scope.

• Appendices

Introduction: items to consider

• Scope and purpose of Quality Manual

• Brief overview of laboratory, location, relation to parent organization, hours of service 

• Short summary of each lab unit/discipline.

• Mission and Vision

• Certifications and Accreditations

• Quality Policy

• How Quality Manual will be maintained, reviewed, and updated

Quality Policy Example“Senior management is dedicated to providing the resources necessary to maintain the laboratory quality management system and to ensure the laboratory’s participation in the institutional quality plan.

The laboratory is committed to continual improvement, meeting internal requirements and customer requirements, and providing a basis for the establishment and review of the quality objectives.

Quality practices are communicated within the organization, understood an adhered to all by all employees

The laboratory ensures a competency workforce to deliver quality results in a timely manner according to the …..”

WHO Quality Manual Template (version 2013)

Quality Goals and Objectives• Goals are broad statements of accomplishments that 

leadership expects to achieve (e.g. improve customer service)

• Objectives are more specific statements that are SMART (specific, measurable, achievable, relevant, and timebound), e.g. reduce TAT for XYZ assay results by 20% within next 3 months.

• Use metrics and thresholds to measure (Quality Indicators)

• Evaluate and update/revise annually• May be valuable to attach in an appendix or as separate 

document

The CLSI QMS Model

The Quality Management System Model (CLSI QMS01)

• Organization• Personnel• Equipment• Facilities and Safety• Purchasing and Inventory

• Information Management

• Documents and Records

• Non‐Conformance Management

• Assessments• Process Improvements• Customer Service• Process Management

QSEs: Building Blocks of a QMS and Sections in the Quality Manual

Regulations Cross-walk(updated 2017)Sorted by QSEProvides Regulation References to the following:ISO 17025:2005(E) 40 CFR 151, 2012‐07‐01

ISO 15189:2012 ABFT

DW Manual (EPA 815), 2005 ASCLAD/Lab Supplemental

CLIA, January 24, 2003 AAVLD

AIHA 2017, AAFEO

TNI, 2009

9 CFR Food Safety and Inspection, 1/2014

Resources:• How to Write a Laboratory Quality Manual, APHL, 

May 2017• QMS25 Handbook for Developing a Laboratory 

Quality Manual, CLSI, 2017• World Health Organization (WHO)/CLSI: Supplement 

to the Laboratory Quality Management System Training Toolkit, Quality Manual, Version, 2013http://www.who.int/ihr/training/laboratory_quality/quality_manual/en/

Conducting Internal AuditsQuality Manager Pre-Conference Workshop

June 11, 2017APHL  Annual Meeting

Providence, RI

Yvonne Salfinger, MS, MT(AAB)APHL Consultant

Retired Chief, Bureau of Food LaboratoriesFlorida Department of Agriculture and Consumer Services

yhale@aol.com904‐233‐6710

Components of Internal Audit Plan• Purpose and scope 

• Activities to be audited

• Reference requirements (i.e. regulatory, accreditation, internal policy, etc.)

• Assigned auditors

• Schedule

• Sampling plan

• Report of findings (Nonconforming activities/actions)

• Quality function approval and date

• Effectiveness of actions (over time) and of internal audits

• Tracking/monitoring

Why do we have to do audits?Compliance with internal policy, regulatory and accreditation requirements such as:• CLIA ‘88  493.1239• ISO 15189:201 clause 4.14• ISO/IEC 17025:2005 clause 4.14• CLSI QSEs Assessments• The NELAC Institute (TNI) 2009   4.14

Why do we have to do audits?• Follow‐up in response to a complaint, external audit 

findings, or nonconforming event• To ensure a new method is compliant with 

regulatory requirements• To verify compliance with the quality management 

system• Analytical methods, SOPs, Quality Manual, 

internal and external policies (ethics, data integrity), customer requirements

Why should we do audits?• Aids in identifying opportunities for 

improvement and preventive actions• Helps in determining the effectiveness of 

quality improvement projects, corrective actions• Can help to find sources of waste• Can help to reduce or prevent recurring 

issues• Provides information for quality planning

• Assess effectiveness of actions• Prioritize follow‐up actions• Allocate resources• Identify training needs

Range of view of the audit• Ensuring appropriate test procedures, equipment, controls, calibrations are established and used

• Ensuring appropriate laboratory tests are ordered

• Procuring samples timely and efficiently• Disseminating test information to providers/clients in a timely, accurate manner

• Utilizing qualified laboratory personnel (i.e. training, competency)

Scope of Audit

Types of AuditsSystem audit

• Verifying system requirements• Prospective or retrospectiveExample:  Document system audit‐creation, revision, control, review, archiving

Process audit• Verifies that actions, inputs and outputs are occurring as 

intended• Follows process from beginning to end

• Forward or backwardsExample:  Preanalytical audit‐sample receiving, accessioning, storing, retrieving (could be sampling also if applicable)

Types of AuditsProduct or service audit

• Audit of whether a product or service meets specifications

• “Focused audit”‐narrow scope

Examples:

‐Review of final test reports‐verify all required information

‐Review of actions taken for a complaint

‐verify appropriateness and completeness of action

‐ verify policy and procedures are adequate

‐ verify they are followed

Activities to be Audited• Preanalytical

• Logs• Policies and procedures

• Analytical• Logs• Run data• Proficiency tests• Policies and procedures‐Are they present?

• Postanalytical• Quality system parameters, e.g., non‐conforming 

events and actions• Report completeness• Turnaround times• Policies and procedures

Reference Requirements“Say what you do

and

do what you say”

Where does it say we do these things?Do we have a gap (i.e. no policy or procedure?)Do we do what we say (i.e. follow the SOP?)

Reference RequirementsAudits can also be conducted due to triggers such as:• Trends in nonconforming events• Effectiveness of corrections• Assessment of baseline status prior to a 

change being implemented• Ideas from personnel or management

• Must be trained and qualified prior to conducting audit• Training can be internal or external; experience documented• APHL Resourceshttps://www.aphl.org/programs/food_safety/laboratory‐accreditation/Pages/ISOIEC‐17025‐Accreditation‐Training‐Resources.aspx

• Preferably is independent of activity to be audited

• Plans and schedules audits (if a team, a lead auditor may be assigned; forms team and provides assignments to team members)

• Reviews prior information (audits, reports)

• Performs audit• Reviews documents and records• Asks objective questions (What is your process?)

• Completes audit report• Reviews report with management• Discusses findings and answers questions

Auditor

Scheduling• Audits should be on a published schedule• Schedules may be dictated by customer, 

regulations, or internal policy• Can choose to audit small parts every month, 

or full audit periodically

Sampling PlanHorizontal audits‐capture process from beginning to end (Process audits)‐can choose number of records per sample type/per section/per day/% total reports

• Sample tracking‐forward or backward• Nonconformance program

Vertical audits‐deep look into specific process‐follow flowchart, table, written SOP

• Sample receipt and login• Turnaround time

Desk audit• Collect laboratory’s policy, process procedure documents for the 

scope of the audit• Compare documents to reference requirements (be sure to add 

this requirement to the audit report)• Can be pre‐audit tool for other scopes

or can be stand alone

Audit QuestionsObjective evidence is documented

• What is documented process for receiving and handling samples in the laboratory’s sample receiving section?

• Are there written procedures?• Are they current?

• How are the personnel training in the process?• Are there records?• Are they complete?

• When and how is personnel competence assessed?• Are there records?• Are they complete?

• Do personnel follow approved procedures without deviation?• Observation• Any potential improvement areas?

Report findings, auditee response1. Reports may be dictated by regulating bodies/checklist

2. Verbal report‐positive findings, any non‐conformances, standard/documentation such as policy for non‐conformance and objective evidence

3. Written report‐date(s) of audit, names of individuals who participated in audit, summary of findings with standard cited, summary of potential improvements

4. Reports must be timely, courteous and professional, standardized format

Auditee response:

1. For non‐conformances, detail corrections and corrective action, including root cause analysis

2. Proof of commitment, i.e. documented changesif non‐conformance found and evidence of compliance

Example worksheet

Example worksheet

Example worksheet

Both forms:Thanks to FloridaDepartment of Agriculture andConsumer Services,Bureau of Food Laboratories!

Could use a “audit” copy of the actual SOP to followmethod and make notes on it as part of the audit package.

Effectiveness of actions/Tracking/Monitoring1. Nonconformances should be corrected within 

corrective action process, which requires effectiveness of actions taken

2. Tracking and monitoring for trends should be reviewed at Management Review

3. Effectiveness of audits should be evaluated too.4. Don’t forget to look for ways to improve!!

References:• Laboratory Internal Audit Plan, APHL, May 2017

• Lucia M. Berte, lecture material APHL Workshop, How are we doing?  Laboratory Internal Audit Program, February 15‐16, 2017, Denver, CO 

• Florida Dept. of Agriculture and Consumer Services, Bureau of Food Laboratories, Tallahassee, FL

Resources:• QMS15:2013 Laboratory Internal Audit Program, CLSI

www.asp.org/quality‐press

• The ASQ Auditing Handbook, Russel JP, 4th edition

• Quality Audits for Improved Performance, Arter DR., 3rdedition

• The Internal Auditing Pocket Guide, Russell JP

• Certified Quality Auditor Primer, 8th edition.  Quality Council‐www.qualitycouncil.com

Resources:• APHL ISO/IEC 17025 Accreditation Training Resources

https://www.aphl.org/programs/food_safety/laboratory‐accreditation/Pages/ISOIEC‐17025‐Accreditation‐Training‐Resources.aspx

Resources:• APHL Member Accreditation Resources

• https://www.aphl.org/programs/food_safety/laboratory‐accreditation/Pages/Accreditation‐Resources.aspx

Resources:• APHL Member Accreditation Resources‐Internal audits

Login required, no membership required but should be a state or local food/feed testing laboratory (i.e., no industry allowed)

QUESTIONS?