REALITIES & MYTHS OF THE OTR® EXAMINATION

Margaret Bent, PhD, OTRManaging Director, Competency Assessment, NBCOT®

Session Overview:

How the examination is createdLayout of the OTR examinationFormat of examination itemsPreparation and study toolsFeedback from recent candidatesSample items

PRACTICE ANALYSISWHAT IS TESTED ON THE NBCOT EXAMINATION? 

Practice Analysis

• NBCOT routinely conducts practice analysis studies to identify:▫ Domains▫ Tasks▫ Knowledge

• Required for competent practice as an OTR®

• Results of the study are used to develop the examination specifications

Example of Domain, Task, Knowledge

Domain: Gather information regarding factors that influence occupational performance

Task: Identify environments and contexts using appropriate theoretical approaches or models of practice in order to determine facilitators and/or barriers that impact the client’s participation in occupationKnowledge of: Theoretical approaches and models of practice

OTR Examination Blueprint

Domain Description% of Exam

01 Gather information regarding factors that influence occupational performance 13%

02Formulate conclusions regarding the client’s needs and priorities to develop a client‐centered intervention plan

28%

03Select and implement evidence‐based interventions to support participation in areas of occupation throughout the continuum of care

39%

04 Uphold professional standards and responsibilities to promote quality in practice 20%

First Sample Item!

An OTR working in an outpatient clinic is scheduled to evaluate a 5‐year‐old child who has pervasive developmental disorder.  What should the OTR do FIRST when gathering information as part of the initial evaluation with this child?

A. Screen the child’s current self‐care abilities.

B. Discuss the child’s history with the caregiver.

C. Complete a standardized motor test.

D. Conduct an open‐ended interview with the child.

And the correct answer is…

B. Discuss the child’s history with  the caregiver.

This will help identify present level of performance in different occupational roles prior to screening and assessment.

Determining the Domain, Task, and KnowledgeDomain 01:  Gather information regarding factors that 

influence occupational performance

Task 0101:  Evaluate the client on an ongoing basis using appropriate tools, procedures, and protocols in order to determine factors that impact participation in occupation

Knowledge 010101: 

Information gathering processes and procedures (e.g. observation, interview, client records)

Myth or Reality?My exam was 

mostly pediatrics.The exam is based on all the information we’ve covered in our OT 

curriculum.NBCOT changes 

exam blueprints on an annual basis.

Myth

Myth

Myth

Format Of The OTR Examination

• Computer delivered• 4‐hours• Examination consists of:▫ 3 Clinical Simulation (CS) Problems▫ 170 Multiple‐Choice (MC) test items▫ Within these totals there are a number of field‐test items

• There are optional tutorials before the CS and MC components of the exam

Myth or Reality?

The field‐test items are always the last items on 

the examination.

If I skip the tutorials, I will have more time 

to take the examination.

I don’t like testing on computers, I can request a paper 

examination right?

Myth

Myth Myth

The computer randomly selects those items that will 

not be scored once the exam is submitted for scoring. 

Myth

Format of Examination

Candidates need to achieve a score of 450 or above to passScore based on accumulative performance across CS and MC items

Myth or Reality?My score is simply a % of 

correct items.

I scored 447.  I can ask NBCOT to review my fieldwork 

evaluation to make up the additional 3 points. I’ve failed the examination 3 

times.  I can request NBCOT to rescore based on the average of the 3 previous 

attempts, correct?

Myth

Myth

Myth

Clinical Simulation

What is CS testing?It is a format of assessment designed to simulate various types of  focused experiences that OTR   encounter in practice.

Clinical Simulation

The items are designed to measure a candidate’s knowledge and critical reasoning ability sequentially across the continuum of care:

ScreeningFormulating conclusions regarding treatment needs and prioritiesImplementing interventionsAssessing outcomes

Clinical Simulation Problem Makeup

An opening sceneSections with section headersA series of decision/action statements

Opening Scene

Section Heading

Decision/Action List

• Positive responses▫ Optimal route▫ Points awarded if you select this response

• Neutral responses▫ May be helpful, but not absolutely necessary in solving the problem

▫ Points neither awarded nor deducted

Decision/Action List

• Negative responses▫ Hinder or distract from solving the problem▫ May be harmful to the client▫ Points deducted if you select these options

Format & Flow of CS Problem

You should select the decision/action you deem appropriate from the list of options provided.As the decision/action statement is selected, a feedback box will appear.Feedback contains information regarding the consequence of selecting that decision.

Feedback Boxes

CS Summary

Each simulation item has an opening scene, sections with section headers, and associated decision/action lists.  Once you have checked a decision/action from the list you are NOT ABLE TO DESELECT the decision/action.  You may review previous screens but CANNOT DE‐SELECT OR ADD ADDITIONAL RESPONSES. 

Myth or Reality?I’ve heard the CS 

problems are much harder than the MC 

items.If I do well on the CS problems, I’m likely to pass the exam overall.

It’s to my advantage to click all the decision statements in each section – that way I’m bound to 

select the correct answers.

Myth

Myth

Myth

Format of Multiple Choice Items

• Question stem• 4 response options▫ 1 correct answer▫ 3 distracters

Another sample item …

Which functional activity provides the MOST information about a client’s range of active shoulder flexion?

A. Putting on knee‐high socks and lace‐up shoes

B. Moving a container from an overhead shelf to a table

C. Putting on a short sleeve front‐opening shirt

D. Folding a standard size bath towel on a countertop

And the correct answer is…

B. Moving a container from an overhead shelf to a table

This is the best activity to enable   the OTR to access the client’s level of active shoulder flexion 

Determining the Domain, Task, and Knowledge

Domain 02: Formulate conclusions regarding the client’s needs and priorities to develop a client‐centered intervention plan

Task 0203:  Develop an occupation‐based intervention plan by selecting intervention strategies and approaches consistent with prioritized needs and best practice in order to facilitate client outcomes

Knowledge 020301 Activity analysis methods related to client roles, habits and routines, and current abilities

Format of MC Items

During the exam, you can use “mark” and “unmark” buttons to flag items to review at a later stageIf time permits, you can return to marked items and insert or change your response option prior to submitting the exam for scoring

Myth or Reality?

If the exam clock ends, the “marked” items I answered but did not “unmark” will be submitted for scoring.

There are 150 MC items on the OTR examination.

Reality

Myth

Official NBCOT Study Tools

• Examination Readiness Tools• Official NBCOT OTR Study Guide• Online Practice Tests▫ MC and CS

• Online Content Tests

Examination Readiness Tool

Excellent place to start!Helps you identify your strengths and weaknesses across areas of the examination blueprintUse the results to structure a personal study planFree to download at www.nbcot.org

NBCOT Official OTR Certification Examination Study Guide• Comprehensive overview of what to expect:▫ Format of the examination▫ What to expect on the test day▫ How the examinations are scored

• Proven strategies for taking high stakes examinations• Sample practice items – with answer keys, rationales and references

Online Practice Tests

Designed to mirror the experience of taking the exams on computer.Available to take 24 hours a day from anywhere you have Internet access.Score report instantly displays overall test score and feedback about performance across major areas of the examination blueprint.

Simulation Practice Tests

Experience first hand what it’s like to take a simulation problem from opening scene through accompanying sections of the problem.Feedback provided response‐by‐response as you make your selections.Score report at the end provides feedback about your performance on the test.

Simulation Tutorial

Take a CS tutorial!Go to www.nbcot.orgView screens that show the format and flow of CS problems

Content Tests

Contain practice items in the areas of:Physical disabilitiesMental healthPediatricsAdministration

Provides item‐level feedback as soon as the candidate clicks a response button.Rationales and follow up references.

Myth or Reality?After I take a practice test, I can compare my answers with the correct answers.If I pass the online practice 

test, I am guaranteed to pass the real exam.

The Official NBCOT study tools contain the same items that appear 

on the real certification exam.All published study guides and exam prep 

courses are approved and endorsed by NBCOT.

Myth

Myth

Myth

Myth

Feedback from recent candidates

Feedback from Recent Candidates

Post‐examination email surveyResponse rates

Results filtered – passing first time; passing repeat; failing first time; failing repeat 

Surveys Mailed

SurveysCompleted

% Response

OTR 1861 566 30%

COTA 1350 349 26%

Time Between Graduating and Taking the NBCOT OTR Examination

0% 20% 40% 60% 80%

0‐2 months

3‐5 months

6‐9 months

10‐13 months

14+ months

Failing ‐ repeat

Failing ‐ first time

Passing ‐ repeat

Passing ‐ first time

Did your OT Program incorporate clinical reasoning problems as part of your academic coursework (OTR)?

0%10%20%30%40%50%60%70%80%90%100%

Yes No

Passing ‐ first time

Passing ‐ repeat

Failing ‐ first time

Failing ‐ repeat

Did your OT Program incorporate case studies as part of your academic coursework (OTR)?

0%

20%

40%

60%

80%

100%

120%

Yes No

Passing ‐ first time

Passing ‐ repeat

Failing ‐ first time

Failing ‐ repeat

Current Primary Work Setting OTR Respondents 

Primary Populations Served OTR Respondents

Another sample item…

An OTR in a community‐based setting is evaluating the effectiveness of an OT program for clients who have a chemical dependency disorder. The goal of the program is to support healthy lifestyle choices. Which method would provide the MOST USEFUL information about the program outcomes?

A. Analyzing occupational profiles of clients who attended every scheduled session 

B. Observing social interactions  among clients during the sessions

C. Gathering occupational profiles at the start and end of the program

D. Surveying leisure habits before, during and at set intervals after the program

And the correct answer is…

D. Surveying leisure habits before, during and at set intervals after completion of the program

This provides the best outcome information because it records level of continued follow‐through of skills after the program has been completed

Determining the Domain, Task, and Knowledge

Domain 04:  Uphold professional standards and responsibilities to promote quality in practice

Task 0402:  Uphold professional standards by participating in continuous quality improvement activities and complying with safety regulations, laws, ethical codes, facility policies and procedures, and guidelines governing OT practice in order to protect the public interest

Knowledge 040210:  Quality improvement processes and procedures (includes program evaluation and outcomes measures) 

Questions?

www.nbcot.orgmargaret.bent@nbcot.org