Experiential LearningExperiential LearningAsst.Prof.Surat Triwanapong

Experiential LearningExperiential Learning

i l id " h hi h• Aristotle once said, "For the things we have to learn before we can do them, we learn by doing th " [them".[

• An example of experiential learning is going to the zoo and learning through observation and interaction with the zoo environment, as opposed 

di b i l f b kto reading about animals from a book.

• Students engage in experiential learning through activities such as workshops, cultural exchanges, museum tours, and nature expeditions.

Experiential LearningExperiential Learning

Conventional Training vs Experiential Learning

conventional training experiential learning

training‐centered/focused ‐ theoretical learner‐centered/focused ‐ really doing it

prescribed fixed design and content flexible open possibilities

for external needs (organisation, exams, etc) for internal growth and discovery

transfers/explains knowledge/skills develops knowledge/skills/emotions via experience

fixed structured delivery/facilitation not delivered, minimal facilitation, y/ , ,unstructured

timebound measurable components (mostly)not timebound, more difficult to measure

suitable for groups and fixed outcomes individually directed, flexible outcomes

examples: powerpoint presentations, chalk‐and‐talk classes reading attending lectures

examples: learning a physical activity, games and exercises drama and role‐play whichand‐talk classes, reading, attending lectures, 

exam study, observation, planning and hypothesising, theoretical work, unreal role‐play.

and exercises, drama and role‐play which becomes real, actually doing the job or task, 'outward bound' activities, teaching others, hobbies, pastimes, passionsplay. hobbies, pastimes, passions

Summarized Assessment

http://youtu.be/5rQBH1TH9pA

Steps in Designing Integrated Learning Experience

St 1 Id tif l l th k l d kill d tStep 1: Identify clearly the knowledge, skills and processes to be incorporated into the task 

For this step it is important to: p p•Choose specific topic areas in your curriculum that encompass 

key underpinning knowledge (e.g., central concepts, principles procedures) and skills essential for understandingprinciples, procedures) and skills essential for understanding and performance in real world applications. 

•Identify the types of thinking that are important for promoting student understanding and subsequentpromoting student understanding and subsequent competence in these topic areas. For example, generating possibilities, analysis, comparison and contrast, inference 

d i t t ti l ti tand interpretation, evaluation, etc. •Identify other CDIO skills (e.g., communication, team‐working, 

managing learning, etc) that are important for competent g g g, ) p pperformance in the identified areas. 

Steps in Designing Integrated Learning ExperienceSteps in Designing Integrated Learning Experience

Step 2: Produce the learning task It is important that the task:It is important that the task: •Clearly involves the application of the knowledge, skills and processes 

identified from Step 1. •Is sufficiently challenging but realistically achievable in terms of student’s•Is sufficiently challenging, but realistically achievable in terms of student s 

prior competence, access to resources, and time frames allocated. •Successful completion involves more than one correct answer or more 

than one correct way of achieving the correct answerthan one correct way of achieving the correct answer •Clear notes of guidance are provided, which: 

–Identify the products of the task and what formats of presentation are acceptable (e.g. written report, learning materials, portfolio, oralacceptable (e.g. written report, learning materials, portfolio, oral presentation, etc) –Specify the parameters of the activity (e.g. time, length, areas to  incorporate, individual/collaborative, how much choice is permitted,incorporate, individual/collaborative, how much choice is permitted, support provided, etc) 

–Cue the types of thinking and other desired process skills Spell out all aspects of the assessment process and criteria–Spell out all aspects of the assessment process and criteria. 

Q & A

Thank you for your kind attentiony y

Learning Outcome‐gLearning Activityg y

Asst.Prof.Surat Triwanapong

Aligned Curriculum Design ModelAligned Curriculum esign Model

Learning outcomes

CDIO Skill

Instructional StrategiesAssessment 

System

In basic terms this means that the types of skills incorporated in the Learning b ff l h h h h l d dOutcomes must be effectively taught through the Instructional Strategies used and 

accurately measured in the Assessment System. 

Keywords (clear & assessable)Keywords (clear & assessable)

Writing Learning Outcomesg g

Write in direct performance terms – focusing on:Write in direct performance terms  focusing on:The Type of Thinking or Product Outcome

• Analyze the impact of pollution on water quality• Compare and contrast a range of retaining structures• Generate new design options for marketing a health food product• Generate new design options for marketing a health food product• Conduct product packaging tests for a specified product• Produce a product design for……• Write a program in Java script to animate the internal dynamics of ……..• Prepare a tender report

NOTE: Objectives can be written at different levels of specificity and contextualizes accordingly‐ but the general concept of focusing on the desired performance appliesdesired performance applies

Ex. Reinforced Concrete Designx. Reinforced Concrete esign

L i tLearning outcomes:(Introduction)• Explain assumptions used in analysis and design of reinforced 

concrete structures(Flexure and Shear)• Calculate nominal bending moment and nominal shear for solidCalculate nominal bending moment and nominal shear for solid 

slabs, rectangular beams, and T‐beams• Design one‐way slabs, two‐way slabs (using method 2 of EIT 

standard) and stairsstandard), and stairs• Design simple beams, cantilever beams, and continuous beams• Sketch detailed drawing for slabs, beams, and stairs( )(Torsion)• Design rectangular beams subject to combined torsion, bending, 

and shear

Ex. Reinforced Concrete Design (cont.)x. Reinforced Concrete esign (cont.)

(Column)(Column)• Calculate gravity loads on columns by tributary area method• Construct interaction diagram for rectangular columns

h l b h• Design short columns by using graphs• Design long columns by moment magnifier method• Sketch detailed drawing for columns(Footing)• Explain differences and principles in design of spread footings and piled 

footings• Approximate allowable load on pile according to Bangkok regulation• Arrange lay‐out and spacing of pile groups• Design isolated spread footings and piled footings subject to concentric g p g p g j

load• Sketch detailed drawing for footings

Writing Learning Outcomeg g

Module 3: Quality Improvement

• Show an ability to work in teamShow an ability to work in team

• Apply DM (from DMAIC technique) to selected dicase studies

• Define root causes of the problemp

• Analyze the measurement system

Design a Learning Experience

Design a Learning Experience

Activity: Writing Learning Outcomes(20 i )(20 min)

• Select one of your courses and write learning outcomes, considering levels of learning, and g gmake it clear and assessable.

AssessmentAssessment

Asst.Prof.Surat Triwanapong

Aligned Curriculum Design ModelAligned Curriculum esign Model

L i tLearning outcomes

CDIO Skill

Instructional Strategies

Assessment System Strategies

In basic terms this means that the types of skills incorporated in the Learning b ff l h h h h l d dOutcomes must be effectively taught through the Instructional Strategies used and 

accurately measured in the Assessment System. 

Assessment in CDIO ContextAssessment in C IO Context

A t i il t t hi d l i• Assessment, similar to teaching and learning methods, is eclectic ‐based on the learning outcomes (e g MCQ’s Essay type and Performance tests are alloutcomes (e.g., MCQ s, Essay type and Performance tests are all valid assessment methods)

• However, the focus on integrated curriculum and , glearning experiences requires a greater use of authentic/performance based assessments

• Assessment must focus as much on supporting the learning process (e.g., formative assessment, “learning assessment”) as it does on measuringlearning assessment ) as it does on measuring performance

The range of student performances that  fi t h b tconfirm outcomes have been met

T i ll th f d t t th t th t d tTypically these performances demonstrate that the student can actually do what is clearly identified in the outcomes. This may refer to:

• Accurately Recalling specific knowledge that has been acquired (e.g., effectively memorized)

• Displaying Understanding of concepts principles and procedures• Displaying Understanding of concepts, principles, and procedures by being able to explain their connectedness and applications in a range of situations (e.g., transfer). This typically results from good thi ki i l ti t th i k l d b i dthinking in relation to the various knowledge bases required

• Demonstrating Competence‐application of knowledge, skills and attitudes in performing a function/activity in the real world context (e.g., designing a circuit, producing a tender report, managing a team , etc). Competence may also be defined in terms of proficiency levels in the performance involved.p y p

Interview

‐ Structured

‐ FocusedPerformance Assessment

‐ReportOpen  p

‐Case Study

‐Presentation

‐Simulated   

Response Essay‐ShortLong

Methods of Assessment

Activity

‐Role‐play

‐Long

Portfolio

‐Own Learning 

Fixed Response

‐MCQStrategies

‐Develop Competency

‐Develop Thinking 

Examination

‐Understanding

‐True/False

e e op gSkill‐Comprehension 

‐Thinking

Performance Assessment ‐Uses

•Diagnostic PurposesDiagnostic Purposes

–how to control variables?

–how to use instruments?how to use instruments?

–how to evaluate findings? 

•Instructional Purposes•Instructional Purposes

–Learning how to drive a car

•Monitoring Purposes•Monitoring Purposes

–monitor student process skills and problem solving approaches. 

the most effective performance assessments are authentic–the most effective performance assessments are authentic 

tasks that are open‐ended with multiple‐correct solution paths. 

Performance‐Based Assessment

• Assessment is on tasks expected of professionals in the real world (e.g., real world problem‐solving and direct 

f d l d b f f )performance evidence ‐actual product or observation of performance)

• Learners know the criteria and standards for fcompetent performance

• Learners have opportunities to develop competence over time

Benefits of Performance‐Based Assessment

• Motivating for learners, as learning is real world, meaningful and situated

I l l li k d t th l t ll l th h l• Is closely linked to the way people actually learn –through real world application and feedback loops. This is the basis of experiential and active learningexperiential and active learning

• Can be closely calibrated to the design of instructional approachespp

• Assesses the ability to actually perform in real life contexts (actual competence), not simply recall of information. In this way, validity is greatly enhanced as the learning has been internalized, transferred and applied effectively in context.

Performance –Based Assessment‟ d ‟+‟s and –‟s 

PLUS

• Greater validity as the focus is on real life performance

MINUS

• More time consuming than paper and pencil type assessmentp

• Measures a range of complex skills and processes in real world or authentically simulated

p yp

• Where courses focus on underpinning knowledge, there is less opportunity for performanceor authentically simulated 

contexts

• Links clearly with learning and 

less opportunity for performance –based assessment

• As these items often involve instruction in a planned developmental manner

• Motivates students through

professional judgement, there is always the problem of subjectivity in markingMotivates students through 

meaningful and challenging activities

j y g

Portfolio Assessment

A portfolio is best described as an approach to assessment rather than a specific method. It seeks to promote a more developmental (formative) and authentic approach to assessment than traditional pencil and paper tests. The use of portfolio is very consistent with modern cognitive models p y gof learning which advocate that instruction, assessment and learning should be closely linked and mutually reinforcing activities.

There are a number of definitions that have been employed to describe a

portfolio. The following definition by Tombari and Borich(1999) isp g y ( )

representative, as well as being clear and concise:

A portfolio is a planned collection of learner achievement that documents h t t d t h li h d d th t t k t t th ( 168)what a student has accomplished and the steps taken to get there. (p.168)

Possible benefits of portfolios

d l k l d d h d l f• Construct and apply knowledge in moving towards the development of a competence/ability

• Use a range of types of thinking in real world problem solvingg yp g p g

• Develop important dispositions underpinning effective learning, e.g., persistence, openness to change

i d l i• Monitor and assess own learning 

• Evaluate and modify own learning strategies (e.g., manage learning)

Shaklee et al (1997) summarizes the benefits of using portfolios:Shaklee et al (1997) summarizes the benefits of using portfolios:

Portfolio assessment, using multiple sources for assessing children’s learning, is one of the ways to improve the educational process for all hild ( 121)children. (p.121)

Limitations of portfolios

• Time consuming (e.g., deciding what to put in, how to assess, etc)

• May not represent student’s typical work and pose problems for assessment and grading

Marking Scheme

P f W i h E id F tPerformance Areas

f

Weight age

• Each performance

Evidence

• Reports

Format

Checklist

Rubric• Performance Criteria

performance area

• Logbook

• Product

A tif t

Rubric

Analytic

Holistic• Artifact

• Presentation

• Video

Holistic

• Video

Key Considerations in Producing a Marking Scheme

• Performance areas assessed to reflect learning objectives

• Performance criteria for each performance area

• Marks weighting for each performance area toMarks weighting for each performance area to reflect table of specifications/assessment blueprint

• Sources of Performance evidence to be used (e g• Sources of Performance evidence to be used (e.g., written/oral questioning, product, observation, etc)

• Format for marking scheme checklist rating scale/• Format for marking scheme –checklist, rating scale/ scoring rubric

Deciding Performance Areas

I i i b h i d• It is important to remember that an integrated performance task (e.g., project) may offer many areas of performance that can be validly assessedareas of performance that can be validly assessed, which make them 

• For example, if students are significantly involved in conceiving designing and working in teams in aconceiving, designing and working in teams in a particular project, these are ideal areas to assess, as there will be a range of assessment evidencethere will be a range of assessment evidence available for making valid assessment. 

Deciding Performance Areas

I d f k ( j ) i ll ff• Integrated performance tasks (e.g., project) typically offer many areas of performance that can be validly assessed. It is important to make careful decisions about what to focus passessment on (e.g., key subject content learning outcomes, as well as CDIO skills that may be difficult to assess elsewhere in the assessment scheme)in the assessment scheme)

• For example if students are significantly involved inFor example, if students are significantly involved in conceiving, designing and working in teams in a particular project, these are ideal areas to assess, as there will be a 

f id il bl f ki lidrange of assessment evidence available for making valid assessment. 

Example from a MAE Project 

A t A W i htiAssessment  Areas Weighting

1.Conceive Engineering Systems 15 %

2 Designing Engineering Systems 20 %2. Designing Engineering Systems 20 %

3. Implementing Engineering Systems 15 %

4. Operating Engineering Systems 10%4. Operating Engineering Systems 10%

5. Interpersonal Skills (Teamwork & Communication)

20%

6. Personal skills & Attitudes 10%

7. Professional skills & Attitudes 10%

Total 100%

Performance Criteria

• Essentially performance criteria are the more specific and bl l /b h i h d i h idmeasurable elements/behaviours that underpin the wider 

performance to be assessed in an assessment area.

– For example in assessing ‘Demonstrate Effective WrittenFor example, in assessing  Demonstrate Effective Written Communication’ (a component of Interpersonal Skills, Communication) the performance criteria may include:• write with logical organization and clear language flow 

• use concise and precise language

• use correct grammar spelling and punctuation etcuse correct grammar, spelling and punctuation, etc.

• As your syllabus has been written to include specific learning outcomes for each of the CDIO Skills, your task is to identify which ones are to be incorporated in the chosen assessment areas for a particular integrated performance task.areas for a particular integrated performance task.

Key Question inDeciding Performance CriteriaDeciding Performance Criteria

• The important point is to look carefully at the learning outcomes in each of the chosen CDIO skill areas and ask the question:

Will this integrated task offer the student a realistic opport nit to demonstrate thatrealistic opportunity to demonstrate that he/she can meet this learning outcome?

MAE Example

Assessment Areas with Performance Criteria Weighting

2. Designing Engineering Systems• Formulation of a design plan (e.g. choose requirements for each element/component, explore alternatives based on prior work/reuse of designs)

15 %

designs)• Select final design based on project goals and research processes• Evaluation of design (e.g. performance, life‐cycle, cost, aesthetics, functionality, etc.

5. Interpersonal Skills (Teamwork)• Identifications of goals and work agenda (e.g. what is to be done, by who, when. how)

10 %

• Utilization of team strengths (e.g. using individual capacities‐ both technical and interpersonal‐ for achieving goals, effective leadership where necessary)• Application of team ground‐rules and management of potential sources of conflictconflict

7. Professional Skills & Attitudes• Acting in a manner consistent with professional codes of  ethics (e.g. showing concern for the quality of work produced, costs incurred – both economic and 

10 %

q y p ,social/environmental, health and safety regulations)

Assessment Evidence

• A t E id f t th f f d• Assessment Evidence refers to the range of performances and products that can be validly and efficiently considered in making an assessment decision.I ki t d i i f th i t• In making assessment decisions for the various assessment areas for a integrated performance task, it is important to consider the range of evidence that can be generated by the various activities. For example in assessing teamwork a wide range of evidenceFor example, in assessing teamwork, a wide range of evidence sources can be generated and used to make a summative decision. These could include the following:Feedback from students (e g peer assessment)–Feedback from students (e.g., peer assessment)–Lecturer observation of student interactions–Questioning –Meeting deadlines and objectives–Students logs/journals

Range of Evidence

• For the projects, the following generic types of assessment evidence are typically produced:typically produced:

• Reports

• Progress reviewsg

• Logbook

• Scheduling documentation

• Engineering drawings

• Artifacts (e.g., models, prototypes, programmes, operating manuals, etc)

• Presentations• Presentations 

• Responses to questions (oral, written, etc)

Invariably, the greater the range of evidence sources that can be accessed (providing they are valid and reliable), the more likely it is that we can make accurate assessments of performancemake accurate assessments of performance.

Marking Formats for performance assessments

AnalyticDecide on the basis of level of Inference in making assessment decision

Rubric

Marking Scheme Holistic

Checklist

analytic or holistic rubric –what’s the difference, and on what basis would you decide?

Decide format on the basis of whether the item involves High or Low Inferenceinvolves High or Low Inference

• Low inference items are those where the performances being tested are clearly visible and there is a widely established correct answer (e g conducting a fire drill setting up ancorrect answer (e.g., conducting a fire drill, setting up an experiment) Here a Checklist is most appropriate

• High inference items involve performances that are lessHigh inference items involve performances that are less directly visible and/or more open to subjective judgement (e.g., creativity, managing a team) Here a rating scale/scoring rubric is most appropriate

• A major challenge to test design is to produce tasks that require low inference scoring systems. Unfortunately, many worthwhile student outcomes reflecting higher order thinking lend themselves more to high inference scoringlend themselves more to high inference scoring.

Scoring Rubrics (rating scale)

• A scoring rubric is a prepared scoring system for assessing performance in activities where professional judgements is involved in the assessment decision. 

• There are two main types of rubrics:

–Holistic (focuses on overall assessment of a product, process f ith t j d i th t tor performance ‐without judging the component parts 

separately)

Analytic (assesses scores each individual ‘part’ of an–Analytic (assesses –scores –each individual  part  of an assessment activity and then totals an overall score

There are benefits and limitations to each –

what do you think they are?what do you think they are?

Holistic versus Analytic Rubrics

Holistic rubrics enable a focus on the overall performance and pare more economical in terms of assessment time. They are typically used for summative assessment and where some variation in reliability in parts of the assessment componentsvariation in reliability in parts of the assessment components can be accepted, provided the overall assessment decision has good validity and reliability. In contrast, analytic rubrics enable a greater focus on the specific elements of the areas of learning involved and make possible a much better utilization of formative assessment in the assessment process This hasof formative assessment in the assessment process. This has considerable benefits, as Gibbs (2008) highlights: 

Research in schools has identified that the way that teachers provide and use feedback, and engage students with feedback, makes more difference to student performance than anything else that they can do in the classroom. (p.6)than anything else that they can do in the classroom. (p.6)

What rubrics can and cannot do…

It is also important to remember that the rubric does not make the assessment decision; this is the responsibility of the assessing teacher

‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

Rubrics provides a guiding frame for focusing attention on the key elements/constructsattention on the key elements/constructs (performance criteria) of the assessment area and summary descriptors of a range of performances.summary descriptors of a range of performances.

Developing a Checklist

• Identify the important components ‐procedures, processes or operations i i i‐in an assessment activity

–for example, in conducting an experiment one important operation is likely to be the generation of a viable hypothesisy g yp

• For each component, write a statement that identifies competent performance for this procedure, process or operation

i h b l h f ll i b i–in the above example, the following may be pertinent:

A clear viable hypothesis is described

• Allocate a mark distribution for each component ‐if appropriateAllocate a mark distribution for each component  if appropriate

–this is likely to reflect its importance or level of complexity

Note: Checklists are most useful for low inference items –where the performance evidence is clearly agreed and there is little disagreement relating to effective or ineffective performance (e.g., observable steps)g p ( g , p )

Assessment Checklist for Designing and Conducting    a Small Experimenta Small Experiment

A CAssessment Components

1.The context of the experiment is accurately described

2 A clear viable hypothesis is presented 2.A clear viable hypothesis is presented

3.The method/procedure is appropriate                                          4 Findings are clearly collated and presented4.Findings are clearly collated and presented

5.Valid inferences and interpretations are drawn from the data

and comparison is made with existing data and comparison is made with existing data                                  

6.The write‐up of the experiment meets required conventions  

The allocation of marks for each assessment area will reflect the weighting allocated in the Table of Specifications

Developing a Scoring Rubric

• Define the performance area/learning targets for an assessment (must relate l i )to learning outcomes)

–for example, ‘Valid inferences and interpretations are drawn from the data and comparison is made with existing data‟

• Identify and describe the key attributes that underpin competence for each performance area (preferably observable and measurable)

–Using the above example (attributes –concept, types of thinking)• Validity

• inference and interpretation

• comparison and contrast

W it i d i ti f f t f l l f d• Write a concise description of performance at a range of levels from very good to very poor 

–for example, 5 = very good; 1 = very poori S l /S i b i f f l f hi h i f i h hNote: Rating Scales/Scoring Rubrics are most for useful for high inference items –where the 

performance evidence requires considerable professional judgement in making an assessment decision

Example: Valid inferences & interpretations are drawn from the data and comparison is made with existing datais made with existing data

S D i tiScore Description

5 All valid inferences are derived from data. Interpretations are consistently logical given the data obtained. All essential similarities and differences 

h d d f d d h f f ll h dwith existing data are identified and their significance fully emphasized.

4  Most of the valid inferences are derived from data. Interpretations are mainly logical given the data obtained. Most essential similarities and differences with existing data are identified and their main significance emphasized.

3 Some valid inferences are derived from data. Some logical interpretations are made from data obtained. Some essential similarities and differences with existing data are identified and their significance partly established.

2 Few valid inferences are derived. Interpretation of findings are limited . p gComparison and contrast with existing data is partial and its significance not established.

1 Failure to make valid inferences and interpretations.p

Example: level rubric –what’s the difference?

ACTIVITY:

& l h• ให้นํา Active Learning & Experiential Techniques

มาปรับใสใ่นแผนการสอน 15 สปัดาห์ รวมแผนการประเมิน

Q & A

Thank you for your kind attentiony y