P161001 drongo-helmer-strik

22
Radboud University Nijmegen Spraaktechnologie voor atypische spraak CAL : Computer Assisted Learning Helmer Strik Centre for Language Studies (CLS) Centre for Language and Speech Technology (CLST) Radboud University Nijmegen, The Netherlands

Transcript of P161001 drongo-helmer-strik

Page 1: P161001 drongo-helmer-strik

Radboud University Nijmegen

Spraaktechnologie voor atypische spraak

CAL : Computer Assisted Learning

Helmer Strik

Centre for Language Studies (CLS)

Centre for Language and Speech Technology (CLST)

Radboud University Nijmegen, The Netherlands

Page 2: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 2

Inleiding

Atypische spraak van mensen

• met communicatieve beperkingen

• die een taal willen leren

Intensief oefenen -

[uit-]spraaktraining

in groepen, klassen is lastig

1 op 1 is het beste

maar meestal niet haalbaar

CAL : Computer Assisted Learning

met de luisterende computer

e-Health & e-Learning

Page 3: P161001 drongo-helmer-strik

Radboud University Nijmegen

PEDDS

PEDDS – Pronunciation Error Detection for DysarthricSpeech

Aim: For dysarthric speakers - train pronunciation

Method: error detection, feedback, etc.

Feasibility study

Partners: Sint Maartenskliniek, CLST

Grant: ZonMw

URL: http://hstrik.ruhosting.nl/pedds/

< V >

3 3 / 14

Page 4: P161001 drongo-helmer-strik

Radboud University Nijmegen

CHASING - CHAllenging Speech training

In Neurological patients by interactive Gaming

Aims: • To develop and test an interactive, intuitive, user adaptive

game for speech training that makes use of advanced speech technology and is compatible with mobile platforms

• To study to what extent serious games and games principles motivate and support neurological patients in speech training

Partners: CLST, Sint Maartenskliniek, Waag Society

Grant: Top sector creative industries

URL: http://hstrik.ruhosting.nl/chasing/

01/01/2014 – 01/01/2018

4 4 / 14

Page 5: P161001 drongo-helmer-strik

Radboud University Nijmegen

Only title

. Helmer Strik - CAL . 5

CHASING

Page 6: P161001 drongo-helmer-strik

Radboud University Nijmegen

CHASING

. Helmer Strik - CAL . 6

Page 7: P161001 drongo-helmer-strik

Radboud University Nijmegen

CHASING

. Helmer Strik - CAL . 7

Page 8: P161001 drongo-helmer-strik

Radboud University Nijmegen

Only title

. Helmer Strik - CAL . 8

Voor een demo, kom naar NOTaS !

Page 9: P161001 drongo-helmer-strik

Radboud University Nijmegen

Atypische spraak

Atypische spraak van mensen

• met communicatieve beperkingen

e-Health: PEDDS, CHASING, …

• die een taal willen leren

e-Learning: Dutch-CAPT, DigLin, ISLA, DISCO, …

CAL : Computer Assisted Learning

See

http://hstrik.ruhosting.nl/projects/

https://www.youtube.com/user/HelmerStrik/videos?sort=dd

. Helmer Strik - CAL . 9

Page 10: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 10

Dutch-CAPT:

'Dutch Computer-Assisted Pronunciation Training'

Page 11: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 11

Maximaal 3 keer proberen

Page 12: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 12

Page 13: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 13

Evaluation: system is effective !

0.00%

5.00%

10.00%

15.00%

20.00%

25.00%

Exp. NiBu Exp. NiBu

11 target sounds other sounds

% errors (relative to type)

pre-test

post-test

Significantly larger reduction in pronunciation errors

Cucchiarini, Neri, Strik (2009)

Page 14: P161001 drongo-helmer-strik

Radboud University Nijmegen

DigLin - Digital Literacy Instructor

Taalleren voor laag- en ongeletterden.

Voor een demo, kom naar NOTaS !

http://hstrik.ruhosting.nl/diglin/

< V >

. Helmer Strik - CAL . 14

Page 15: P161001 drongo-helmer-strik

Radboud University Nijmegen

ISLA:

Idiomatic Second Language Acquisition

Test je kennis van Nederlandse uitdrukkingen

in de blauwe zaal

Applicaties die ontwikkeld zijn in eerder projecten,

zoals DISCO,

gebruiken we om vernieuwend onderzoek te doen

bijv. in ISLA.

http://hstrik.ruhosting.nl/isla/

. Helmer Strik - CAL . 15

Page 16: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 16

DISCO: 'Development and Integration of

Speech technology into CoursewareDoel: Een prototype v.e. CALL systeem dat automatisch feedback

geeft op gesproken uitingen

Zinnen automatisch herkennen, en

fouten automatisch detecteren

m.b.v. spraaktechnologie

Correct

Voorbeeld Ik loop naar huis

Fouten

Uitspraak Ik lop nar guis

Morfologie Ik lopen naar huis

Syntaxis Ik naar huis loop

http://hstrik.ruhosting.nl/disco/

Page 17: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 17

aaDISCO: Syntax exercise

Page 18: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 18

DISCO: Morphology exercise

Page 19: P161001 drongo-helmer-strik

Radboud University Nijmegen

DISCO – pronunciation

. Helmer Strik - CAL . 19

Page 20: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 20

remediation environment

learner is reviewing progress

Page 21: P161001 drongo-helmer-strik

Radboud University Nijmegen. Helmer Strik - CAL . 21

Page 22: P161001 drongo-helmer-strik

Radboud University Nijmegen

For more information see, e.g. :

http://hstrik.ruhosting.nl/

http://hstrik.ruhosting.nl/contact/

http://www.linkedin.com/pub/helmer-strik/9/438/851

http://www.researchgate.net/profile/Helmer_Strik

http://www.ru.nl/clst/staff/virtuele-map/helmer-strik/.

For project info. see:

http://hstrik.ruhosting.nl/projects/

For [demo-]videos of some projects, see :

https://www.youtube.com/user/HelmerStrik/videos?sort=dd.

For publications see:

http://hstrik.ruhosting.nl/publications/

https://www.researchgate.net/profile/Helmer_Strik/publications

http://radboud.academia.edu/HelmerStrik

. Helmer Strik - CAL . 22