Sound Quality Assessment IPA and IQSB methods

Sound Quality AssessmentSound Quality AssessmentIPA and IQSB methodsIPA and IQSB methods

Universityof Parma

|| Page 218.05.200618.05.2006 Angelo FarinaAngelo Farina UNIPR / ASK IndustriesUNIPR / ASK Industries || A All Rights Reservedll Rights Reserved || ConfidentialConfidential

Quality assessment - previous methods

Subjective Index (IPA / Index of Performance - Audition):

⇨ Questionnaire compiled “on paper” during a listening test inside the car

⇨ 6 questions, opposite-attributes scale with 5 marks⇨ Rated separately for front and rear seats⇨ Pre-defined set of music samples (ASK Listening Disk)⇨ The total score is a weighted sum of the responses – the weight

factors are variable, depending on the estimated reliability of each subject

⇨ The analysis of the questionnaires is performed automatically by a software

Objective Index (IPM / Index of Performance – Measured):

⇨ Based on traditional measurements:

⇨ Single omnidirectional microphone

⇨ Steady-state frequency response with pink noise signal

⇨ “confort” target curve

⇨ Evaluation based on spectral-related parameters (flatness, adherence to the target, smoothness, etc.)

⇨ The total score is a weighted sum of the above objective parameters

⇨ The weighting factorsand the “target curve” have been obtained in order to align as closely as possible the values of IPM and IPA, for a set of 30 different cars


In-car listening tests

Compilation of IPA questionnaire


In-car listening tests

The IPA software


Calculation of the IPA scoreCalculation of the IPA score

IPA is a double-weighted average of the responses to each question of each questionnaire:

j

K

1j

6

1iij,i SwxIPA

xi,j is the response to the question i on the questionnaire j (in the range 1..9),

wi is the weight given to each question, Sj is the weight computed for each

questionnaire.Question weights

w1 = 0.2 w2 = 0.1 w3 = 0.1

w4 = 0.15 w5 = 0.25 w6 = 0.2

Computation of Sj is based on the deviation of the 6th response from the value expected from the first 5.

We first define the unnormalized weights Tj as

And thereafter we obtain the normalized coefficients Sj :

5

1ii

5

1iij,i

j,6j

w

wx

x9T

K

1ss

jj

T

TS


Validation of the IPA testValidation of the IPA test

3 Fiat Punto cars, equipped with different sound , were rated by:A panel #1 constituted of 8 selected subjects chosen among ASK employeesA panel #2 constituted of 23 unselected students of the Engineering FacultyThe comparison of the responses gave these results of the IPA score:

Sound n. Panel #1 (experts) Panel #2 (students)

1 3.1 3.9

2 5.6 5.7

3 7.6 6.9


Some IPA resultsSome IPA resultsN Segment Model year Level Manufacturer IPA front IPA rear

1 B Punto HGT 1999 HI-FI ASK 6.80 5.40

2 B Lancia Y 1998 Standard ASK 5.30 4.90

3 B PG 206 3P 2000 HI-FI ASK 7.47 7.01

4 B Punto 6 lspkr 1999 Standard ASK 6.08 4.64

5 B Opel Corsa 6 Altop 2000 Standard FAITAL 5.47 4.53

1 C Ford Focus 1999 Standard Visteon 6.20 6.14

2 C Fiat 192 5P (prot P135) P135 HI-FI ASK 7.87 7.10

1 D AR 156 PW - HI-FI ASK 7.48 6.72

2 D AR 156 Berlina 1998 Standard ASK 6.47 5.6

3 D AR 156MY 2001 BN - Standard ASK 7.04 6.49

4 D AR 156MY Berlina - Sound ASK 7.86 7.01

5 D AR 156MY Berlina - Sound ASK 7.98 7.63

6 D BMW serie 3 2000 Standard NOKIA 6.28 4.82

7 D Lancia Libra BN 2000 Sound Bose 7.62 7.63

1 E Audi A6 Avant 1998 HI-FI ASK 7.49 nv

2 E Audi A6 Avant 1999 HI-FI Blaukpunt\Nokia 6.00 5.80

3 E Audi A8 1999 Sound Bose 8.03 7.16

4 E Peugeot 406 Coupè 1999 Sound JBL 5.80 6.60

5 E Peugeot 406 Coupè 1999 Sound ASK 7.02 6.43

6 E Alfa Romeo 166 - Sound Nokia 6.00 4.89

1 H Maserati 338 - Sound ASK 7.28 6.66

2 H Maserati 338 - Standard ASK 6.63 5.97

3 H Audi TT 1998 Sound Bose 8.09 nv

4 H Ferrari F360 spyder - Sound ASK 7.51 nv

5 H Ferrari F360 coupè - Sound ASK 8.01 nv


Virtual listening

Listening room


Virtual listening room

Goals:⇨ Fast comparison between different car audio s⇨ Capability of detecting very subtle differences

Reasons:⇨ The tests cannot be done inside cars because of the large

time required for switching and the impossibility to have many cars simultaneously in the lab.

⇨ In-car tests are feasible only in silent conditions (no rolling or engine noise)

Features:⇨ Fast switch between different recordings⇨ Large data base of cars, including unique samples no more

available⇨ The listening room reproduce faithfully the tracks binaurally

recorded in the car and can superpose realistic background noise.


Virtual listening room

Plan of the listening room:

Stereo Dipole Front

Stereo Dipole Rear

Surround loudspeake

rCentral Channel


Audiosource

CLL

CRR

CLR

CRL

Direct path

Cross-talk paths

SR

SL

R

L

+

+

HRR

HRL

HLR

HLL

R

L

Digital Signal Processor

Inverse filters are designed using Kirkeby’s theory and proper software: Adobe Audition and Aurora plug-ins.

Cross-talk cancellation


Automatic collection of questionnaires by software

Virtual listening


Objective Quality Assessment

Goals:

⇨Get “objective” results from listening tests

⇨Rank different sound s in terms of “acoustic quality”

⇨Evaluate the subjective factors affecting the perceived quality

⇨Analyze the relationship between subjective factors and objective parameters

⇨Estimate the subjective performance from objective measurements

⇨Provide a feedback to the design of components/s in order to maximize the perceived quality


Quality assessment - new method

IQSB single-number score of sound quality

⇨ Measurement of impulse response with a dummy head

⇨ Three spectral parameters (based on AQT)

⇨ One spatial parameter (IACC)

⇨ One localization parameter (ITD)

⇨ One distortion parameter (THD)

⇨ One voice presence parameter (energy ratio)

⇨ The total score is a weighted sum of the above objective parameters

⇨ The weighting factors have been obtained in order to align as closely as possible the values IQSB with the results of subjective tests, performed on two sets of 10 different cars


Definition of IQSB

Subjective evaluation parameters:• Intensity of Sound and SPL MAX.• Distortion.• Spectral attributes.• Spatial attributes .• Speech clarity and intelligibility.• Low frequency quality.• Articulation and clarity of sound (Fidelity)

Objective Parameters• Dynamic response of car inside (AQT Method) – target

curve, uniformity• Articulation and energy recovery at low frequency (AQT)• Distortion parameters • Spatial parameters (IACC and localization index)• Speech clarity (STI)


Objective measurements

Measurement :

⇨ Needs a Binaural Dummy Head and a professional soundcard

⇨ The audio is stimulated by a series of test signals stored on a CD

⇨ The measure takes 15 min

⇨ A series of parameters are extracted from this measure

⇨ The post processing takes 15 min

Global Results:

⇨ The correlation between subjective and objective indexes is high (R2 = 0.8)

⇨ This method can evaluate the performance of every type of (including 5.1 ) thanks to spatial parameters

Other interesting Results:

⇨ A distortion parameter able to characterize the performance of the whole mounted in the car was developed based on sweep signal test

⇨ A great correlation with subjective perceived distortion was achieved


1. Scarto Medio STATICOScostamento, nella risposta in frequenza “steady-state”, dalla Curva di Comfort Statica presa come riferimento

Curva Target 1Rilevata su vetture di segmenti B e C

Curva Target 2Rilevata su vetture di segmenti D e E

Analisi delle FRF del DataBase vetture rispetto alle curve

target

Analisi delle FRF del DataBase vetture rispetto alle curve

target

Objective parameters for IQSB


2. Scarto Medio DINAMICOScostamento, nell’overshoot di risposta ai burst, dalla Curva di Comfort Dinamica presa come riferimento

Curve Target Le stesse dello scarto medio STATICO

33 msOvershoot

Input

Output

f

OvershootOgni burst è costituito da una tono puro di durata pari a 200ms, secondo quanto indicato da Zwicker. I toni vengono generati secondo un andamento di tipo logaritmico (Formule di Tramuller e Terdhardt). La misura del picco di overshoot relativo ad ogni burst può essere plottata vs. il valore di frequenza corrispondente



3. Uniformità Spettrale DINAMICAValutazione dell’uniformità spettrale dello scarto dinamicoVengono penalizzate vetture con scarti molto concentrati in specifiche zone in frequenza

200 2.000 20.000

OPERAZIONI EFFETTUATE:

1) Differenza fra:• Scarto medio STATICO alle basse frequenze vs. quello

alle medie frequenze (I)• Scarto medio STATICO alle basse frequenze vs. quello

alle alte frequenze (II)• Scarto medio STATICO alle medie frequenze vs. quello

alle alte frequenze (III)

2) Somma delle differenze di cui sopra

SE la somma delle differenze è BASSA – idealmente pari a zero – significa che gli scarti sono molto simili fra loro BUONA Uniformità Spettrale

SE la somma è ALTA significa che gli scarti sono molto diversi fra una zona in frequenza e l’altra SCARSA Uniformità Spettrale

OPERAZIONI EFFETTUATE:

1) Differenza fra:• Scarto medio STATICO alle basse frequenze vs. quello

alle medie frequenze (I)• Scarto medio STATICO alle basse frequenze vs. quello

alle alte frequenze (II)• Scarto medio STATICO alle medie frequenze vs. quello

alle alte frequenze (III)

2) Somma delle differenze di cui sopra

SE la somma delle differenze è BASSA – idealmente pari a zero – significa che gli scarti sono molto simili fra loro BUONA Uniformità Spettrale

SE la somma è ALTA significa che gli scarti sono molto diversi fra una zona in frequenza e l’altra SCARSA Uniformità Spettrale

(I)(II)

(III)



4.Fattore di MERITO e Indici di BOOM (DINAMICO)Descrivono il comportamento del sistema in bassa frequenza

Fattore di (DE)MERITO:Rapporto fra il picco massimo degli overshoot di risposta ai burst e l’energia sottesa dalla curva nell’intervallo [0-200] Hz

Tanto più è alto tanto più il sistema in esame è “risonante” e disomogeneo. In corrispondenza di risonanze ad elevata energia si hanno tipicamente nella risposta in frequenza picchi evidenti

Indice di RIMBOMBO:Analogo al fattore di merito, ma il rapporto viene fatto sullo scarto DINAMICO dalla curva target anziché direttamente sugli overshoot di risposta


25 32 40 50 63 80 100 125 160 200

-20.00

-15.00

-10.00

-5.00

0.00

5.00

10.00

15.00

20.00

TOYOTA Yaris

ALFA 156sw


5. Indice di FRASTAGLIATURA e Indice di CRESTAIndicatori di IRREGOLARITA’ della curva di risposta in frequenza

Indice di FRASTAGLIATURA:Rapporto – in termini di “zero crossing” – fra la curva in 1/24 di ottava e la corrispondente curva in 1/3 di ottava preventivamente “lisciata”

Tanto più è alto tanto più il sistema in esame è frastagliato ed irregolare nella sua risposta in frequenza – Teoria di David Clark

Indice di CRESTA:Come l’indice di frastagliatura ma vengono tenuti in conto soltanto scostamenti fra la curva in 1/24 e quella in 1/3 superiori a 3 dB

Esempio Alfa 156

Curva in 1/24 di ottavaCurva in 1/3 di ottava (dopo smoothing)

L’alto numero di “zero crossing” indica una risposta in frequenza molto irregolare ed instabile


-20

-15

-10

-5

0

5

10

15

20

21 30 43 61 84 113

152

202

267

351

460

602

786

1025

1332

1733

2253

2927

3802

4936

6407

8312

1078

4

1398

9

1814

6


6. ARTICOLAZIONEIndicatore dei tempi di dissipazione dell’onda acustica in abitacolo

Valore di ARTICOLAZIONE:Misura sull’intero spettro del decadimento energetico della risposta nei 33 ms seguenti la fine del burst. Dopo la fine del burst relativo ad ogni sinusoide riprodotto in abitacolo si contano 33 msec e si misura il livello acustico interno, tale valore viene confrontato con il livello in SPL durante la presenza del burst.

Condizionale:Quando tale valore supera i 20 dB di decadimento, il risultato viene comunque posto a 20 dB (in base alla teoria secondo cui un decadimento superiore non viene percepito – Curve di Zwicker – Il sistema necessita di 33 ms per riacquistare completamente la sua sensibilità in seguito a un Burst di 200ms)

Peso:Viene dato maggior peso all’articolazione in bassa frequenza

33 ms

Articolazione

Input

Output

Un alto livello di Articolazione – ovvero un alto livello in dB di decadimento dell’onda nei 33 ms successivi – è indice di pulizia del suono riprodotto in quanto non dovrebbe esserci interferenza fra il riverbero di un suono ed il suono successivo – NON SI HA EFFETTO DI MASCHERAMENTO ACUSTICO

Un alto livello di Articolazione – ovvero un alto livello in dB di decadimento dell’onda nei 33 ms successivi – è indice di pulizia del suono riprodotto in quanto non dovrebbe esserci interferenza fra il riverbero di un suono ed il suono successivo – NON SI HA EFFETTO DI MASCHERAMENTO ACUSTICO



7. Rapporti Armonici…Indicatori di presenza ed entità di fenomeni di distorsione

t

fComponente non distorta

Distorsione di 3a

armonica

Distorsione di 2a

armonica

Diagramma tempo-frequenza della risposta alla sweepata

Separazione della componente lineare dalle armoniche:

Deconvoluzione del Segnale misurato

rispetto al segnale di test di tipo

sweep logaritmico -> Ricavo la IR

armonica e le IR distorte

Spiegazione:

Nella misura vengono rilevate le

componenti di distorsione del segnale

(segnale a frequenza doppia, tripla,

etc. di quello originale).

La procedura di deconvoluzione della

sweeppata trasforma sia la

componente linearee, sia queste

componenti armoniche, in risposte

all’impulso

Componente non distorta

Distorsione di 2a

armonica

Distorsione di 3a

armonica



8. IMD: distorsione di intermodulazioneIndicatori di presenza di intermodulazioni nelle frequenze medio-alte causate da toni a bassa frequenza. Toni di intermodulazione ad elevata energia provocano MASCHERAMENTO ACUSTICO della portante.

Sia fp la frequenza della portante e f1 la frequenza del tono in bassa frequenza. In caso di intermodulazione si avranno nello spettro dei toni in corrisponsenza delle frequenze “fp-f1” e “fp+f1”

fp fp+f1fp-f1



9. THD+NTotal Harmonic Distorsion + NoiseRapporto, nel segnale di risposta, fra l’energia della portante e l’energia del pettine armonico completo (armoiche pari e dispari). Il segnale di input può essere costituito da:•Burst di Toni puri (6 frequenze caratteristiche per la portante)•Sweppata (portante mobile)

NORMALE: …PESATO: …PESATO NORMALIZZATO: …TOTAL POWER > 5%: si tengono in considerazione i valori di distorsione solo se questi superano il 5% del totale

SWEEPSu tutto lo spettro BURST Alle 6 frequenze caratteristiche



10. Spazialità e Localizzazione

NCC: cross-correlazione fra i microfoni L e R

IACC: massimo di correlazione fra i 2 segnali0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.001

2

3

4

5

6

7

8

9

10

11

12

Correlazione con il segnale “original

measured”

In questo caso i parametri di spazialità e localizzazione vengono correlati con le

condizioni ideali di risposta del manichino in camera anecoica (curva più esterna del

grafico sopra)

CLASSICO: segnale inviato contemporaneamente sui due canali

LR: viene mandato il segnale mono separatamente sui due canali e valutata la coerenza di risposta fra le due orecchie

Tau IACC: istante in cui cade il massimo di IACC (tau = 0 indica un suono di provenienza frontale)

ITD (Interaural Time Difference): misura del ritardo dei tempi di arrivo del fronte dell’onda nei due canali uditivi

ILD (Interaural Level Delay): misura le differenze di livello sui due orecchi da un fronte d’onda costituito da un segnale rotante ricavato dalla HRTF di una dummy-head

WightSpot: dimensione dello spot di cross-correlazione disegnato sul grafico a radar



Final computation of IQSB

Indice IQSB = 2.25347

+ 0.30812 * Fedeltà

+ 0.29467 * Carattere

+ 0.23624 * Bilanciamento

- 0.03757 * Voce

con

Fedeltà = 3.57034

+ 7.35195 * Corr_ITDoriginal_measured (1)

- 0.90615 * Sca_med_CT2_Con_din_Bil_LR (2)

Bilanciamento = 10.79661

- 5.34142 * Ind_rimb_Bil_din_CT2_Nor_LR (3)

- 0.67898 * Sca_med_CT2_Con_din_Bil_LR (4)

- 0.15377 * Unif_med_CT2_con_din_Bil_Both (5)

Carattere = 8.01174

+ 4.221710 * Corr_ITDoriginal_measured (6)

- 15.96017 * IACCclassicostereo (7)

- 94.97403 * THD80_Total_Pesato_Sweep_Norm (8)

Voce = Ener_rel_voce_IR_sta_per_LR (9)


IQSB verification

Verification of the matching between Objective/Subjective indexes (R² = 0.80)

Subjective score (IPA)

Objective score (IQSB)

R2 = 0.87


ConclusionsConclusions

It was necessary to derive new physical descriptors, better It was necessary to derive new physical descriptors, better correlating with the human listening experience inside a correlating with the human listening experience inside a car.car.

Three physical parametrs revealed to be more correlated Three physical parametrs revealed to be more correlated with subjective responses: IACC, STI and AQTwith subjective responses: IACC, STI and AQT

Modern methods have been employed for automated Modern methods have been employed for automated collection of questionnaires, boith inside cars and in a collection of questionnaires, boith inside cars and in a special listening roomspecial listening room

By statisticanal analysis of the responses, it was possible By statisticanal analysis of the responses, it was possible to find good correlation with objective quantities, and to to find good correlation with objective quantities, and to derive a simple mathematical model providing a score base derive a simple mathematical model providing a score base don the measurmeemnt results which stricly matches the don the measurmeemnt results which stricly matches the score obtained by listening tests.score obtained by listening tests.

Sound Quality Assessment IPA and IQSB methods

Documents

Transcript of Sound Quality Assessment IPA and IQSB methods