GÖZBEBEĞİ BÜYÜMESİ VE YÜZ SICAKLIĞI ÖZNİTELİKLERİNİN STRES TESPİTİNDEKİ ROLÜ

ROLE OF PUPIL DILATION AND FACIAL TEMPERATURE FEATURES IN STRESS DETECTION

Serdar Baltacı, Didem Gökçay

Enformatik Enstitüsü Tıp Bilişimi Bölümü Ortadoğu Teknik Üniversitesi

Ankara, TURKEY {e145920, dgokcay}@metu.edu.tr

Özetçe—Bilgisayar kullanıcısının rahatlama

durumundan stres haline değişen duygusal durumunu ölçebilmek için, gözbebeği büyümesi ve yüzdeki periorbital bölgedeki sıcaklık değişimlerinden elde edilen öznitelikler makine öğrenme teknikleriyle işlenmiştir. Sinyal değerlerinden elde edilen öznitelikler ile entropi tabanlı özniteliklerin birlikte kullanılmasıyla duygu sınıflandırmanın doğruluğunun arttığı gözlenmiştir. Çalışmamızda karar ağacı (C4.5) metodu sınıflandırma amacıyla kullanıldığında, nötr duyguya karşı stres durumunun tespitinde en yuksek doğruluk oranı %90’nın üzerindedir.

Anahtar Kelimeler — yüz sıcaklığı değişimleri, gözbebeği büyümesi, stres tespiti

Abstract—In order to differentiate the affective state of

a computer user as it changes from relaxation to stress, features derived from pupil dilation and periorbital temperature are processed with machine learning techniques. When absolute signal values are used together with entropy based features, the accuracy of affective classification is observed to increase. When decision tree (C4.5) is tested for classification, best accuracy of detection of neutral versus aroused states is above 90%.

Keywords — facial temperature changes, pupil dilation, stress detection

1. GİRİŞ

Fizyolojik uyarılma ve stres sırasındaki değişiklikler derinin geçirgenliği [1], termal kamera kaydı [2,3] ve gözbebeğindeki büyüme [4] aracılığıyla ölçülebilmektedir. Bradley’e göre[4], gözbebeğindeki büyüme 2-3 saniye içinde gözlemlenmekte ve pozitif ve negatif duygusal uyarılmalar nötr durumdaki uyarılmalara göre gözbebeğindeki büyümeyi arttırmaktadır. Diğer fizyolojik sinyallerin ölçümleri ile karşılaştırıldığında, gözbebeği boyutunun ölçülmesi avantajlıdır, çünkü kullanıcıya bağlı bir aparat gerektirmez. Gözbebeği ölçümünün diğer bir avantajı ise, gözbebeği büyümesindeki değişimin otonom sinir sistemi (OSS) aktivitesinin istemsiz bir göstergesi olması ve manipulasyonla etkilenmesinin güç olmasıdır [5].

Diğer yandan, kişinin duygu durumu değiştiğinde yüzde bazı bölgelerde kan akışını değişir. Buna bağlı olarak

oluşan sıcaklık değişimi, termal görüntüleme ile de güvenilir bir şekilde tespit edilebilmektedir[6-8]. Termografi, tamamen temassız olması ve görünür ışığa dayalı sistemlerin aksine cilt rengi veya çevre aydınlatma koşullarından etkilenmemesi nedeniyle ilgi çekici bir yöntemdir.

Bu çalışmada, nötr duygulardan heyecan verici negatif duyguları (ör: stres) ayırmak için yeni bir yöntem önerilmektedir. Çalışmamızın bu alana ana katkısı, gözbebeğindeki büyüme ve yüzdeki ısı değişikliklerinin, öznitelik temelli birleştirilmesinde yatmaktadır. Gözbebeği büyümesi ve deri sıcaklığı gibi, biri hızlı ve biri yavaş birbirini tamamlayıcı niteliğe sahip iki fizyolojik sinyal ile daha yüksek duygu ayrımına ulaşılması hedeflenmektedir.

2. SİNYAL TOPLAMA

Bu çalışmada, bilgisayarla etkileşen 9 denekten TOBII TX300 kızılötesi kamera ve FLIR SC620 termal kamerayla sinyaller toplanarak duygusal durum değişikliklerini tespit etmek için analiz yapılmıştır. Gözbebeğindeki büyüme ve yüz sıcaklığı değişimi sırasıyla 60 Hz ve 30 Hz hızında kaydedilmiştir. Gözbebeği verisi toplanması sırasında gerçek zamanlı bakış takibi ve sıcaklık verisi işlemesinde ilgili bölge (region-of-interest-ROI) takibi, tarafımızca geliştirilmiş bir yazılımla yapılmış, kafa sabitleyici kullanılmamıştır. Hızlı veri toplama işlemi için birden çok iş parçacığı oluşturulmuş ve tarafımızca geliştirilmiş .Net uygulaması tarafından deneyler kontrol edilmiştir. MS Visual C# kullanarak yazdığımız uygulama ile veri analizi ve istatistikler gerçekleştirilmiştir. İki bölümden oluşan bir deney uygulanmıştır: İlk bölüm nötr duyguları ölçmek için taban çizgisi olarak sınıflandırılmış, ikinci bölüm stres duygulanımı yaratmak için tasarlanmıştır. Bölüm I ve II’de IAPS (International Affective Picture System) resimleri kullanılmıştır. Bilişsel psikoloji çalışmalarında sıklıkla kullanılan IAPS, Lang, Bradley, ve Cuthbert [9] tarafından geliştirmiştir. IAPS içerisinde yer alan 1196 resim çeşitli yaş grubundaki yetişkinlerce ve çocuklarca duyuşsal değer (affective valence), uyarılmışlık (arousal) ve baskınlık (dominance) olmak üzere üç boyutta derecenlendirilerek belirlenmiştir. Seçilen resimler, gözdeki parlaklık etkisini önlemek için renk yeğinlik değerleri açısından ortalama 96.66/255 (std sapma 0.279) olacak şekilde normalize edilmiştir.

978-1-4799-4874-1/14/$31.00 ©2014 IEEE

1259

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

Bölüm-I: Nötr heyecan ve nötr olumluluk değerine sahip 12 IAPS resmi seçilmiştir 1 . Resimler her uyaran için rastgele 3x3 grid şeklinde birleştirilmiştir. Gridin içerisindeki bazı görüntülerin gelişigüzel yerlerine ok sembolleri yerleştirilmiştir. Her uyaranda 3-6 arasında ok bulunmasına dikkat edilmiştir. Deneklerden, gösterilen uyaran içerisindeki toplam ok sayısını söylemeleri istenmiştir. Deneklere, tahminleri doğru ise "Doğru", doğru değil ise "Yanlış, okların sayısı aslında x kadardı." şeklinde geri bildirim yapılmıştır. Bu bölümde toplam 20 uyaran gösterilmiş, her uyaran 6 sn ekranda kalmış, sonrasında diğer uyaran ekrana gelene kadar 12 sn boş ekran gösterilmiştir.

Bölüm-II: Deneysel prosedür Bölüm-I ile aynı olmakla beraber, gösterilen IAPS resimlerinin heyecan ve olumluluk değerleri, uyaranların içerisine yerleştirilen okların sayısı ve sözlü geri bildirimde farklılıklar bulunmaktadır. Seçilen IAPS resimleri yüksek heyecan ve olumsuz değerlere sahiptir 2 . Uyaranlara eklenen okların sayısı 6-9 arasında rastgele değişmektedir. Deneklerin cevabı sırasında %30 oranında yanıltıcı sözlü geri bildirimde bulunulmuş, ve doğru cevap verildiği halde yanlış olduğu belirtilmiştir. Böylece stres seviyesinin arttırılması amaçlanmıştır. Bu parametre değişiklikleri sonrasında denekteki stresin arttığı gözlenmiş, tüm deneyin bitiminde katılımcılar kendileri de ikinci kısımda zorlandıklarını ve heyecanlandıklarını ifade etmiştir.

Şekil 1: Deney Akışı: gri ekran: 12 sn dinlenme;

uyaran ekranı: 6 sn derlenmiş IAPS resimleri

Deney akışı Şekil 1’de sunulmuştur. Bölüm I ve II arasında, deneklerin duygusal durumunu belirlemek ve onların dinlenmesini sağlamak amacıyla bir kaç dakika süren PANAS testi 3 uygulanmıştır. Bu ölçek, çeşitli duygu ve hisleri

1 Heyecan değerleri: ort=2.77, std=1.896, Olumluluk değerleri: ort=4.949 std=1.185 2 Heyecan değerleri: ort=6.12, std=2.02, Olumluluk değerleri: ort=2.87 std=1.74 3 The Positive and Negative Affect Schedule (PANAS; Watson et al., 1988)

tanımlayan kelimeler içermektedir. Denekler, testte yer alan maddeleri okumakta ve maddelerin yanındaki ilgili seviyeyi seçerek nasıl hissettiklerini belirtmektedirler. Mevcut ruh durumuna göre aykırı denekleri tespit etmek ve dışlamak için yapılan bu uygulama sonrasında tüm denekler çalışmaya uygun bulunmuştur.

3. SİNYAL İŞLEME VE HEYECAN TESPİTİ

Her uyaran için toplanan gözbebeği (60 Hz) ve yüz sıcaklığı (30 Hz) sinyalleri 6 sn’lik resim gösterimi ve sonrasındaki 12 sn’lik dinlenmeyi içerecek şekilde tek bir kayıt olarak birarada derlenmiştir. Kayıtta, gözbebeği verileri sağ ve sol gözden, k=1...K ve K=(6+12)*60 olmak üzere sırasıyla dL=l1, l2,.., lk,.., lK ve dR=r1, r2,.., rk,.., rK olarak toplanmıştır. Sıcaklık verileri periorbital bölgeden, m=1...M and M=(6+12)*30 olmak üzere t=t1, t2,.., tm,.., tM olarak toplanmıştır. Kayıt adedi, her bir bölüm için uyaran adedi (20) kadardır.

3.1. Gözbebeği Verilerinin Ön İşlemesi

Her gözbebeği kaydı için, denek ekran dışına baktığında yada gözünü kırptığında kaybolan veri, Tobii kamerası tarafından eksi bir sayı olarak kaydedilmektedir. Bu kayıpların telafisi için tarafımızca geliştirilen ekstrapolasyon algoritması kullanılmıştır. Sadece tek bir göz için veri kaybı söz konusuysa, diğer gözün gözbebeği verileri interpolasyon için alınmış, iki gözün verisi kayıp ise, kayıp veriden önceki ve sonraki beş verinin ortalamasından doğrusal kestirim yapılmıştır. Daha sonra verilerin değişkenliğini azaltmak için, hareketli ortalama süzgeci[10] kullanılmıştır (Süzgecin pencere boyutu deneysel olarak 20 olarak belirlenmiştir).

Son olarak, her iki göz için sağ ve sol gözbebeği büyüklüklerinin yüksek korelasyonu nedeniyle, tek bir gözbebeği büyüklüğü verisi elde etmek için p1,p2,…,pk,…pK şeklinde sağ ve sol gözbebeğinin ortalaması hesaplanlanmıştır. Bu metodun örnek sonucu Şekil 2’de üst sırada görülebilir (dL:mavi, dR:kırmızı).

Şekil 2: Ön işleme öncesi ve sonrasında

gözbebeği kaydı (üst sıra) ve Termal yüz kaydı (alt sıra)

3.2. Sıcaklık Verilerinin Ön İşlemesi

Her termal kayıt, önceden belirlenmiş bir ROI içinde en yüksek yeğinlikli %10 pikselin ortalama sıcaklığından elde

1260

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

edilmiştir. Deneğin hareket edeceği gözönüne alınarak, deneye başlamadan önce deneğin gözlerinin arasındaki damarları içeren periorbital bölge seçilmiş (Şekil 2), ve deney süresi boyunca şablon eşleştirme algoritmasıyla takip edilmiştir 1 . Deney boyunca, bu karesel alandaki en yüksek %10 yeğinlikli pikseller, her örneklem için otomatik olarak seçilerek kaydedilmiştir [2]. Ayrıca bu kısmın yeğinlik değerlerinin ortalaması alınıp (tm) daha sonra öznitelik çıkarımında kullanılmak üzere zaman serisi olarak saklanmıştır. Büyük hareketlerin yaşandığı bazı nadir durumlarda takip işlemi başarısız olduğundan kayıt alınamamış ve buna çözün olarak kayıp verileri kurtarmak için interpolasyon yapılmıştır. Basit Hareketli Ortanca (Simple Moving Median - SMM) süzgeç, parazit giderme için elverişli bulunmuştur (süzgeç için pencere boyutu 10 seçilmiştir).

Aykırı değerleri atmak için medyan ile standart aykırı değer ayıklama algoritması (Grubb’s testi [11]) kullanılmıştır. Özellikle termal sinyaller toplanırken, termal takip sistemi, deneğin hareketlerinden etkilenebilmekte ve interpolasyon yeterli olamayabilmektedir. İstenmeyen bu verilerin hariç tutulması, daha sonraki sınıflandırma aşaması için önemlidir. Kaydedilen termal veriler ve gözbebeği verilerinde eksik değerler %30’dan daha fazla olduğu durumda ilgili kayıt tamamen yok sayılmıştır.

3.3. Öznitelik Çıkarımı Denekler arasında sinyal değişkenliğinden

kurtulmak amacıyla öznitelik belirlemeden önce, tüm veriler normalize edilmiştir. Bütün kayıtlarda ilk sinyal örnekleminin sıfır değerinden başlamasını sağlayacak şekilde her kayıttaki sinyal değerleri kaydırılmıştır.

Her kayıtta, gözbebeği büyümesinin ve termal sinyallerin entropi tabanlı temsilini oluşturmak için W genişliğinde bir pencerede Shannon Entropi değerleri, gözbebeği (pk) ve termal veri örnekleri (tm) üzerinde kayarak ilerleyen iki ayrı pencerede hesaplanmıştır[12]. Sinyalin tümünün genliği öncelikle N tane genlik seviyesine bölümlendirilmiş, W penceresinde j kaydırma aralığı olmak üzere, her bir pencere için Shannon entropi değeri şu şekilde hesaplanmıştır (Cover ve Thomas [11])

)(log2

1n

N

nnj ssH ∑

=

−=

Burada j değeri 1,…,J şeklinde tüm kayıt boyunca bir dizindir ve sn, W penceresinde bölümlendirilmiş her bir sinyal seviyesinin (n) olasılık değeridir. J değeri, örnekleme oranları farklı olduğundan2, gözbebeği ve termal kayıtları için farklıdır.

Zaman ekseninde W genişliğindeki bu pencere, stres ve nötr durumu birlikte içeren sinyaller arasında geçişi yansıtabiliyorsa, pencere içinde hesaplanan entropi değeri yüksek olacaktır. Buna karşılık, pencere yalnızca stres ya da yalnızca nötr sinyaller içeren bir bölgeye konumlandırılırsa, bu pencerede entropi değeri düşük olacaktır. Kuşkusuz, pencere büyüklüğü seçimi duygu tespiti için önemlidir. W değeri sinyalin özelliğine ve füzyolojik tepkiye göre değişebilmektedir. 10 ile 500 zaman noktası arasında değişen W değerleri denenmiş olup, termal için W=30, gözbebeği için W=170 değerlerinin en iyi ayrımı sağladığı gözlenmiştir. 1 Şablon eşleştirme yöntemi için Kemal Doğuş Türkay’a teşekkür ederiz. 2 Gözbebeği kayıdı için J, W uzunluğunun K’den farkıdır. Termal kayıt için J, W uzunluğunun M’den farkıdır.

Her kayıttan elde edilen verilerle ortalama, en az, en çok, medyan ve standart sapma değerleri üretilerek, bu değerler öznitelik olarak kullanılmıştır. Bu öznitelikler, hem veri ön işlemeden sonra oluşturulan gerçek sinyaller için hem de entropi bazlı sinyaller için (Hj) ayrı ayrı hesaplandığından, 10 bileşenli bir öznitelik vektörü elde edilmiştir.

3.4. Heyecan Tespiti

Bölüm I’e karşı Bölüm II kayıtlarının sınıflandırılması için, Accord.NET yazılımının 3 parçası olan C4.5 Karar Ağacı yöntemi kullanılmıştır. Karar ağaçları, basit şartlı kuralları kullanarak girdileri hedef değerlerle eşleştiren öngörü modelleridir. Karar ağacı öğrenmedeki en önemli ve klasik örnek, ID3 (Quinlan, 1986) ve C4.5 (Quinlan, 1993) algoritmalarıdır. C4.5, verileri bilgi kazancına (information gain - IG) göre bölerek veri kümesinden karar ağacı oluşturur. Eğitim seti içinde en yüksek IG’ye göre ağaç tekrarlanarak bölünür ve elde edilen karar ağacı daha sonra sınıflandırma için kullanılır[13]. Karar Ağacı, öznitelikler arası etkileşimin anlaşılması ve yönetimi bakımından avatajlar sağlaması nedeniyle tercih edilmiştir.

4. DENEY SONUÇLARI VE DEĞERLENDİRME

Bölüm 1 de %10 oranında, bölüm 2 de %8 oranında kayıt, aykırı değer olarak atılmıştır. Her katılımcının Bölüm I ve II verileri için ön işleme yapılarak, bölümlere ait veriler, sınıf 1 (nötr) veya sınıf 2 (stres) olarak etiketlenmiştir. Sınıflandırıcının, daha doğru ve gerçekçi bir değerlendirmesinin yapılabilmesi için, 10-kat çapraz doğrulama yöntemi [14] kullanılmıştır. Çapraz doğrulama yapılırken objektif olunması açısından deneklerin özdeşliği göz önüne alınmamıştır. Veri ilk olarak 10 eşit alt kümeye bölündükten sonra, alt kümelerden dokuz alt küme üzerinde eğitim yapılıp kalan veri test olarak kullanımıştır. Bu işlem her bir alt küme test için kullanılana kadar tekrar edilmiştir. Sınıflandırıcının genel doğruluk değeri, yapılan 10 sınıflandırma üzerinden elde edilen ortalama ile hesaplanmıştır. Sınıflandırma sonuçları, sırası ile gözbebeği sinyal değerleri, termal sinyal değerleri ve her ikisinin birleştirilmesi ile elde edilen değerler üzerinden Tablo 1'de sunulmuştur. Tablo 1’de gösterilen sınıflandırmanın sonuçlarına göre, gözbebeği ve termal sinyaller birleştirildiğinde en iyi başarım %98 oranında olmuştur.

Tablo 1: Gerçek ve entropi veri sınıflandırma sonuçları VERİ Doğruluk (%)

pk 66.7 ± 4.1 tm 81.6 ± 2.0 pk ve tm 91.2 ± 7.4

En iyi sonucun elde edildiği Karar Destek Agaç yapısı Şekil 3’de gösterilmektedir. Agacın kök kısmında gerçek gözbebeği en küçük özniteliği yer almaktadır.

3Web adresi: http://code.google.com/p/accord

1261

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

Şekil 3: Karar Ağacı Sonucu

(P_:Gözbebeği,T_:Termal,G_:Gerçek Sinyal verisi, E_:Entropi Verisi, Bölüm1:-1, Bölüm2:1 )

Literatürde, göz bebeği boyutu yada yüzdeki sıcaklık

sinyallerinin ayrı ayrı kullanıldığı durumlarda heyecan ya da stres tespitinde başarı oranının az olduğu görülmektedir. Sadece göz bebeği ölçümü yapan Peng Ren’e göre [15], bilgisayar kullancısının "rahatlama" durumu "stres" durumuna karşı % 83.03 doğrulukla ayırt edilebilmektedir. Bu ekibin çalışmasında, gerçek zamanlı göz bebeği analizi yerine, Kalman filtrelemesi, Wavelet görüntü giderme ve Walsh dönüşümü gibi bir kaç ön işlem offline olarak uygulanmıştır. Bir başka çalışmada [16], yüzün termal video görüntüleri kullanılmış, IAPS görüntülerinin izlenmesi sırasında katılımcıda oluşan duygusal durumun ancak %70 ve %80 arasında bir doğrulukla nötr durumdan ayırt edilebildiği bulunmuştur.

Bu yöntemlerle kendi çalışmamızı karşılaştıracak olursak, eğitim bir kez çevrimdışı olarak tamamlandıktan sonra, veriyi gerçek zamanlı sınıflandırma1 avantajı sayesinde yüksek sınıflandırma başarımı elde edilebilecektir.

5. SONUÇ Burada önerilen yöntemin stres tespitinde işe

yarayacak önemli bir özelliği, yavaş ve hızlı yükselip alçalan tüm fizyolojik sinyallerde kullanılabilmesi ve bu sinyalleri başarıyla birleştirebilmesidir. Nötr ve stres durumlarında bazen sinyalin tepe noktasından ziyade fizyolojik profili değişmekte, bu durumlarda entropiden edinilen öznitelikler fayda sağlanmaktadır. Karar ağacında sinyal ve entropi tabanlı özniteliklerin beraber kullanılmasıyla, sınıflandırmadaki doğruluk % 90’ın üzerine çıkmıştır.

6. KAYNAKÇA [1] Lang, P.J., et al., Looking at pictures: Affective, facial, visceral,

and behavioral reactions. Psychophysiology, 1993. 30(3): p. 261-273.

[2] Pavlidis, I., et al., Interacting with human physiology. Computer Vision and Image Understanding, 2007. 108(1): p. 150-170.

[3] Pavlidis, I. Continuous physiological monitoring. in Engineering in Medicine and Biology Society, 2003. Proceedings of the 25th Annual International Conference of the IEEE. 2003. IEEE.

[4] Bradley, M.M., et al., The pupil as a measure of emotional arousal and autonomic activation. Psychophysiology, 2008. 45(4): p. 602-607.

[5] T. Partala, V.S., Pupil Size Variation as an Indication of Affective Processing. Int’l J. Human-Computer Studies, 2003. 59: p. 185-198,.

[6] Shastri, D., et al., Imaging facial signs of neurophysiological responses. Biomedical Engineering, IEEE Transactions on, 2009. 56(2): p. 477-484.

[7] Yun, C., et al. O'game, can you feel my frustration?: improving user's gaming experience via stresscam. in Proceedings of the 27th international conference on Human factors in computing systems. 2009. ACM.

[8] Gane, L., et al., Thermal Imaging of the Periorbital Regions during the Presentation of an Auditory Startle Stimulus. PloS one, 2011. 6(11): p. e27268.

[9] Lang, P.J., M.M. Bradley, and B.N. Cuthbert, International affective picture system (IAPS): Technical manual and affective ratings, 1999, Gainesville, FL: The Center for Research in Psychophysiology, University of Florida.

[10] Witten, I.H. and E. Frank, Data Mining: Practical machine learning tools and techniques2005: Morgan Kaufmann.

[11] Cover, T.M. and J.A. Thomas, Elements of information theory, 1991, Wiley New York.

[12] De Araujo, D., et al., Shannon entropy applied to the analysis of event-related fMRI time series. NeuroImage, 2003. 20(1): p. 311-317.

[13] Quinlan, J.R., Improved use of continuous attributes in C4. 5. arXiv preprint cs/9603103, 1996.

[14] Efron, B. and R. Tibshirani, An introduction to the bootstrap. Vol. 57. 1993: CRC press.

[15] Ren, P., et al., Affective Assessment by Digital Processing of the Pupil Diameter. Affective Computing, IEEE Transactions on , vol.4, no.1, pp.2,14, Jan.-March 2013

[16] Nhan, B.R. and T. Chau, Classifying affective states using thermal infrared imaging of the human face. Biomedical Engineering, IEEE Transactions on, 2010. 57(4): p. 979-987.

1 Gerçek zamanlı işlemler, bazen veri toplama işlemeni etkileyebilmektedir. Bu nedenle iş parçacığı yönetimi optimize edilmelidir.

1262

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)