CESKE VYSOKE UCENI TECHNICKE V PRAZEFAKULTA JADERNA A FYZIKALNE INZENYRSKA

VYZKUMNY UKOL

2009 Ondrej Tichy

CESKE VYSOKE UCENI TECHNICKE V PRAZEFAKULTA JADERNA A FYZIKALNE INZENYRSKA

Katedra matematiky

VYZKUMNY UKOL

Konvolucnı parametrizace v analyzescintigrafickych obrazovych sekvencı

(Convolution-based parameterization in analysisof scintigraphic image sequences )

Ondrej Tichy

Skolitel: Ing. Vaclav Smıdl, Ph.D.Konzultant: Prof. MUDr. Martin Samal, DrSc.Akademicky rok: 2008/2009

Cestne prohlasenı

Prohlasuji na tomto mıste, ze jsem predlozenou praci vypracoval samostatne a ze jsem uvedlveskerou pouzitou literaturu.

V Praze dne 4. cervna 2009 . . . . . . . . . . . . . . . . . . . . . . . . . .Jmeno Prıjmenı

Podekovanı

Rad bych na tomto mıste podekoval predevsım svemu skoliteli panu Vaclavu Smıdlovi zavyborne vedenı teto prace, uvedenı do problematiky a za cenne pripomınky a podnety.

Nazev prace:Konvolucnı parametrizace v analyze scintigrafickych obrazovych sekvencıAutor: Ondrej TichyObor: Inzenyrska informatikaDruh prace: Vyzkumny ukolVedoucı prace: Ing. Vaclav Smıdl, Ph.D., Ustav teorie informace a automatizace AV CRKonzultant: Prof. MUDr. Martin Samal, DrSc., Ustav nuklearnı medicıny 1.lf UK v PrazeAbstrakt: Tato prace se zabyva novou parametrizacı v modelu pro faktorovou analyzu obra-zovych sekvencı zıskanych pomocı scintigraficke kamery. Po nezbytnem predstavenı scinti-grafie a Bayesovske teorie ukazuje, jakym zpusobem muze byt obrazova sekvence zpracovana,tzn. nalezeny jednotlive faktory a krivky prutoku kontrastnı tekutiny v nich.

Model zalozeny na faktorove analyze vsak nepopisuje realny biologicky system a nesplnujetak nektera biologicka omezenı. Z fyzikalnıch modelu vyplyva, ze aktivita jednotlivych fak-toru je konvoluce aktivity v krvi s jednotlivymi organy. Proto se dalsı cast prace venujenavrzenı a zabudovanı tohoto predpokladu a nasledne je model vyresen pomocı VB-metody avysledny algoritmus otestovan na synteticky nagenerovanych datech.Klıcova slova: scintigrafie, Bayesovska statistika, nuklearnı medicına, obrazova sekvence,konvolucnı parametrizace

Title: Convolution-based parameterization in analysis of scintigraphic image sequencesAuthor: Ondrej TichyAbstract: This work describes a new parameterization of model for analysis of image se-quences obtained from scintigraphic camera. After the necessary introduction to the areas ofscintigraphy and Bayesian theory, processing of image sequences is discussed. The task is tofind image factors and their time-activity curves.

The model based on factor analysis doesn’t describe real biological system since it doesn’tsatisfy same biological limitations. Physical constraints imply that activities correspondingto a single factor is convolution of activity of blood with convolution core of the underlyingbiological organ. Therefore the extension of the model to convolutional represenattion of theactivity curves is proposed, and estimation of parameters of the new model is solved using theVB-method. The resulting algorithm is tested on synthetically generated data.Key words: scintigraphy, Bayesian statistic, nuclear medicine, image sequence, convolution-based parameterization

Obsah

1 Uvod 1

2 Uvod do scintigrafie 22.1 Radionuklidy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1.1 Zakon rozpadu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.1.2 Statisticky pohled . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.1.3 Vliv pozadı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.1.4 Pozadavky na vlastnosti radionuklidu . . . . . . . . . . . . . . . . . 32.1.5 Nektere pouzıvane radionuklidy . . . . . . . . . . . . . . . . . . . . 3

2.2 Scintigrafie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.2.1 Scintilacnı kamera . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.2.2 Oblasti zajmu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.2.3 Scintigraficke vysetrenı . . . . . . . . . . . . . . . . . . . . . . . . . 62.2.4 Vyhody a nevyhody planarnı scintigrafie . . . . . . . . . . . . . . . 6

3 Bayesovska teorie a aproximace 83.1 Zaklady Bayesovske teorie . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3.1.1 Volba apriornıho rozdelenı . . . . . . . . . . . . . . . . . . . . . . . 93.2 Resenı pomocı aproximace . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.2.1 EM (expectation minimalization) algoritmus . . . . . . . . . . . . . 93.2.2 Laplaceova aproximace . . . . . . . . . . . . . . . . . . . . . . . . . 103.2.3 Markov Chain Monte Carlo (MCMC) aproximace . . . . . . . . . . 103.2.4 Variacnı Bayesova aproximace . . . . . . . . . . . . . . . . . . . . . 11

4 Funkcionalnı analyza obrazovych sekvencı 144.1 Konstrukce modelu pro sekvenci snımku . . . . . . . . . . . . . . . . . . . . 14

4.1.1 Poznamka k maticove dekompozici . . . . . . . . . . . . . . . . . . 164.2 VB metoda pro model (4.1) . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5 Konvolucnı parametrizace ve scintigrafii 215.1 Konstrukce modelu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215.2 VB metoda pro novy model . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

5.2.1 Sestavenı apriorna . . . . . . . . . . . . . . . . . . . . . . . . . . . 225.2.2 Prevody sum na maticove nasobenı . . . . . . . . . . . . . . . . . . 235.2.3 Vypocet logaritmu sdruzeneho rozdelenı . . . . . . . . . . . . . . . 245.2.4 VB-marginaly . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

ii

5.2.5 Identifikace standardnıch forem . . . . . . . . . . . . . . . . . . . . 275.2.6 Formulace VB-momentu . . . . . . . . . . . . . . . . . . . . . . . . 305.2.7 Apriorno . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5.3 Simulace na syntetickych datech . . . . . . . . . . . . . . . . . . . . . . . . 335.3.1 Nagenerovana data . . . . . . . . . . . . . . . . . . . . . . . . . . . 345.3.2 Vysledek experimentu . . . . . . . . . . . . . . . . . . . . . . . . . 35

6 Zaver a moznosti dalsıho pokracovanı 386.1 Hlavnı prınos prace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386.2 Moznosti dalsıho pokracovanı . . . . . . . . . . . . . . . . . . . . . . . . . 38

A Matematicky dodatek 39A.1 Stopa matice, operator vec() a Kroneckeruv soucin . . . . . . . . . . . . . . 39A.2 Vıcerozmerne normalnı rozdelenı . . . . . . . . . . . . . . . . . . . . . . . 40A.3 Maticove normalnı rozdelenı . . . . . . . . . . . . . . . . . . . . . . . . . . 40

A.3.1 Vektorizace v maticovem normalnım rozdelenı . . . . . . . . . . . . 41A.4 Orezane normalnı rozdelenı . . . . . . . . . . . . . . . . . . . . . . . . . . . 41A.5 Gamma rozdelenı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Literatura 42

iii

1 Uvod

Hlavnım ukolem matematiky pri analyze sekvencı snımku, zıskanych v nuklearnı medicınemetodou scintigrafie, je odlisit a urcit jednotlive organy ci jejich casti (faktory) a prubehyprutoku krve v techto faktorech. Existuje nekolik prıstupu, jak tento problem resit, napr.postupy zalozene na metode nejmensıch ctvercu a ML (maximum likelihood) metode, promensı objem dat zıskanych ve scintigrafii vsak nemusı byt tyto metody vzdy vhodne. Moznostodstranit nektere nedostatky nam poskytuje Bayesovska statistika [1], ovsem za cenu citelnenarocnejsıch vypoctu. Analyticke resenı tohoto problemu nenı mozne zıskat ani ve skalarnımprıpade, natoz v maticovem modelu [2], proto jsme nuceni pouzıt napr. aproximaci pomocıVariacnıho Bayesova teoremu, jako je ucineno v teto praci.

Zakladnı prıstup a metodu popsal autor jiz ve sve bakalarske praci [3], proto jsou kapitoly2 az 4 prevzaty predevsım z tohoto materialu. Ukazuje se vsak, ze velkym rusivym vlivempro tento prıstup je vliv sumu vznikleho jednak principem teto metody a dale pak krevnımpozadım. Pokud by se nam podarilo tento sumovy faktor take odhadnout, zıskali bychom tak”cistsı” data pro analyzu a puvodnı metoda by fungovala lepe. Postupem, ktery jsme zvolili, jeparametrizovat jednotlive krivky jako konvoluci dvou jinych krivek, konvoluce aktivity v krvi(spolecne pro vsechny faktory) a pro kazdy faktor specificke monotone klesajıcı nezapornekrivky, coz lepe fyziologicky odpovıda pohybu kontrastnı latky v krvi.

Tato parametrizace je navrhnuta a zabudovana do puvodnıho modelu v kapitole 5. To pocho-pitelne vede k vetsı slozitosti celeho modelu, proto jsou odvozeny metody, jak zachovat struk-turu puvodnıho vypoctu a udrzet, pokud to jde, maticovou formu zapisu. Zaroven s tımtoovsem vyvstava dalsı netrivialnı problem, kterym je urcenı spravneho apriorna, coz je prozatımlimitujıcı faktor.

1

2 Uvod do scintigrafiePokrocile elektronicke systemy v kombinaci s radionuklidy umoznujı znazornit prostoroverozlozenı radioaktivnı latky v tele pacienta [4]. V teto kapitole se zamerıme na diagnostickoumetodu funkce (napr. organu).

Pri vniknutı nekterych latek do organismu dochazı k nahromadenı techto latek na konkretnıchmıstech tkane nebo organu, takze pokud by byla dotycna latka oznackovana radionuklidem,muzeme toho vyuzıt k diagnostice. Merenı probıha typicky na zivem organismu (merenıin vivo) v relativne hluboko ulozenych organech, proto musı dany radionuklid vyzarovatdostatecne tvrde zarenı gamma. Pote lze trırozmernou distribuci radionuklidu v organismutransformovat na dvourozmerny obraz ve stupnıch sedi. Signalem pri vysetrenı je tedy elek-tromagneticke zarenı gamma, ostatnı doprovodna zarenı jsou pro nas nezadoucı.

2.1 RadionuklidyRadionuklidem nazyvame prvek, jehoz atomy majı schopnost se spontalne menit na atomyjinych prvku (radioaktivnı rozpad). Rychlost rozpadu ruznych prvku je ruzna, pro kazdy prvekje vsak konstantnı.

2.1.1 Zakon rozpaduPocet rozpadlych jader za jednotku casu je prımo umerny poctu dosud nerozpadlych jader,tedy:

−dN

dt= λN , (2.1)

kde N je pocet nerozpadlych jader a λ je rozpadova konstanta. Resenım teto rovnice dostanemetvar rozpadoveho zakona jako:

Nt = N0e−λt , (2.2)

kde Nt je pocet zbyvajıcıch (nerozpadlych) jader radionuklidu a N0 je pocet jader radionukliduv case t = 0. Polocasem rozpadu pak oznacıme dobu, za kterou se rozpadne prave polovinajader latky.

2.1.2 Statisticky pohledRozpad radionuklidu je spontalnı dej, ma nahodny charakter. Pocet vyzarenych castic kolısakolem urcite hodnoty a ma urcity rozptyl. Dej je popsan Poissonovym zakonem, pro velky

2

pocet vyzarenych castic (v praxi N > 50) lze od Poissonova rozdelenı prejıt ke Gaussovunormalnımu rozdelenı.

2.1.3 Vliv pozadıPri detekci zarenı z radionuklidu si musıme take uvedomit dalsı vlivy, ktere nase merenı zkres-lujı. Neprıznive ho ovlivnuje naprıklad radiace v merıcı mıstnosti, kosmicke zarenı, stopy ra-dionuklidu na detektoru, okolnı tkan atd. Toho si pri zpracovanı snımku vytvorenych pomocınuklearnı medicıny musıme byt vedomi a neopomenout tuto skutecnost zahrnout do matem-atickeho modelu.

2.1.4 Pozadavky na vlastnosti radionukliduZ uvedeneho je zrejme, ze pouzitelne pro nas ucel budou jen nektere radionuklidy se speci-fickymi vlastnostmi, predevsım:

• Polocas rozpadu musı byt dostatecne dlouhy, aby byla latka aktivnı behem cele dobyvysetrenı, na druhe strane je zbytova radiace po ukoncenı vysetrenı v organismu znacnenezadoucı.

• Emise energie radionuklidu by se mely pohybovat pouze v uzitecnych hodnotach, ob-vykle v rozmezı 60keV az radove jednotky MeV . Jakekoliv jine zarenı si neprejeme,protoze zbytecne zvysuje radiacnı zatez pacienta.

• Organ, ktery chceme vysetrit, by mel selektivne zachycovat nosnou latku s radionukli-dem. Toto zachycenı v zajmove oblasti by melo probehnout co nejrychleji.

• Vzhledem k aplikovanemu mnozstvı musı byt zajistena netoxicnost.

2.1.5 Nektere pouzıvane radionuklidyPrvnım radionuklidem uzitym v klinicke medicıne byl radiojod 131J s polocasem rozpadu 8dnu a energiı γ 364keV . Jeho klıcovy vyznam je predevsım v diagnostice a lecbe stıtne zlazy.

Nejdulezitejsım radionuklidem pro nuklearnı medicınu je technicium 99mTc s polocasemrozpadu 6 hodin a energiı γ 140keV . 99mTc splnuje skoro vsechny zakladnı pozadovane vlast-nosti pro scintigrafii a byl impulzem pro rozvoj nuklearnı medicıny. Dıky kratkemu polocasurozpadu je mozno aplikovat velkou davku radiacnı zateze a zıskat tak kvalitnı snımky. Z 99mTcnavıc vznika 99Tc s polocasem rozpadu ≈ 2 · 105 let, takze jej lze povazovat za prakticky sta-bilnı. Energie zarenı je idealnı pro clonenı kolimatorem i pro detekci a snadno se zıskava veforme aniontu technecistanu 99mTcO−

4 , ktery se dale dobre vaze na biologicke latky.Jako dalsı lze uvest: thalium 201Tl (perfuze myokardu), galium 67Ga (scintigrafie nadoru a

zanetlivych lozisek) a krypton 81mKr (ventilacnı scintigrafie plic).

3

2.2 ScintigrafieScintigrafie1 je popsana v [5] takto: Scintigrafie je fyzikalne-elektronicka metoda zobrazenıdistribuce radioindikatoru v organismu na zaklade zevnı detekce vychazejıcıho zarenı gama.

Do metabolismu ci krevnıho obehu aplikujeme chemickou latku, na ktere je navazan ra-dionuklid (radiofarmakum). Ta se pote rozlozı v organismu podle farmakokinetiky daneho ra-diofarmaka. Jak moc se v danem mıste latka koncentruje, zalezı na mnoha faktorech, predevsımna intenzite metabolickych a funkcnıch deju v organech a tkanıch. Scintigrafii muzeme rozdelitna dva druhy:

• Staticka: danou oblast zajmu sejmeme jednou ci nekolikrat z ruznych uhlu, nezalezıtedy na case.

• Dynamicka: pomocı radioindikatoru sledujeme dej v organismu v case, delame vlastnesekvenci statickych snımku. To nam umoznuje delat matematickou analyzu merenı asledovat funkce organu.

Jeste poznamenejme, ze nas bude v teto praci zajımat predevsım planarnı scintigrafie, tedydvojrozmerne zobrazenı (naproti tomu je tomograficka scintigrafie, kde zıskavame trojrozmernezobrazenı).

2.2.1 Scintilacnı kameraK popisu scintilacnı kamery opet uzijeme [5]: Scintilacnı kamera je prıstroj, ktery snımafotony zarenı γ soucasne z celeho zorneho pole, prevadı je na elektricke impulsy a pomocınich pak na displeji vytvarı scintigraficky obraz distribuce radioindikatoru v tomto zornempoli. Jedna se tedy o znacne slozite zarızenı jak konstrukcı, tak principem. Nasım ukolem nenıscintilacnı kameru dokonale popsat, spıse nam pujde o pochopenı, jak funguje.

Ve vysetrovanem objektu se tedy pohybujı radionuklidy, ktere izotropne vyzarujı zarenı γ.Abychom zachytili castice letıcı pouze v jednom smeru a zıskali tak dvourozmernou projekci,vlozıme zarenı do cesty olovenou desku (nekdy wolframovou) s maticı otvoru. Ta odstınıcastice, ktere nejdou presne ve smeru osy otvoru. Za olovenou maticı je pak velkoplosnyscintilacnı krystal, ktery pri dopadu fotonu vyvola v danem mıste zablesk, ktery je snımam aprevedem na elektricky impulz ve fotonasobici. Pro dalsı zpracovanı je pak dulezita digital-izace scintigrafickych snımku a jejich ulozenı do pameti pocıtace.

2.2.2 Oblasti zajmuJednım ze zakladnıch kroku pri analyze obrazovych sekvencı vzniklych scintigrafiı je defi-novanı tzv. oblastı zajmu (region of interest - ROI). Problem vysvetlıme na prıkladu. Naobrazku 2.1 vidıme snımek dutiny brisnı. My dokazeme pouhym pohledem rozlisit tri zakladnıstruktury, ktere se na obrazku nachazejı, konkretne dve ledviny a v hornı casti srdce. Pocıtacovsem tyto struktury tak snadno nedetekuje, v klinicke praxi jsou proto skoro vzdy urcovanyuzivatelem, tedy doktorem.

1Presneji spıse gamagrafie

4

Obrazek 2.1: Snımek dutiny brisnı

Problem s jakymkoliv defaultnım nastavenım je ilustrovan na obrazcıch 2.2 a 2.3. Okrıdlenetvrzenı, ze ”neexistujı dva stejnı lide” platı i v tomto prıpade. Pokud by slo predpokladat, zerozmıstenı organu bude vzdy stejne, mohli bychom je hledat v urcitych typickych oblastech(viz obr. 2.2). Jak vsak vidıme, v tomto prıpade jsou ledviny rozmısteny jinak a leva ledvinanenı ve sve ROI zahrnuta cela, coz by mohlo vest ke znacne zkreslenym vysledkum. Proto jenutno interakce s lekarem, ktery vyznacı ROI presne dle konkretnıho pacienta (obr. 2.3).

Obrazek 2.2: Zakladnı nastavenı Obrazek 2.3: Konkretnı ROI

Uvedomme si, ze urcovanı ROI je slabym clankem celeho vysetrenı, nebot’ interakce suzivatelem zanası temer vzdy nepresnost. Klasicke motedy zpracovanı vsak ROI vyuzıvajı

5

a jsou tedy do znacne mıry zavisle na i zkusenostech a zrucnosti obsluhy.

2.2.3 Scintigraficke vysetrenıNazornou ukazku, jak scintigrafie probıha, vidıme na obr. 2.4. Ukolem teto prace je se venovatcasti, ktera se zabyva matematickou analyzou obrazovych sekvencı, ktere scintigraficka kam-era produkuje.

Obrazek 2.4: Schema scintigrafickeho vysetrenı (prevzato z [5])

Na obr. 2.5 pak vidıme casovy prubeh vysetrenı pomocı dynamicke scintigrafie.

2.2.4 Vyhody a nevyhody planarnı scintigrafieHlavnı nevyhodou je nedokonale rozlisenı, az o rad horsı nez napr. u CT. Dalsım problemem jesuperpozize organu, kdy dochazı k souctu zarenı ze vsech vrstev a tım muze dojıt ke zkreslenıinformace. Diskutovan jiz byl i sum. Na druhou stranu nam scintigrafie umoznuje zkoumatprocesy, ke kterym dochazı v zivych organismech, ktere nejsou jine diagnosticke technikyschopny rozpoznat. Idealnı je pak hybridnı zobrazenı, ktere kombinuje metodu s vysokymrozlisenım a scintigrafii, takze mame kvalitnı obraz a pritom muzeme zachytit i probıhajıcıprocesy.

6

Obrazek 2.5: Casovych prubeh scintigrafickeho vysetrenı (prevzato z [6])

7

3 Bayesovska teorie a aproximaceV teto kapitole se budeme venovat matematickemu aparatu, ktery pak budeme vyuzıvat vnasledujıcıch kapitolach. Bude se jednat predevsım o casti z teorie pravdepodobnosti, ktere sevztahujı k Bayesovske statistice. Ta nam v nasledujıcıch kapitolach efektivne umoznı zahrnutıinformacı jako:

• expertnı informace

• predpoklad zadne apriornı informace

do matematickeho modelu mnohem snaze, nez pomocı klasicke statistiky.Nejprve rozebereme zaklady Bayesovske statistiky a pote prejdeme k metodam aproximace,

predevsım Bayesovu variacnımu teoremu.

3.1 Zaklady Bayesovske teorieNa zacatku poznamenejme, ze se budeme zabyvat pouze spojitymi a nikoliv diskretnımi hus-totami pravdepodobnotı, ty bychom dostali vymenou integralu za sumy.

Necht’ D jsou namerena data a θ jsou parametry pravdepodobnostnıho modelu s apri-ornım rozdelenım f(θ), θ ∈ Θ, kde Θ je prostor parametru θ, ktere ovsem oproti klasickestatistice budeme povazovat za promenne. Hustotu pravdepodobnosti D podmınenou parame-try θ pak zapıseme jako f(D|θ). Sdruzenou hustotu pravdepodobnosti D a θ urcıme jakof(D, θ) = f(θ,D) = f(D|θ)f(θ). Uvedomme si take, ze f(D) =

∫Θ

f(D|θ)f(θ)dθ. Infor-maci o parametrech θ, kterou muzeme z dat D zıskat, vyjadrıme jako aposteriornı rozdelenıf(θ|D). Tım se dostavame k Bayesovu teoremu, ktery tvar tohoto aposteriornıho rozdelenıurcuje jako:

f(θ|D) =f(θ,D)

f(D)=

f(D|θ)f(θ)∫Θ

f(D|θ)f(θ)dθ. (3.1)

f(D) =∫

Θf(D|θ)f(θ)dθ predstavuje normalizacnı konstantu, Bayesuv teorem pak lze prepsat

jako:

f(θ|D) ∝ f(D|θ)f(θ) , (3.2)

kde symbol ∝ znacı vyraz proporcionalne rovno, tzn. rovno az na konstantu.Vypocet momentu aposteriornıho rozdelenı, tj. predpokladanych hodnot funkcı g(θ), pak

bude vypadat jako:

Ef(θ|D)[g(θ)] =

∫Θ

g(θ)f(θ|D)dθ . (3.3)

8

Pro Ef(θ|D)[g(θ)] budeme uzıvat notaci g(θ), tedy

g(θ) = Ef(θ|D)[g(θ)] . (3.4)

3.1.1 Volba apriornıho rozdelenıDulezitym krokem je vhodna volba apriornıho rozdelenı, protoze to pak zasadnım zpusobemovlivnuje vypocet aposteriornıho rozdelenı. To je diskutovano napr. v [2],[7]. Obecne platı,ze pokud o datech predpokladame, ze nesou velkou mıru informace, volıme vetsinou apri-ornı rozdelenı, ktere nese minimalnı mıru informace, cımz docılıme toho, ze ma maly vliv naaposteriornı rozdelenı. To se tedy rekonstruuje predevsım z dat a my do nej nevnasıme svojepredpoklady, ktere by nemusely byt spravne.

V teto praci budeme pracovat s rozdelenımi, ktera jsou analyticky ”rozumne” resitelna,predevsım konjugovanymi apriorny (napr. [8]).

Definice 1 Rekneme, ze pravdepodobnostnı funkce p je z rodiny exponencialnıch rozdelenı,pokud:

p(xi, yi|θ) = g(θ)f(xi, yi) exp(φ(θ)′u(xi, yi)) , (3.5)

kde φ(θ) je vektor parametru a g(θ) je normalizacnı konstanta. Apriornı parametr je konju-govany k pravdepodobnostnı funkci p, pokud:

p(θ|η, ν) = h(η, ν)g(θ)η exp(g(θ)′ν) , (3.6)

kde η a ν jsou hyperparametry apriorna a h(η, ν) je normalizacnı konstanta.

3.2 Resenı pomocı aproximaceV teto casti se budeme venovat hledanı aposteriornıho rozdelenı (3.1), coz se ukaze pri po-drobnejsı uvaze analyticky obecne prakticky nemozne. Pro jeho vypocet je nutno aplikovatBayesuv teorem, spocıtat normalizacnı konstantu a jeho momenty, coz lze jen pro uzkou trıdurozdelenı. Pouzitı numerickeho resenı by zde pri vyssıch dimenzıch take nebylo prılis idealnı.Jako vhodne resenı tohoto problemu se ukazuje aproximace pomocı vhodne distribuce

f(θ|D) ≈ f(θ|D) , (3.7)

kde pro f jsou vyse uvedene operace zname nebo snadno dopocıtatelne.V nasledujıcıch kapitolach popıseme dulezite metody aproximace.

3.2.1 EM (expectation minimalization) algoritmusTento algoritmus byl publikovan v [9]. My pouzijeme jeho upravenou verzi, dle [10].

9

Nejlepsı aposteriornı odhad (MAP - maximum aposteriory) je definovan jako:

δMAP (θ) = arg maxθ∈Θ

f(θ|D) . (3.8)

Strednı hodnota parametru θ odpovıda δMAP (θ), muzeme tedy psat:

δMAP (θ) = θ =

∫θ∈Θ

θf(θ|D) dθ . (3.9)

Vypocet tohoto integralu ovsem nemusı byt, obzvlaste pro vysoke dimenze, realizovatelny,proto musıme pristoupit k nasledujıcı aproximaci.

Predpokladejme naprıklad, ze parametr θ ma dve dimenze, tedy: θ = [θ1, θ2]. Potom mar-ginalnı rozdelenı θ1 aproximujeme jako f(θ1|D) ≈ f(θ1|D, θ2) , kde θ2 je pevny konkretnıodhad zıskany v predchozım kroku algoritmu. EM-algoritmus pak ma tvar [11]:

E-krok: f (i)(θ1) ≈ f(θ1|D, θ2

(i−1))

M-krok: θ2

(i)= arg max

θ2

∫θ1

f (i)(θ1) ln f(D, θ1, θ2)dθ1 .

3.2.2 Laplaceova aproximaceLaplaceova metoda je uzitecna aproximace v prıpade, ze pravdepodobnostnı funkce f(D|θ)se blızı k vrcholu blızko maxima θ, kde θ je MAP odhad δMAP (θ).

Potom dle [12],[13] ma f(θ|D) tvar normalnıho rozdelenı se strednı hodnotou θ a s kovar-iancnı maticı −H−1, tedy:

f(θ|D) ≈ N(θ,−H−1) , (3.10)

kde H je Hessova matice (napr. [14]) logaritmu f(D|θ)f(θ):

H =∂2 log f(θ|D)

∂θi∂θj

∣∣∣∣θ=bθ

. (3.11)

3.2.3 Markov Chain Monte Carlo (MCMC) aproximaceMCMC je strategie pro generovanı hodnot θ(i), ktere pokryvajı prostor Θ s vyuzitım Markovovaretezce, ktery zajistı, ze retez travı vıce casu v dulezitych oblastech pravdepodobnostnıho pros-toru (viz [15]). Typicke pouzitı je prave pocıtanı vıcerozmernych integralu.

Sekvenci {θ(1), . . . , θ(i)} nazveme Markovovym retezcem, pokud

f(θ(i)|θ(i−1), . . . , θ(1)) = f(θ(i)|θ(i−1)) , (3.12)

tedy pokud n-ty stav zavisı pouze na tom predchozım.Podle principu Monte Carlo pak

IN(g) =1

N

N∑i=1

g(θ(i))a.s.−−−→

N→∞I(g) =

∫Θ

g(θ)f(θ|D) dθ . (3.13)

Vypocetnı narocnost je vsak relativne vysoka, obzvlaste pro vysoke dimenze θ.

10

3.2.4 Variacnı Bayesova aproximaceV teto casti se budeme zabyvat aproximacı pomocı Variacnıho Bayesova teoremu. Teto metodevenujeme vıce prostoru nez ostatnım, protoze ji budeme v nasledujıcıch kapitolach hojnevyuzıvat. Cerpat pritom budeme predevsım z [2], mene pak z [10] a [8].

Nası snahou bude vybrat optimalnı funkci f(θ|D) ∈ F, kde F je prostor pravdepodobnostnıchfunkcı, takovou, aby byla z konjugovaneho systemu funkcı, tzn. f(θ|D) ∈ Fc, a pritom byla conejblıze aposteriornı funkci f(θ|D). Chceme tedy minimalizovat mıru ∆

(f(θ|D)‖f(θ|D)

),

tzn.

f(θ|D) = arg minf∈Fc

∆(f(θ|D)‖f(θ|D)

). (3.14)

Jako idealnı se jevı Kullback–Leibler divergence (KLD) [16], tedy∆(f(θ|D)‖f(θ|D)

)= KLD

(f(θ|D)‖f(θ|D)

), ktera je definovana jako:

KLD(f(θ|D)‖f(θ|D)

)=

∫Θ

f(θ|D) logf(θ|D)

f(θ|D)dθ = Ef(θ|D)

(log

f(θ|D)

f(θ|D)

). (3.15)

KL divergenci pro nase vypocty pomocı Variacnıho Bayese budeme definovat jako:

KLDV B = KLD(f(θ|D)‖f(θ|D)

). (3.16)

Veta 2 (Variacnı Bayesuv teorem) Necht’ f(θ|D) je aposteriornı rozdelenı vıcerozmernehoparametru θ =

[θ′1, θ

′2, . . . , θ

′q

]′. Necht’ dale lze aproximacnı rozdelenı f(θ|D) lze rozepsatjako produkt vzajemne nezavislych rozdelenı pro θ1, θ2, . . . , θq, tzn.:

f(θ|D) = f(θ1, θ2, . . . , θq|D) =

q∏i=1

f(θi|D) . (3.17)

Pak minimum KLDV B , tj. f(θ|D) = arg minf∈Fc

∆(f(θ|D)‖f(θ|D)

), se nabyva pro

f(θi|D) ∝ exp(Ef(θ/i|D)[ln(f(θ, D))]

), (3.18)

kde θ/i znacı komplement θi do θ a f(θ/i|D) =∏q

j=1,j 6=i f(θj|D) . Nazveme f(θ|D) VB–aproximacı a f(θi|D) VB–marginalou.

Algoritmus: (Iteracnı VB (IVB) algoritmus) Tento algoritmus ukazeme pro q = 2, tedyθ = [θ′1, θ

′2]

′, z kontextu bude ale zrejme, ze lze rozsırit pro libovolne q. Cyklicka iteracenasledujıcıch kroku monotonne snizuje KLDV B:

• V n–te iteraci spocıtame VB–marginalu f(θ2|D) podle (3.18):

f [n](θ2|D) ∝ exp

(∫Θ1

f [n−1](θ1|D) ln f(θ1, θ2, D) dθ1

)(3.19)

11

• S vyuzitım predchozıho vysledku spocıtame VB-marginalu f(θ1|D) dle (3.18):

f [n](θ1|D) ∝ exp

(∫Θ2

f [n](θ2|D) ln f(θ1, θ2, D) dθ2

)(3.20)

Inicializacnı hodnoty mohou byt voleny pomerne volne, konvergence algoritmu byla dokazanav [17].

VB metoda

Nynı zformujeme uceleny postup pro aplikaci VB teoremu. Ten se bude skladat z osmi kroku,ktere se pokusıme podrobne popsat.

Krok 1: (Vyber modelu) Nejprve musıme zkonstruovat Bayesovsky model, tzn. sdruzenerozdelenı dat a parametru. Tento krok zahrnuje apriornı predpoklady, jako je volba f(D|θ) aapriornıho rozdelenı f(θ). Predpokladejme nynı, ze marginalnı rozdelenı jednotlivych parametrunelze analyticky nalezt.

Krok 2: (Oddelenı parametru) Musıme zjistit, zda lze jednotlive parametry od sebe oddelit,tedy zda je mozno prirozeny logaritmus sdruzeneho rozdelenı rozepsat jako rozdelenı se sep-arovanymi parametry. Pro q = 2 napr.:

ln f(θ1, θ2, D) = f1(θ1, D)f2(θ2, D) . (3.21)

Lze-li tuto operaci provest, pak rıkame, ze sdruzene rozdelenı f(θ, D) patrı do rodiny funkcıseparovatelnych v parametrech. Zajistit tuto podmınku lze prave vhodnou volbou apriorna,coz jsme jiz diskutovali v kapitole 3.1.1.

Krok 3: (Zapsanı VB-marginal) Vse jsme pripravili na aplikaci VB teoremu, konkretnevzorce (3.18). Tım zıskame VB-marginaly pro θ1, . . . , θq, tedy f(θ1), . . . , f(θq).

Krok 4: (Identifikace standartnıch forem) V tomto kroku je nasım ukolem identifikovattvar VB-marginal jako formu nektereho standartnıho parametrickeho rozdelenı, napr:

f(θi|D) ≡ f(θi|p1, . . . , pki) , (3.22)

kde p1, . . . , pkijsou tvarovacı parametry zmıneneho standartnıho rozdelenı. Tento krok muze

byt pomerne komplikovany a pri nevhodne volbe apriorna i neresitelny. Pak nezbyva nezzvazit, zda jsme zvolili vhodne predpoklady nebo zda cely problem neresit jinou metodou.

Krok 5: (Formulace VB-momentu) Aby byla VB-aproximace kompletnı, zbyva nam jesteformulovat takzvane VB-momenty, coz jsou momenty parametrickych rozdelenı z predchozıhokroku. Typicky jsou to funkce jejich tvarovacıch parametru a pokud jsou parametricka rozdelenıklasicka (znama), lze je vyhledat v tabulkach.

12

Krok 6: (Redukce rovnic) Tento krok nenı v teto praci vyuzıvan a uvadıme ho s ohle-dem na kompletnost vzhledem k [2]. Jeho princip je takovy, ze se snazıme o maximalnızjednodusenı soustavy rovnic vzhledem k pocıtacove narocnosti.

Krok 7: (IVB algoritmus) Pokud se soustava rovnic z kroku 4 a 5 nepodarı vyresit analyt-icky (coz by vedlo k zasadnımu urychlenı vypoctu), pak mame k dispozici IVB algoritmus,ktery podle [17] konverguje ke skutecnym VB-marginalam.

Krok 8: (Vypsanı VB-marginal) IVB algoritmus nam po dokoncenı, tzn. vhodnem zas-tavenı, doda hledana aposteriornı rozdelenı.

Tohoto postupu se budeme drzet i v nasledujıcıch kapitolach.

13

4 Funkcionalnı analyza obrazovychsekvencı

Funkcionalnı analyza je dulezita soucast zpracovanı dat v lekarske diagnostice. Jejım hlavnımprınosem je analyza fyziologickych funkcı. Protoze je k dispozici cela sekvence snımku,muzeme zkoumat chovanı organu v prubehu casu a tım je lepe diagnostikovat. K tomu seobvykle pouzıva kontrastnı latka vyzarujıcı castice, ktere snıma scintigraficka kamera.

Dıky predpokladum:

• snımana tkan se vzhledem ke scintigraficke kamere nehybe

• organy nemenı svuj tvar behem merenı

• zmena objemu kapaliny uvnitr organu je linearne umerna poctu vyzarovanych castic

muzeme namerena data modelovat jako linearnı kombinaci jednotlivych organu (nebo jejichcastı). Nasım zakladnım ukolem je pak zjistit tvar jednotlivych organu a prubeh prutoku kon-trastnı latky v nich (viz obr. 4.1).

V teto kapitole sestrojıme a vyresıme matematicky model, vysledky pak otestujeme nacvicnych datech. Hlavnı inspiracı pri resenı tohoto problemu nam bude predevsım [2].

4.1 Konstrukce modelu pro sekvenci snımkuNasım ukolem bude analyzovat sekvenci n snımku porızenych v case t = 1, ..., n. Kazdyz porızenych obrazku se sklada z p pixelu, vznikne tedy p-dimenzionalnı vektor kazdehosnımku. Protoze mame celkem n snımku, bude mıt matice pozorovanı tvar D ∈ Rp×n.Dale predpokladejme, ze mame r faktoru (organu), ktere chceme detekovat. Kazdy snımek vsekvenci je pak tvoren linearnı kombinacı jednotlivych faktoru. Da se predpokladat, ze pocetfaktoru bude mensı nez pocet snımku a zaroven pocet snımku bude o hodne mensı nez pocetpixelu kazdeho snımku, mame tedy r < n � p.

Fyziologicky model muzeme zapsat ve tvaru:

D = AX ′ + E , (4.1)

kde A ∈ Rp×r, X ∈ Rn×r a E ∈ Rp×n. Schema matic je videt na obr. 4.2.Dale je treba si uvedomit, ze kazdy pixel matice D je pocet dopadu castic na danou cast

scintigraficke kamery, coz znamena, ze matice D je nezaporna. Sloupce matice A interpretu-jeme jako jednotlive organy, proto je i A nezaporna. Je zrejme, ze totez platı i pro matici X ,jejız sloupce reprezentujı krivku kazdeho organu.

14

Obrazek 4.1: Sekvence snımku a jejich analyza (prevzato z [2])

V modelu (4.1) predstavuje matice D pozorovana data, A a X jsou nezname parametrya matice E je matice sumu, kde ei,j jsou i.i.d.1 s neznamym parametrem ω−1 (variance) smaticovym rozdelenım:

f(E|ω) = NE

(0p,n, ω

−1Ip ⊗ In

)(4.2)

Modely 4.1 a 4.2 tak mohou byt zapsany jako:

f(D|A,X, ω) = ND

(AX ′, ω−1Ip ⊗ In

). (4.3)

Dale zvolıme Bayesovky model doplnenım modelu (4.3) o apriornı rozdelenı matic A a Xa skalarnıho parametru ω:

f(A|Υ) = NA

(0p,r, Ip ⊗ Υ−1

), (4.4)

1independent identically distributed . . . ei,j jsou nezavisle a stejne rozdelene

15

Obrazek 4.2: Tvar a symbolika matic (prevzato z [2])

kde

Υ = diag(v), v = [v1, . . . , vr]′

f(v|α0, β0) =r∏

i=1

Gvi(αi,0, βi,0) (4.5)

f(X) = NX (0n,r, In ⊗ Ir) (4.6)f(ω|ϑ0, ρ0) = Gω (ϑ0, ρ0) . (4.7)

α0 a β0 ∈ Rr; Υ ∈ Rr×r je diagonalnı matice s hyperparametry vi, ϑ0 a ρ0 jsou urceneskalarnı parametry. Tım jsme detailne popsali krok 1, tedy vytvorenı modelu, VB metody.

4.1.1 Poznamka k maticove dekompoziciZamysleme se jeste nad dekompozicı datove matice D, zjednodusene bez sumu. Pro nazornostsi nejdrıve vezmeme dekompozici skalarnı. Mejme cıslo d a hledejme jeho rozklad d = a · x.Moznostı, jak tuto rovnost splnit, je pro pevne d a promenne a a x nekonecne mnoho. Obdobnyproblem resıme i pro matici D, ktera muze mıt tvar

D = AX ′ , (4.8)

ale i

D = A(TT−1)X ′ , (4.9)

16

kde matice T je kompatibilnı k A a X ′. Vlozenım jednotkove matice I = TT−1 totiz opetsplnujeme rovnici, ovsem dostavame tak jine tvary organu i krivek, nebot’

D = A(TT−1)X ′ = (AT )(T−1X ′) , (4.10)

takze nove matice

A = AT (4.11)

X ′ = T−1X ′ (4.12)

splnujı rovnost

D = AX ′ . (4.13)

Matici T nazyvame rotacnı maticı. Problem toho typu se objevuje casto a je resen napr. v [18].Zakladnım ukolem je vybrat z nekonecne mnoha jedno nejpravdepodobnejsı rozdelenı, ktereobecne splnuje vsechny pozadovane podmınky. Pro jednorozmerny prıpad viz [2].

4.2 VB metoda pro model (4.1)

Krok 2Spocteme sdruzene rozdelenı (4.3) - (4.7), tzn. f(D, A,X, ω, Υ|α0, β0, ϑ0, ρ0, r), a najdemejeho prirozeny logaritmus:

ln f(D,A, X, ω, Υ|r) =pn

2ln ω − 1

2ωtr ((D − AX ′)(D − AX ′)′) +

+p

2

r∑i=1

ln vi −1

2tr(ΥA′A) − 1

2tr(XX ′)+

+r∑

i=1

(α0 − 1) ln vi +r∑

i=1

β0vi + (ϑ0 − 1) ln ω − ρ0ω + γ , (4.14)

kde γ predstavuje soucet vyrazu, ktere nezavisı na parametrech A,X, ω ani Υ.Tento vyraz nynı splnuje podmınky Bayesova variacnıho teoremu pro θ1 = A, θ2 = X, θ3 =

ω, θ4 = Υ a patrı tedy do rodiny funkcı separovatelnych v parametrech (splnujeln f(θ1, . . . , θq, D) = g1(θ1, D) . . . gq(θq, D)).

17

Krok 3Podle Bayesova variacnıho teoremu (vzorec (3.18)) majı parametry A,X, ω a v nasledujıcıVB-marginaly:

f(A|D, r) ∝ exp

[−1

2ωtr(−2AX ′D′) − 1

2tr(A(ωX ′X)A′)) − 1

2ωtr(AΥA′)

]f(X|D, r) ∝ exp

[−1

2ωtr(−2AX ′D′) − 1

2tr(X(ωA′A)X ′)) − 1

2ωtr(XX ′)

]f(v|D, r) ∝ exp

[r∑

i=1

(p

2+ αi,0 − 1

)ln vi −

r∑i=1

(βi,0 +

1

2(diag(A′A))i

)]

f(ω|D, r) ∝ exp

[(pn

2+ ϑ0 − 1

)ln ω+

− ω

(ρ0 +

1

2tr(DD′ − AX ′D′ − DXA′

)+

1

2tr(A′AX ′X

))]

Krok 4Budeme predpokladat, ze vyse uvedene VB-marginaly majı nasledujıcı tvary:

f(A|D, r) = NA (µA, Ip ⊗ ΣA) (4.15)

f(X|D, r) = NX (µX , Ip ⊗ ΣX) (4.16)

f(v|D, r) =r∏

i=1

Gvi(αi, βi) (4.17)

f(ω|D, r) = Gω (ϑ, ρ) (4.18)

a postupne vyjadrıme tvarovacı parametry µA, ΣA, µX , ΣX , α, β, ϑ a ρ. Pro ilustraci predvedemevypocet pro zıskanı µA a ΣA, pro ostatnı parametry je postup obdobny.

f(A|D, r) = NA (µA, Ip ⊗ ΣA) ∝ exp

(−1

2tr[I−1

p (A − µA)(Σ−1A )′(A − µA)]

)Nynı porovname kvadraticke a linearnı cleny:

A(ωX ′X)A′ + AΥA′ = A(Σ−1A )′A′

−2A′XDω = −µA(Σ−1A )′A′

18

a s vedomım toho, ze ΣA je symetricka matice, snadno vyjadrıme µA a ΣA. Celkove tedydostavame soustavu rovnic:

ΣA =(ωX ′X + Υ

)−1

(4.19)

µA = ωDX(ωX ′X + Υ

)−1

(4.20)

ΣX =(ωA′A + Ir

)−1

(4.21)

µX = ωD′A(ωA′A + Ir

)−1

(4.22)

α = α0 +p

21r,1 (4.23)

β = β0 +1

2diag

(A′A

)(4.24)

ϑ = ϑ0 +np

2(4.25)

ρ = ρ0 +1

2tr(DD′ − AX ′D′ − DXA′

)+

1

2tr(A′AX ′X

)(4.26)

Krok 5Nynı nam jeste zbyva dopocıtat VB-momenty jednotlivych distribucı. K tomu pouzijemevzorce pro maticove normalnı rozdelenı a pro gamma rozdelenı z kapitol A.3 a A.5.

Pomocı techto vzorcu nynı vyjadrıme z (4.15) – (4.18) momenty jako funkce tvarovacıchparametru:

A =µA

A′A =pΣA + µ′AµA

X =µX

X ′X =nΣX + µ′XµX (4.27)

vi =αi

βi

, i = 1, . . . , r

ω =ϑ

ρ(4.28)

Krok 7Dostavame soustavu rovnic (4.19) – (4.28), ktera je ovsem analyticky prakticky neresitelna,obzvlast’ pouzijeme-li pozdeji mısto normalnıho rozdelenı orezane normalnı rozdelenı, u kterehose nam v momentech zacne vyskytovat error funkce. Proto jsme nuceni pristoupit k numer-ickemu resenı pomocı IVB algoritmu:

• nastavıme vhodne inicializacnı hodnoty

a v k-tem kroku iterace spocteme s vyuzitım hodnot z (k − 1)-kroku postupne:

19

• A, A′A, µA, ΣA

• X, X ′X, µX , ΣX

• α, β, ϑ, ρ

• ω, Υ .

Tım zıskavame odhad pro matice A a X.

Krok 8Tento je autorem proveden, demonstrovan na prıkladech a diskutovan jiz v [3].

20

5 Konvolucnı parametrizace vescintigrafii

V teto kapitole se budeme venovat postupu, kterym matici krivek X z predchozı kapitoly ro-zlozıme na konvolucnı jadro a matici klesajıcıch krivek odpovıdajıcıch jednotlivym faktorum.Tımto krokem chceme zıskat moznost lepe pracovat s jednotlivymi krivkami a pokusit se takodhadovat faktor reprezentujıcı krevnı pozadı.

5.1 Konstrukce modeluV clanku [19] je modelovana ledvina jako linearnı, casove invariantnı system, ktery ma navstupu koncentraci radioaktivnı tekutiny jakozto funkci casu, na vystupu pak aktivitu daneledviny, taktez funkci casu. Vstup pak muzeme modelovat jako konvoluci, coz nam umoznıpresneji pracovat s krivkami jednotlivych faktoru.

Mejme tedy opet zakladnı model tvaru D = AX ′, kde A ∈ Rp×r a X ∈ Rn×r. Matici Xzde ovsem rozlozıme dle uvedeneho tvrzenı po slozkach jako

xt,f =t∑

τ=1

bt−τ+1uτ,f (5.1)

a vyznam uτ,f je vyjadren nasledovne:

uτ,f =n∑

φ=τ

wφ,f , (5.2)

coz odpovıda obrazku 5.1. Poznamenejme, ze hodnotu wn dodefinujeme jako wn = un, vesmyslu obrazku. Vektor w zde tedy hraje roli prırustku hodnot ve vektoru u. Vektor b, spolecnypro vsechny faktory, je konvolucnı jadro krivek.

Je-li dt t-ty sloupec matice D, cely model ma pak tvar

dt =r∑

f=1

afxt,f =r∑

f=1

af

t∑τ=1

bt−τ+1uτ,f =

r∑f=1

(af

t∑τ=1

[bt−τ+1

n∑φ=τ

wφ,f

]), (5.3)

kde ai,j, bi, wi,j ∼ tN . Uvedomme si take, ze af je cely sloupec matice A a wi,j = 0.Zavedli jsme tedy oznacenı indexu:

21

Obrazek 5.1: schema provazanosti matice U a W

• f ...index, ktery jde po jednotlivych faktorech,

• t...casovy index,

• τ ...casovy index, ktery jde od 1 do urciteho t,

• φ...index nascıtavajıcı prırustky krivky od n po τ .

5.2 VB metoda pro novy modelV teto kapitole provedeme jednotlive kroky VB metody s ohledem na zmeneny model a zave-denou parametrizaci.

5.2.1 Sestavenı apriorna

f(D|A,X, σ) = N(AX ′, ω−1Ip ⊗ In) (5.4)f(ω) = Gω(ϑ0, ρ0) (5.5)

f(A|Υ) = N(0p,r, Υ−1Ip ⊗ Ir) (5.6)

f(Υ) = GΥ(α0, β0) (5.7)

f(b) = N(0n, Σ(0)b ) (5.8)

f(W ) = N(0n,r, Σ(0)W ⊗ Φ

(0)W ) (5.9)

Skalarnı parametr ω zde ma roli presnosti, obdobne parametr Υ, tyto nam pomahajı udrzetspravnou radovou velikost nasich odhadovanych matic

22

Mısto matice X pouzıvame v modelu vektor b a matici W , pomocı kterych muzeme X

jednoznacne urcit. Jejich kovariancnı matice jsou Σ(0)b a Σ

(0)W ⊗ Φ

(0)W . Tım ovsem menıme i

apriornı kovarianci matice X , cehoz nasledky jsou diskutovany v kapitole 5.2.7.

5.2.2 Prevody sum na maticove nasobenıNejprve budeme chtıt maticove vyjadrit sumu xt,f =

∑tτ=1 bt−τ+1uτ,f , kde t = 1..n. To

muzeme provest dvema zpusoby.

xf =t∈1..n∑τ=1

bt−τ+1uτ,f =

u1,f 0 · · · 0u2,f u1,f · · · 0

... . . . ......

ut,f ut−1,f · · · u1,f

b1

b2...bt

(5.10)

nebo take

xf =t∈1..n∑τ=1

bt−τ+1uτ,f =

b1 0 · · · 0b2 b1 · · · 0...

... . . . ...bt bt−1 · · · b1

u1,f

u2,f...

ut,f

(5.11)

Vektor xf (jednoho faktoru) se da vyjadrit jako:

xf = [x1,f x2,f . . . xn,f ] = U fb = Buf (5.12)

Matice U f tedy vznikla z vektoru uf preskladanım jeho prvku na diagonaly teto matice. f jeindex faktoru, techto matic je tedy r. Obdobne matice B vznikla z vektoru b preskladanımprvku na diagonaly. Je vsak jen jedna, nebot’ i konvolucnı jadro b je jedno pro cely model.

Dale chceme vyjadrit matici U pomocı matice W. Zdurazneme zde rozdıl mezi maticemi U aU f . Matici U f jsme popsali nynı, kdezto matice U = [u1u2 . . . ur], obsahuje tedy vsechny vek-tory uf a tedy existuje jednoznacny prevod mezi maticemi U a W . Ten nalezneme nasledujıcımzpusobem.

u1,f

u2,f...

un,f

=

1 1 . . . 1 10 1 . . . 1 1...

... . . . ......

0 0 . . . 0 1

w1,f

w2,f...

wn,f

(5.13)

Matici

1 . . . 1... . . . ...0 . . . 1

oznacıme jako matici C. Pak tedy xf = Bu:,f = BCw:,f a matici U lze

dokonce vyjadrit jako U = CW .Dıky tomu se nam vsak podarı vyjadrit matici X jako

X = BCW. (5.14)

Tento vysledek nam umoznı nadale pocıtat s maticı X jakozto s celkem, nikoliv pomocı sum,coz povede k prehlednejsım a efektivnejsım zapisum v maticove forme.

23

5.2.3 Vypocet logaritmu sdruzeneho rozdelenıNynı provedeme krok 2 VB metody, totiz vypocet logaritmu sdruzeneho rozdelenıln f(D, ω, A, Υ, b, W ). Nejprve si pripravıme jednotlive distribuce, nasledne zlogaritmujemea secteme.

f(D):

f(D|A,X, ω) = N(AX ′, ω−1Ip ⊗ In) =

= (2π)−pn2 |ω−1Ip|−

n2 |In|−

p2 exp

(−1

2tr [ω(D − AX ′)(D − AX ′)′]

)Potom tedy:

ln f(D|A,X, ω) ∝ pn

2ln ω − 1

2ωtr [DD′ − 2AX ′D′ + AX ′XA′] (5.15)

Vyhodne pro nas bude vyjadrenı AX ′ =∑r

f=1 a:,fx′f . Z tohoto poznatku budou vychazet

dalsı vypocty. Zaroven zavedeme oznacenı, ze a:,f (f-ty sloupec matice A) budeme znacitpouze af .

Potom

AX ′ =r∑

f=1

afx′f =

r∑f=1

af (Ufb)′ =

r∑f=1

af (Buf )′ (5.16)

a

(AX ′)′ = XA′ =r∑

f=1

U fba′f =

r∑f=1

Bufa′f (5.17)

Tım mame vse pripravene k dalsım vypoctum s ln f(D).f(ω):

f(ω) = G(ϑ0, ρ0) ∝ ωϑ0−1e−ωρ0 (5.18)ln f(ω) ∝ (ϑ0 − 1) ln ω − ωρ0 (5.19)

f(A):

f(A|Υ) = N(0p,r, Υ−1Ip ⊗ Ir) (5.20)

ln f(A|Υ) ∝ pr

2ln Υ − 1

2Υtr(AA′) (5.21)

f(Υ):

f(Υ) = GΥ(α0, β0) ∝ Υα0−1e−Υβ0 (5.22)ln f(Υ) ∝ (α0 − 1) ln Υ − Υβ0 (5.23)

24

f(b):

f(b) = N(0n, Σ(0)b ) ∝ exp

(−1

2tr(b′(Σ

(0)b )−1b)

)(5.24)

ln f(b) ∝ −1

2tr(b′(Σ

(0)b )−1b) (5.25)

f(W):

f(W ) = N(0n,r, Σ(0)W ⊗ Φ

(0)W ) ∝ exp

(−1

2tr((Σ

(0)W )−1W (Φ

(0)W )−1W ′)

)(5.26)

ln f(W ) ∝ −1

2tr((Σ

(0)W )−1W (Φ

(0)W )−1W ′) (5.27)

Dohromady tedy:

ln f(D, ω,A, Υ, b, W ) =pn

2ln ω+

−1

2ωtr [DD′ − 2AX ′D′ + AX ′XA′] +

+(ϑ0 − 1) ln ω − ωρ0 +pr

2ln Υ − 1

2Υtr(AA′)+

+(α0 − 1) ln Υ − Υβ0 −1

2tr(b′(Σ

(0)b )−1b) − 1

2tr((Σ

(0)W )−1W (Φ

(0)W )−1W ′) + γ, (5.28)

kde γ predstavuje soucet velicin, ktera nezavisı na parametrech sdruzeneho rozdelenı.

5.2.4 VB-marginalyPodle Bayesova variacnıho teoremu vyjadrıme VB-marginaly, tedy provedeme krok 3 VBmetody. Relativne vagne zde budeme nakladat s vyjadrovanım matice X , resp. clenu, vekterych se X vyskytuje, coz ovsem povede k lepsı prehlednosti. Vzdy ji totiz chceme rozlozitna jine prvky, podle toho, jak se nam to hodı pro pozdejsı vyjadrovanı tvarovacıch parametru.

Vyjadrenı f(b|D) tu je provedeno s predstihem, podrobne je rozebrano v nasledujıcı pod-kapitole.

25

VB-marginaly tedy jsou:

f(A|D) ∝ exp[− 1

2ωtr(−2AX ′D′) − 1

2tr(A(ωX ′X)A′)+

− 1

2Υtr(AA′)

](5.29)

f(b|D) ∝ exp[− 1

2ωtr(−2

r∑i=1

(( n−1∑k=0

∆′kuk+1,i

)D′a:,i

)b′) − 1

2tr(b′(Σ

(0)b )−1b)+

− 1

2ωtr

[b′( r∑

i,j=1

(a′

iaj

n−1∑k,l=0

∆′k∆l

(uk+1,jul+1,i)

))b

]](5.30)

f(W |D) ∝ exp[− 1

2ωtr(−2A′DBCW ) − 1

2ωtr(C ′B′BCWA′AW ′)+

− 1

2tr((Σ

(0)W )−1W (Φ

(0)W )−1W ′)

](5.31)

f(Υ|D) ∝ exp

[(pr

2+ α0 − 1

)ln Υ − Υ

(β0 +

1

2tr(A′A)

)](5.32)

f(ω|D) ∝ exp[ (pn

2+ ϑ0 − 1

)ln ω+

− ω

(ρ0 +

1

2tr(DD′ − 2AX ′D′ + A′AX ′X)

)]. (5.33)

Vyjadrenım marginaly pro b

V teto kapitole zavedeme nasledujıcı oznacenı.

Oznacenı 3 ∆k ∈ Rn×n nazveme matici definovanou nasledovne:

• (∆k)i,j = 1, pokud i − j = k

• (∆k)i,j = 0 jinak.

Lze rıci, ze matice ∆k je tedy jednotkova matice s diagonalou posunutou o k nıze. Pro prıkladuved’me: ∆0 = I a napr. pro n = 5 matice ∆2 vypada nasledovne:

∆2 =

0 0 0 0 00 0 0 0 01 0 0 0 00 1 0 0 00 0 1 0 0

Nasledne muzeme nahlednout, ze ∆i∆j = ∆i+j . Zaroven si uvedomme, ze pokud i+ j = n,

pak ∆i+j=n je nulova matice.

26

Nynı se budeme chtıt dobrat vyjadrenı vyrazu tr(XA′AX ′) tak, abychom v nem byli schopni,po izolovanı b, vyjadrit ostatnı odhady strednıch hodnot. Nedodrzıme zde znacenı faktoru in-dexem f , nebot’ ho potrebujeme pouzıt dvakrat, vyhodnejsı tedy bude pracovat s i a j. Tutostopu jde rozepsat jako

tr

[XA′AX ′

]= tr

[(

r∑i=1

x:,ia:,i′)(

r∑j=1

a:,jx:,j′)

]= tr

[r∑

i,j=1

x:,i(a:,i′a:,j)x:,j

′

]=

= tr

[r∑

i,j=1

(a:,i′a:,j)U

ibb′U j ′]

= tr

[r∑

i,j=1

(a:,i′a:,j)b

′U j ′U ib

]=

= tr

[b′( r∑

i,j=1

a′:,ia:,jU j ′U i

)b

]. (5.34)

Pro uplnost jeste uved’me i:

tr

[AX ′D′

]= tr

[D′AX ′

]= tr

[D′

r∑i=1

a:,ix:,i′

]= tr

[D′

r∑i=1

a:,ib′U i′]

=

= tr

[r∑

i=1

U i′D′a:,ib′

](5.35)

Matice U f lze vyjadrit jako

U f =

1 0 0 . . .0 1 0 . . .0 0 1 . . ....

...... . . .

u1,f +

0 0 0 . . .1 0 0 . . .0 1 0 . . ....

...... . . .

u2,f + . . . =

=n−1∑k=0

∆kuk+1,f (5.36)

Z tohoto poznatku vyjdeme pri rozepisovanı nasledujıcıho:

r∑i,j=1

U j ′U i =r∑

i,j=1

(n−1∑k=0

∆′kuk+1,j

n−1∑l=0

∆lul+1,i

)=

=r∑

i,j=1

(n−1∑k,l=0

∆′k∆l

(uk+1,jul+1,i)

). (5.37)

5.2.5 Identifikace standardnıch foremNynı provedeme krok 4 VB-metody, identifikaci standardnıch forem a vyjadrenı tvarovacıchparametru. Vsechny rovnosti jsou psany s ohledem na to, ze se pohybujeme ve stopach.

27

Zacneme vyjadrovat parametry:

NA(µA, Ip ⊗ ΦA) ∝ exp[− 1

2tr(I−1

p (A − µA)(Φ−1A )′(A − µA)′) (5.38)

NA(µA, Ip ⊗ ΦA) ∝ exp[− 1

2tr(−2ωAX ′D′) − 1

2tr(A(ωX ′X)A′)+

−1

2tr(A(ΥIr)A

′)]

(5.39)

a s vedomım toho, ze ΦA je symetricka matice, muzeme psat:

ΦA = (ωX ′X + ΥIr)−1 (5.40)

µA = ωDX(ωX ′X + ΥIr)−1. (5.41)

Pracujeme zde s odhady matice X , kterou nemame jako zakladnı velicinu. Jejich vyjadrenımise budeme zabyvat v dalsıch kapitolach.

Obdobne budeme postupovat u vektoru b:

Σb = ((Σ(0)b )−1 + ω

r∑i,j=1

(a′

iaj

n−1∑k,l=0

∆′k∆l

(uk+1,jul+1,i)

))−1 (5.42)

µb = ωΣb

r∑i=1

(( n−1∑k=0

∆′kuk+1,i

)D′ai

)(5.43)

Pro tvarovacı parametry Υ a ω trivialne nahledneme, ze platı:

α = α0 +pr

2(5.44)

β = β0 +1

2tr(AA′) (5.45)

ϑ = ϑ0 +pn

2(5.46)

ρ = ρ0 +1

2tr(DD′ − 2AX ′D′ + AA′XX ′) (5.47)

Tvarovacı parametry W

Pro matici W se nam nepodarilo udzet Kroneckerovskou formu zapisu, coz nas nutı k nasledujıcımuvaham. Rozdelıme VB-marginalu f(W |D) na dve casti takto:

f(W |D) ∝ exp[− 1

2ωtr(−2A′DBCW ) − 1

2ωtr(C ′B′BCWA′AW ′)

]×

exp[− 1

2tr((Σ

(0)W )−1W (Φ

(0)W )−1W ′)

](5.48)

Z prvnıho clenu tedy dostavame rovnice:

Σ−1W W (Φ−1

W )′W ′ = (ωC ′B′BC)WA′AW ′ (5.49)

ΣW ⊗ ΦW = (ωC ′B′BC ⊗ (A′A)′)−1, (5.50)

28

coz znamena, ze

ΣW = (ωC ′B′BC)−1 (5.51)

ΦW =((A′A)−1

)′. (5.52)

Pro strednı hodnotu tehoz clenu platı

(Φ−1W )′(µW )′Σ−1

W W = ωA′DBCW (5.53)

(µW )′ = ω(ΦW )′A′DBCΣW (5.54)

µW = ω(ΣW )′C ′B′D′AΦW . (5.55)

VB-marginalu f(W |D) tedy muzeme zapsat jako soucin dvou normalnıch rozdelenı rele-vantnıch k prvnımu, resp. ke druhemu, clenu.

f(W |D) ∝ N(µW , ΣW ⊗ ΦW )N(0n×r, (Σ(0)W )−1 ⊗ (Φ

(0)W )−1) (5.56)

Abychom mohli pokracovat v dalsıch upravach, prejdeme k vektorovemu zapisu teto dis-tribuce:

f(vec(W )|D) ∝ N(vec(µW ), ΦW ⊗ ΣW )N(0n×r, (Φ(0)W )−1 ⊗ (Σ

(0)W )−1)

∝ N(vec(µW ), ((A′A)′ ⊗ ωC ′B′BC)−1)×× N(vec(0n×r), (Φ

(0)W )−1 ⊗ (Σ

(0)W )−1). (5.57)

Slozenım pak dostaneme distribuci tvaru

f(vec(W )|D) ∝ N(µvec(W ), Σvec(W )), (5.58)

jejız tvarovacı parametry vyjadrıme jako:

Σvec(W ) =((A′A)′ ⊗ ωC ′B′BC + (Φ

(0)W )−1 ⊗ (Σ

(0)W )−1

)−1

(5.59)

µvec(W ) = Σvec(W )((A′A)′ ⊗ ωC ′B′BC)vec(ω(ΣW )′C ′B′D′AΦW ). (5.60)

S vyuzitım symetricnosti kovariancnıch matic pak muzeme µvec(W ) upravit nasledovne:

µvec(W ) =((A′A)′ ⊗ ωC ′B′BC + (Φ

(0)W ⊗ Σ

(0)W )−1

)−1

((A′A)′ ⊗ ωC ′B′BC)×

×vec((−2ω)(ωC ′B′BC)−1(C ′B′D′A)((A′A)′)−1

)=

= (−2ω)((A′A)′ ⊗ ωC ′B′BC + (Φ

(0)W ⊗ Σ

(0)W )−1

)−1

((A′A)′ ⊗ ωC ′B′BC)×

×((A′A)−1 ⊗ (ωC ′B′BC)−1

)vec(C ′B′D′A) =

= (−2ω)((A′A)′ ⊗ ωC ′B′BC + (Φ

(0)W ⊗ Σ

(0)W )−1

)−1

((A′A)′ ⊗ ωC ′B′BC)×

×(A′A ⊗ ωC ′B′BC

)−1

vec((A′DBC)′

)= (−2ω)

((A′A)′ ⊗ ωC ′B′BC + (Φ

(0)W ⊗ Σ

(0)W )−1

)−1

vec((A′DBC)′

). (5.61)

29

Nynı tedy jiz muzeme septat odvozene standartnı formy, ktere jsme ve vypoctech identi-fikovali, a zaroven jejich tvarovacı parametry.Standartnı formy:

f(A|D) = NA(µA, Ip ⊗ ΦA) (5.62)

f(b|D) = Nb(µb, Σb) (5.63)

f(vec(W )|D) = Nvec(W )(µvec(W ), Σvec(W )) (5.64)

f(Υ|D) = GΥ(α, β) (5.65)

f(ω|D) = Gω(ϑ, ρ) (5.66)

Tvarovacı parametry:

ΦA = (ωX ′X + ΥIr)−1 (5.67)

µA = ωDX(ωX ′X + ΥIr)−1 (5.68)

Σb = (Σ(0)b + ω

r∑i,j=1

(a′

:,ia:,j

n−1∑k,l=0

∆′k∆l

(uk+1,jul+1,i)

))−1 (5.69)

µb = ωΣb

r∑i=1

(( n−1∑k=0

∆′kuk+1,i

)D′a:,i

)(5.70)

Σvec(W ) =(A′A ⊗ (ωC ′B′BC) + (Φ

(0)W ⊗ Σ

(0)W )−1

)−1

(5.71)

µvec(W ) = ω(A′A ⊗ (ωC ′B′BC) + (Φ

(0)W ⊗ Σ

(0)W )−1

)−1

vec((A′DBC)′

)(5.72)

α = α0 +pr

2(5.73)

β = β0 +1

2tr(A′A) (5.74)

ϑ = ϑ0 +pn

2(5.75)

ρ = ρ0 +1

2tr(DD′ − 2AX ′D′) +

1

2tr(A′AX ′X) (5.76)

5.2.6 Formulace VB-momentuV kroku 5 se zamyslıme nad vyjadrenım pouzıvanych strednıch hodnot. Tento krok budeslozitejsı nez v kapitole 4.2, protoze se nas model sklada z odvozenych velicin, ktere jsoumnohdy kombinovany navzajem.

Momenty pro U

Nasım hlavnım ukolem ted’ bude spocıtat skalary uk+1,i a (uk+1,jul+1,i), pouzite ve vyrazechpro parametry b. Vychazet muzeme z toho, ze matice U je linearnı transformacı matice W

30

(U = CW ), jejız strednı hodnotu i kovariancnı matici zname (ve vektorove podobe). Vıme,ze vec(W ) ∼ N(µvec(W ), Σvec(W )) a zaroven muzeme rozepsat U jako

vec(U) = vec(CW ) = vec(CWIr) = (Ir ⊗ C)vec(W ) (5.77)

Dusledne zde musıme rozlisovat znacenı, totiz ze matice U ∈ Rn×r je matice slozena z vektoruu:,f , kdezto matice U f ∈ Rn×n jsou ctvercove matice prıslusne k jednotlivym u:,f .

vec(U) pak ma rodelenı

vec(U) = N((Ir ⊗ C)µvec(W ), (Ir ⊗ C)Σvec(W )(Ir ⊗ C)′). (5.78)

Oznacme

µvec(U) = (Ir ⊗ C)µvec(W ) (5.79)

Σvec(U) = (Ir ⊗ C)Σvec(W )(Ir ⊗ C)′. (5.80)

Hledane skalary (uk+1,jul+1,i) zıskame z vyrazu

E(vec(U)vec(U)′) = E(

u1,1

u2,1...

un,1

u1,2...

un,2...

un,r

(u1,1 u2,1 . . . un,1 u1,2 . . . un,r

)) =

E(u21,1) E(u1,1u2,1) . . . E(u1,1un,1) E(u1,1u1,2) . . . E(u1,1un,r)

E(u2,1u1,1) E(u22,1) . . . E(u2,1un,1) E(u2,1u1,2) . . . E(u2,1un,r)

...... . . . ...

... . . . ...E(un,1u1,1) E(un,1u2,1) . . . E(u2

n,1) E(un,1u1,2) . . . E(un,1un,r)E(u1,2u1,1) E(u1,2u2,1) . . . E(u1,2un,1) E(u2

1,2) . . . E(u1,2un,r)...

... . . . ...... . . . ...

E(un,ru1,1) E(un,ru2,1) . . . E(un,run,1) E(un,ru1,2) . . . E(u2n,r)

= Σvec(U) + µvec(U)(µvec(U))′, (5.81)

kde Σvec(U) ∈ Rnr×nr a µvec(U) ∈ Rnr×1.Tedy

(uk+1,jul+1,i) = Σvec(U)(j−1)n+(k+1),(i−1)n+(l+1) + µ

vec(U)(j−1)n+(k+1)µ

vec(U)(i−1)n+(l+1). (5.82)

Tım mame vyjadreny vsechny strednı hodnoty kombinacı prvku matice U .Moment uk+1,i vyjadrıme jako

uk+1,i = µvec(U)(i−1)n+(k+1). (5.83)

31

Momenty pro B

Obdobne by bylo dobre si pripravit vyjadrenı pro dalsı vyrazy, ktere pouzıvame. Nynı to budouB a B′B.

Prvnı vyraz vyjadrıme snadno jako

B =n−1∑k=0

∆kbk+1. (5.84)

U strednı hodnoty B′B budeme postupovat obdobne jako v prıpade matic U iU j .

B = ∆0b1 + ∆1b2 + · · · + ∆n−1bn =n−1∑k=0

∆kbk+1 (5.85)

Potom tedy

B′B =

(n−1∑k=0

∆kbk+1

)′(n−1∑l=0

∆lbl+1

)=

n−1∑k,l=0

∆k′∆l

bk+1bl+1. (5.86)

Nynı chceme vyjadrit cleny bibj , ktere zıskame z nasledujıcıho. Je-lib ∼ N(µb, Σb), pak

E(bb′) =

E(b2

1) E(b1b2) . . . E(b1bn)E(b2b1) E(b2

2) . . . E(b2bn)...

... . . . ...E(bnb1) E(bnb2) . . . E(b2

n)

= Σb + µbµb′. (5.87)

Z teto matice pak jiz snadno vybereme kombinaci dvou hledanych prvku:

bk+1bl+1 = (Σb)k+1,l+1 + (µb)k+1(µb)l+1. (5.88)

Momenty pro X

Vyjadrenı odhadu strednı hodnoty X je trivialnı, nebot’ stacı pouzıt vzorec

X = BCW , (5.89)

pricemz clen W zıskame zpetnym poskladanım vyrazu µvecW do matice o prıslusnych rozmerech.Pro strednı hodnotu X ′X vyuzijeme moznost vyjadrit X ′X jako W ′C ′B′BCW . B′B urcit

umıme z predchozıho, tedy

X ′X =

W ′C ′B′BCW. (5.90)

Problem se redukoval na urcenı matice tvaru W ′ZW (kde Z je C ′B′BC), pricemz znameΣvec(W ). Problem budeme resit algoritmicky. Tento algoritmus prochazı jednotlive bloky (n×n) kovariancnı matice Σvec(W ) (nr × nr), vezme jejich stopu a vynasobı ji nası maticı Z. Tımdostaneme hledanou matici (r × r).

32

Ostatnı momenty

Dalsı momenty jsou jiz trivialnı, z kapitol A.3 a A.5 plyne:

A = µA (5.91)

A′A = tr(Ip)ΦA + µA′µA (5.92)

ω =θ

ρ(5.93)

Υ =α

β. (5.94)

5.2.7 ApriornoZamysleme se nynı nad tım, jake apriorno davame na f(X). Protoze f(X) odvozujeme zf(b) a f(W ), nenı zcela trivialnı nahlednout, jake apriornı predpoklady tım vlastne matici Xprisuzujeme.

b i W majı strednı hodnotu 0, tedy bude i strednı hodnota X nulova. Zamerıme se protopouze na varianci X . Jiz z predchozıch uvah vyplyva, ze X = BCW . B (odvozena z vektorub) i W jsou promenne, my vsak budeme pro jednoduchost pocıtat s maticı B jako s maticızafixovanou. Pro zıskanı predstavy o tvaru matice nam to bude stacit. Pak tedy:

vec(X) = vec(BCWIr) = (Ir ⊗ BC)vec(W ) (5.95)

a

vec(X) = N((Ir ⊗ BC)µvec(W ), (Ir ⊗ BC)Σvec(W )(Ir ⊗ BC)′). (5.96)

Hledany vysledek je

Σ(0)vec(X) =

(Ir ⊗ (

n−1∑k=0

∆kb(0)k+1)C

)Σ

(0)vec(W )

(Ir ⊗ (

n−1∑k=0

∆kb(0)k+1)C

)′. (5.97)

Dalsım moznym zdrojem problemu je predpoklad, ze strednı hodnota je nulova u vsechodhadovanych velicin. U jednoducheho modelu metoda i presto konvergovala ke spravnymhodnotam, zde tomu jiz tak pekne nenı.

5.3 Simulace na syntetickych datechKrome nedoresenych problemu s apriornım nastavenım jednotlivych parametru mame modelvyreseny, podıvame se tedy nynı, jakym zpusobem funguje na nagenerovanych datech. Protozejeste nemame k dispozici spravne naladene apriorno, nemuzeme celou metodu demonstrovatobecne na realnem prıpadu, kde nelze udelat nektera zjednodusenı, ktera jsou vsak pro nasprozatım potrebna.

33

5.3.1 Nagenerovana dataNami nagenerovana data vidıme na obrazku 5.2. Muzeme si vsimnout, ze jsme do sekvencedali celkem tri faktory (tedy r = 3), totiz krevnı reciste (srdce a hlavnı zıly), ledviny, kteretvorı dohromady jeden faktor a poslednı strukturou je krevnı pozadı, coz muzeme videt naobrazku 5.3. Protoze nam jde predevsım o odhad krevnıho pozadı, nestarame se tolik o ledvinya davame je do jednoho faktoru. Pokud bychom chteli odhadovat ty, pak bychom zavedli vıcefaktoru a v datech nastavili rozdılne prubehy ledvin, jinak by jejich rozlisenı bylo slozitejsı,napr. [3].

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

2 4 6

2

4

6

Obrazek 5.2: Pouzita sekvence snımku

Modelovat krevnı reciste a krevnı pozadı jako samostatne faktory je prave to, co si prejeme,protoze v prıpade, ze by se nam je povedlo spravne odhadnout, muzeme je od puvodnı sekvenceodecıst a nasledne s nı pracovat jednodussımi metodami.

2 4 6

1

2

3

4

5

6

7

2 4 6

1

2

3

4

5

6

7

2 4 6

1

2

3

4

5

6

7

Obrazek 5.3: Nami nagenerovane faktory

Pro uplnost jeste vykresleme jednotlive nagenerovane prubehy faktoru, viz obrazek 5.4.

34

1 2 3 4 5 6 7 8 9 100

0.2

0.4

0.6

0.8

1

1.2

1.4

Obrazek 5.4: Prubehy nagenerovanych faktoru

Konvolucnı jadro b ma tvar b = exp(-(1:10)/3), jednotlive hodnoty matice U (zjejıchz diferencı lze zıskat snadno matici W ) jsme nastavili jakou1 = [1 0 0 0 0 0 0 0 0 0];u2 = [1 1 0.5 0.2 0.1 0 0 0 0 0];u3 = [0.1 0.1 0.1 0.05 0.05 0.05 0.01 0.01 0.01 0.01];.To lze interpretovat takto: u1 nam predstavuje aplikaci kontrastnı latky do tela a jejı vyraznynarust v krevnım recisti, u2 nastradanı kontrastnı latky v ledvine a nasledne jejı vypustenı au3 krevnı pozadı.

Tım mame testovacı data pripravena a muzeme na nich celou metodu vyzkouset.

5.3.2 Vysledek experimentuNynı provedeme samotny experiment, tedy spustıme celou metodu na vyse nagenerovana data,implementovanou v Matlabu.

Jako startovacı data pouzijeme samotne faktory, ovsem mırne zasumnene. Jako apriorno b aW pouzijeme jednotkove matice, pouze pronasobene vhodnym skalarem. V kapitole 5.2.7 jeodvozeno, co se v takovem prıpade stave s apriornem na X. Jeho kovariancnı matice si neza-chova pouze jednicky na diagonale jako v zakladnım modelu v kapitole 4, coz muze byt jednımz duvodu, proc zatım nelze startovat z nahodnych dat, metoda by totiz nasla nejake resenınami odvozenych rovnic, ne vsak to nami preferovane (viz Poznamka k maticove dekom-pozici kapitoly 4). Na obdobne problemy narazıme pri ladenı pocatecnıch kovariancnıch matic

35

jednotlivych promennych.Ze stejneho duvodu provedeme jeste jedno zjednodusenı, totiz ze zafixujeme jednu odhadovanou

slozku, naprıklad vektor b. Zkousıme tak vlastne ne prımo odhadovat vsechny tri matice zmatice jedne, datove (D), ale pouze dve, jednu povazujeme za znamou a tedy zafixovanou. Vprıpade vektoru b to lze povazovat za relevantnı predpoklad, protoze tuto krivku lze v realnychprıpadech pomerne dobre zıskat napr. pomocı ROI srdce (viz kapitola 2.2.2).

Tımto experimentem tedy predevsım zkousıme spravnost modelu a nasledneho vypoctu.Vysledky pak muzeme videt na obrazcıch 5.5 a 5.6. Metoda tedy nediverguje, ale drzı se

spravne na danych hodnotach, coz je vec, kterou jsme tımto experimentem chteli ukazat.

2 4 6

1

2

3

4

5

6

7

0 5 100

0.2

0.4

0.6

0.8

2 4 6

1

2

3

4

5

6

7

0 5 100

0.5

1

1.5

2 4 6

1

2

3

4

5

6

7

0 5 100.06

0.08

0.1

0.12

0.14

0.16

Obrazek 5.5: Vysledek experimentu

36

1 2 3 4 5 6 7 8 9 100

0.2

0.4

0.6

0.8

1

1.2

1.4

Obrazek 5.6: plna cara: odhadnute prubehy faktoru; carkovana cara: nagenerovane prubehy

37

6 Zaver a moznosti dalsıhopokracovanı

Nasım cılem bylo upravit model zalozeny na faktorove analyze tak, aby lepe popisoval realnybiologicky system. Navrhli jsme proto modelovanı krivek jakozto konvoluci krve a aktivityjednotlivych organu. Pouzitım VB-metody jsme tento model vyresili, pricemz jsme se snaziliudrzet prehlednou maticovou formu celeho problemu. Nasledne jsme cely postup otestovalina syntetickych datech.

6.1 Hlavnı prınos praceHlavnım ukolem bylo navrhnout a prostudovat moznost, jakym zpusobem zadat do zakladnıhomodelu, formulovanem v kapitole 4, informaci konvolucnım slozenı krivek jednotlivych organu.Po uspesnych testech korespondence noveho a zakladnıho modelu jsme provedli resenı po-mocı VB-metody, pricemz se nam povedlo zachovat maticovou podobu rovnic, takze s nimijde pomerne dobre manipulovat. Cely postup jsme pak implementovali v Matlabu a provedliexperiment na syntetickych datech. Na nem jsme ukazali spravnost vypoctu a zaroven to, zemetoda nediverguje. Ladenı apriorna vsak jeste nenı u konce, proto metoda zatım nefungujeplnohodnotne ve sve obecnosti.

6.2 Moznosti dalsıho pokracovanıSmer dalsıho pokracovanı je nasnade. Je nutno naladit spravnym zpusobem apriorno tak,aby odpovıdalo strukture predpokladanych vysledku a metoda tak sama dokazala rozpoznatvsechny cleny noveho modelu.

Dalsım krokem muze byt efektivnı implementace celeho algoritmu, nebot’ uz na maticıch7×7 a pri deseti snımcıch trva vypocet cca 10 sekund. Nasledne by bylo mozne celou metodutestovat na realnych datech a porovnat s realnymi prıpady.

Dalsıho zlepsenı muze byt dosazeno pomocı ROI. Oblast srdce je zpravidla velice dobreodlisitelna a tedy lze konvolucnı jadro b pomerne presne urcit a pracovat s nım na zbytkusnımku.

Temito a dalsımi upravami lze zlepsovat novy model prezentovany v teto praci. Samozrejmestojı za uvahu, zda v urcitych chvılıch nepouzıt jinou aproximaci ci jinou metodu vypoctu, tımse vyhnout nekterym neprıjemnostem a dojıt k lepsım vysledkum. Ukazali jsme vsak, ze tentomodel a pouzita parametrizace majı realnou sanci dobre fungovat a stojı za to se jimi i nadalezabyvat.

38

A Matematicky dodatekNa tomto mıste shrnme zname matematicke vysledky pouzite v teto praci.

A.1 Stopa matice, operator vec() a Kroneckeruvsoucin

Definice 4 Stopou ctvercove matice A ∈ Rn×n rozumıme cıslo

tr(A) :=n∑

i=1

ai,i. (A.1)

Veta 5 Necht’ A ∈ Rn×n a tr(A) je jejı stopa. Pak platı

tr(A) = tr(A′). (A.2)

Veta 6 Necht’ A,B,C,D jsou matice takove, ze vyraz ABCD dava smysl a vysledkem tohotonasobenı je ctvercova matice. Pak platı, ze

tr(ABCD) = tr(BCDA). (A.3)

Definice 7 Necht’ se matice A sklada ze sloupcu a:,1, a:,2, ..., a:,n. Pak

vec(A) =

a:,1

a:,2...

a:,n

. (A.4)

Definice 8 Necht’ matice A ∈ Rn×m a matice B ∈ Rp×r. Pak kroneckerovym soucinem maticA a B rozumıme vyraz

A ⊗ B =

a1,1B . . . a1,mB... . . . ...

an,1B . . . an,mB

. (A.5)

Veta 9 Pro libovolne kompatibilnı matice (ve smyslu uvedenych vzorcu) platı

vec(ABC) = (C ′ ⊗ A)vec(B) (A.6)vec(ABC) = (A ⊗ C ′)vec(B′) (A.7)vec(ABC) = (I ⊗ AB)vec(C) = (C ′B′ ⊗ I)vec(A) (A.8)

tr(A′B) = vec(A)′vec(B). (A.9)

39

Veta 10 Pro Kroneckeruv soucin platı

(A ⊗ B)′ = A′ ⊗ B′ (A.10)(A ⊗ B)−1 = A−1 ⊗ B−1. (A.11)

A.2 Vıcerozmerne normalnı rozdelenıNecht’ je dan vektor x ∈ Rn×1. Vıcerozmerne normalnı rozdelenı vektoru x je pak:

Nx(µx, Σx) =1

(2π)n2 |Σ| 12

exp

(−1

2(x − µx)

′Σ−1x (x − µx)

), (A.12)

kde Σx ∈ Rn×n je kovariancnı matice. Pro momenty pak platı:

x = µx (A.13)

xx′ = Σx + µxµ′x. (A.14)

Dale platı:

f(CX) = N(CµX , CΣXC ′). (A.15)

A.3 Maticove normalnı rozdelenıNecht’ je dana matice X ∈ Rn×p. Maticove normalnı rozdelenı matice X je pak:

NX(µX , Σn ⊗ Φp) = (2π)−np2 |Σn|−

p2 |Φp|−

n2 ×

× exp

(−1

2tr[Σ−1

n (X − µX)(Φ−1p )′(X − µX)′

]), (A.16)

kde Σn ∈ Rn×n a Φp ∈ Rp×p jsou symetricke pozitivne definitnı matice, tr je stopa matice a⊗ je Kroneckeruv soucin. Pro momenty pak platı:

X = µX (A.17)

X ′X = tr(Σn)Φp + µX′µX (A.18)

XX ′ = tr(Φp)Σn + µXµX′ (A.19)

Dale pro C ∈ Rn×n a D ∈ Rp×p platı:

CXD ∼ N(CµXD, CΣnC ′ ⊗ D′ΦpD) (A.20)E(X ′DX) = µ′

XDµX + tr(ΣnD)Φp (A.21)E(XCX ′) = µXCµ′

X + Σntr(CΦp). (A.22)

40

A.3.1 Vektorizace v maticovem normalnım rozdelenıNynı se kratce podıvame na pouzitı operatoru vec() na matici X ∈ Rn×p. Mejme opetX ∼ NX(µX , Σn ⊗ Φp). Pak pro vec(X) platı:

vec(X) ∼ N(vec(µX), Φp ⊗ Σn). (A.23)

Blokova struktura kovariancnı matice vektoru vec(X) pak odpovıda vektoru vec(X) nasledovne:x:,1

x:,2...

x:,p

∼ N(vec(µX),

φ1,1Σn . . . . . . . . .

. . . φ2,2Σn . . . . . ....

... . . . .... . . . . . . . . φp,pΣn

). (A.24)

Poznamenejme, ze tato blokova struktura mizı, pokud se nam nepodarı udrzet Kroneckerovskastruktura kovariancnı matice.

A.4 Orezane normalnı rozdelenıOrezane normalnı rozdelenı budeme definovat pro skalarnı nahodnou promennou x na inter-valu a < x ≤ b nasledovne:

tNx(x|µ, σ, a, b) =

√2 exp((x − µ)2)√

πσ(erf(β) − erf(α))χ(a;b](x), (A.25)

kde α = a−µ√2σ

, β = b−µ√2σ

, χ(a,b](x) je charakteristicka funkce intervalu (a, b].Momenty orezaneho normalnıho rozdelenı jsou:

x = µ −√

σ

√2[exp(−β2) − exp(−α2)]√

π(erf(β) − erf(α))(A.26)

x2 = σ + µx −√

σ

√2[b exp(−β2) − a exp(−α2)]√

π(erf(β) − erf(α)). (A.27)

A.5 Gamma rozdelenıNecht’ je dan nahodny skalar x. Pak definujeme gamma rozdelenı sklaru x jako:

Gx(a, b) =1

Γ(a)

1

b−axa−1e−xb (A.28)

pro x, a, b > 0.Prıslue momenty gamma rozdelenı jsou:

x =a

b(A.29)

x2 =a

b2. (A.30)

41

Literatura[1] Z. Ghahramani and M. Beal, “Variational Inference for Bayesian Mixtures of Factor

Analysers,” Advances in Neural Information Processing Systems 12: Proceedings of the1999 Conference, 2000.

[2] V. Smidl, The Variational Bayes Method in Signal Processing. Springer, 2006.

[3] O. Tichy, “Analyza scintigrafickych obrazovych sekvencı v lekarske diagnostice,” tech.rep., FJFI CVUT, 2008.

[4] A. Drastich, “Zobrazovacı systemy v lekarstvı,” Brno: Edicnı stredisko VUT Brno, 1990.

[5] V. Ullman, “Nuklearni medicina: Radioisotopova scintigrafie.”http://www.sweb.cz/AstroNuklFyzika/Scintigrafie.htm.

[6] M. Samal, “Uvod do studia nuklearnı medicıny.” Vyukove slidy na predmet Nuklearnimedicina, http://unm.lf1.cuni.cz/.

[7] M. Huskova, “Bayesovske metody,” Praha, SPN, 1985.

[8] M. Beal, “Variational Algorithms for Approximate Bayesian Inference,” Unpublisheddoctoral dissertation, University College London, 2003.

[9] A. Dempster, N. Laird, D. Rubin, et al., “Maximum likelihood from incomplete datavia the EM algorithm,” Journal of the Royal Statistical Society, vol. 39, no. 1, pp. 1–38,1977.

[10] V. Smıdl, The Variational Bayes Approach in Signal Processing. PhD thesis, Universityof Dublin, Trinity College, 2004.

[11] R. Neal and G. Hinton, “A view of the EM algorithm that justifies incremental, sparse,and other variants,” Learning in Graphical Models, vol. 89, pp. 355–368, 1998.

[12] R. Kass and A. Raftery, “Bayes Factors.,” Journal of the American Statistical Associa-tion, vol. 90, no. 430, 1995.

[13] T. Minka, A family of algorithms for approximate Bayesian inference. PhD thesis, Mas-sachusetts Institute of Technology, 2001.

[14] T. Minka, “Old and new matrix algebra useful for statistics. notes,” 2000.

[15] C. Andrieu, N. De Freitas, A. Doucet, and M. Jordan, “An Introduction to MCMC forMachine Learning,” Machine Learning, vol. 50, pp. 5–43, 2003.

42

[16] S. Kullback and R. Leibler, “On information and sufficiency,” Annals of MathematicalStatistics, vol. 22, no. 1, pp. 79–86, 1951.

[17] M. Sato, “Online Model Selection Based on the Variational Bayes,” 2001.

[18] M. Samal, M. Karny, M. Surova, E. Marikova, and Z. Dienstbier, “Rotation to simplestructure in factor analysis of dynamic radionuclide studies.,” Physics in Medicine &Biology, vol. 32, no. 3, pp. 371–382, 1987.

[19] A. Kuruc, J. Caldicott, and S. Treves, “Improved Deconvolution Technique for the Cal-culation of Renal Retention Functions.,” COMP. AND BIOMED. RES., vol. 15, no. 1,pp. 46–56, 1982.

43