Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Scalability of domain decompositionmethods

Jaroslav Brož, Jaroslav Kruis

Katedra mechanikyFakulta stavební

Ceské vysoké ucení technické v Praze

Inženýrská mechanika 200812. - 15. kveten 2008, Svratka

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Obsah prezentace

1 Motivace použití metod doménové dekompozice

2 Metoda FETI

3 Implementace predpodmínení do kódu SIFEL

4 Škálovatelnost

5 Numerické experimenty

6 Záver

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Motivace použití metod doménovédekompozice

Velké nároky na výpocetní výkonPoužívání hustých sítí v metode MKPSložité materiálové modelyNárocné numerické simulace

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Úvod do metody FETI

FETI method - Finite Element Tearing andInterconnecting methodUvedena Farhatem a Rouxem v roce 1991 v clánkuA Method of Finite Element Tearing andInterconnecting and its Parallel Solution Algorithmpublikovaném v International Journal for NumericalMethods in Engineering Vol. 32Patrí do skupiny metod doménové dekompozice bezprekryvu

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Úvod do metody FETI

Vychází z delení domény na nekolik podoblastí −→redukce na hrubý problémSpojitost mezi podoblastmi zajišt’uje zavedeníLagrangeových multiplikátoruPro rešení hrubého problému je využita modifikovanámetoda sdružených gradientu

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Algoritmus metody FETI

Inicializace

λ0 = GI

(GT

I GI

)−1e

r0 =(

d − FIλ0)

Iterace k = 1,2, . . .Projekce wk−1 = PT r k−1

Škálování wk−1 = W−1wk−1

Predpodmínení zk−1 = F−1I wk−1

Re-škálování zk−1 = W−1zk−1

Re-projekce yk−1 = PT zk−1

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Algoritmus metody FETI

Sdružené gradienty ζk =yk−1T

wk−1

yk−2T wk−1

(ζ1 = 0

)pk = yk−1 + ζkpk−1

(p1 = y0

)Minimalizace ηk =

pk−1Twk−1

pkT FIpk

Aktualizace λk = λk−1 + ηkpk

r k = r k−1 − ηK FIpk

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Typy predpodmínení

Dirichletovo predpodmínení

F−1ID =

N∑n=1

Bs

(0 00 S(s)

bb

)B(s)T

(1)

S(s)bb = Kbb

(s) − Kib(s)T

Kii(s)−1

Kib(s)

matematicky optimálmívýpocetne nárocné - výpocet Schurových doplnku

Lumped predpodmínení

F−1IL =

N∑n=1

Bs

(0 00 K(s)

bb

)B(s)T

(2)

výpocetne ekonomickézaloženo pouze na násobení matice a vektoru

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Typy predpodmínení

Dirichletovo predpodmínení

F−1ID =

N∑n=1

Bs

(0 00 S(s)

bb

)B(s)T

(1)

S(s)bb = Kbb

(s) − Kib(s)T

Kii(s)−1

Kib(s)

matematicky optimálmívýpocetne nárocné - výpocet Schurových doplnku

Lumped predpodmínení

F−1IL =

N∑n=1

Bs

(0 00 K(s)

bb

)B(s)T

(2)

výpocetne ekonomickézaloženo pouze na násobení matice a vektoru

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Implementace predpodmínení do kódu SIFEL

Otevrený programový balík SIFEL vyvíjen na CVUT,FSv, katedre MechanikyMetoda FETI již byla dríve implementována (bezpredpodmínení)Využita knihovna MPI −→ zajištení meziprocesorovékomunikaceDnes je již provedena implementace lumpedpredpodmínení i Dirichletova predpodmíneníMožnost využití reortogonalizace vektoru smeru v MCG

p(k+1) = y (k+1) −j=k∑j=0

(y (k+1))T Fp(j)

(p(j))T Fp(j) p(j)

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Škalovatelnost

A. Toselli, O. Widlund: Domain Decomposition Methods –Algorithms and Theory. Springer Verlag, Berlin, 2005.

Škálovatelnost - metoda doménové dekompozice ješkálovatelná pokud s rostoucím poctem domén nerostepocet iterací.

κ = O(

1 + logm(

Hh

)), m ≤ 3

Numerická škálovatelnostParalelní škálovatelnost

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Numerické experimenty

1 Jednoduchý príklad ve 2D - sít’ 50x50 elementu najedné podoblasti

2 Jednoduchý príklad ve 2D - sít’ 100x100 elementu najedné podoblasti

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Použité síte

Sít’ 50x50 prvku na jedné podoblasti

Sít’ 100x100 prvku na jedné podoblasti

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Sít’ 50x50 prvku na jedné podoblasti

Pocet Pocet Pocet Pocetpodoblastí uzlu elementu D.O.F.

2 5202 5000 103023 7803 7500 155044 10404 10000 207065 13005 12500 259086 15606 15000 311107 18207 17500 363128 20808 20000 415149 23409 22500 46716

10 26010 25000 51918

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Sít’ 50x50 prvku na jedné podoblasti

Pocet Reortogonalizace Bez reortogonalizacepodoblastí NEP LUMP DIR NEP LUMP DIR

2 30 26 12 37 48 233 35 32 13 37 42 244 40 34 11 36 38 245 39 34 11 36 37 246 41 37 11 40 38 237 40 35 10 38 36 238 45 41 10 40 36 239 42 37 11 36 36 22

10 44 41 10 38 36 22

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Sít’ 50x50 prvku na jedné podoblasti

Bez reortogonalizace

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Sít’ 50x50 prvku na jedné podoblasti

S reortogonalizací

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Sít’ 100x100 prvku na jedné podoblasti

Pocet Pocet Pocet Pocetpodoblastí uzlu elementu D.O.F.

2 20402 20000 406023 30603 30000 610044 40804 40000 814065 51005 50000 101808

Pocet Reortogonalizace Bez reortogonalizacepodoblastí NEP LUMP DIR NEP LUMP DIR

2 26 26 10 31 44 133 40 39 10 41 47 184 42 42 11 45 49 225 49 45 11 47 52 26

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Sít’ 100x100 prvku na jedné podoblasti

Bez reortogonalizace

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Sít’ 100x100 prvku na jedné podoblasti

S reortogonalizací

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Záver

Snížení poctu iterací pri rešení hrubého problémuSnížení doby rešení hrubého problémuDobrá paralelní škálovatelnost škálovatelnost metody

Scalability ofdomain

decompositionmethods

Jaroslav Brož,Jaroslav Kruis

Motivacepoužití metoddoménovédekompozice

Metoda FETI

Implementacepredpod-mínení dokódu SIFEL

Škálovatelnost

Numerickéexperimenty

Záver

Podekování

Dekuji Vám za Vaši pozornost a teším se na Vaše dotazy vnásledující diskuzi.

Tato práce vznikla na základe podpory grantu IGS CVUT scíslem CTU 0805511.