Authors: Jadna M. S. Mendes - COPPE/UFRJ Sérgio B. Paixão ...
Prov-Vis: Large-Scale Scientific Data Visualization using...
Transcript of Prov-Vis: Large-Scale Scientific Data Visualization using...
• Go#fast#to#the#results#you#need#to#analyze#! Naviga&on)over)data)results)(par&al))added)by)provenance)(log))! Filter)results)and)stage)out)only)the)data)you)need)to)analyze)! Interact)with)a)web<based)user)interface)
• Export#and#analyze#par4al#results#to#take#decisions#! Efficient)data)consolida&on)and)data)staging)features)to)aggregate)
and)stage)out)only)relevant)informa&on)! Use)sta&s&cal)and)visualiza&on)tools)empowered))
by)provenance)data)! Draw)preliminary)conclusions)
Visualiza4on#and#User:Steering#
))
Introduc4on#
References)
• Large:Scale#Experiments#Scenario#! Black#Box#execu4on#
" Use)of)different)computer)programs)and)scripts)" Data)heterogeneity)and)granularity)" Hard)to)follow)the)execu&on)
! Hard#to#visualize#par4al#results#" A)lot)of)informa&on)to)be)filtered)" Traceability)of)which)input)produces)each)output)" Some)results)may)not)be)useful)" Data)and)meta<data)associa&on))
" Fragmented)Data)" Relevance)of)data)" Each)analysis)may)focus)on)a)subset)of)the)obtained)outputs)
" Laborious)data)transfers)• Scien4fic#Workflows#
! Improves)experiment)management)! May)provide)data)uniformity)! Provenance)Data)
• Provenance#is#a#key#feature#! Keeps)track)of)everything)that)happens)during)
experiment)execu&on)! A)log)that)can)be)queried)! Allows)for)high<level)and)domain<specific)queries)
" What)are)the)maximum)values)for)velocity)and)pressure)on)a)given)CFD)simula&on?)
! A#powerful#associa4on:#Experiment#meta:data#with#strategic#experimental#results#" Run&me)analysis)" Good)for)&me<consuming)experiments))
! User:steering#for#convergence#analysis ##" User)interacts)with)data)of)interest)at)run&me)" Interfere)in)the)workflow)execu&on)to)adjust)
Large:Scale#Scien4fic#Data#Visualiza4on#using#Provenance#
• Visualizes#experiment#data#through#the#workflow#! Displays)provenance)data)for)informa&on)browsing)! Provenance)data)collected)by)Chiron#[8])or)SciCumulus#[9]#
workflow)engines)• Allows#for#selec4ons#and#filtering#over#provenance#data#
! Let)scien&sts)select)just)the)results)that)interest)them)• Nest#output#files#to#visualize#fragmented#data#formats#
! PuWng)tags)on)result)files)enables)selec&ve)data)staging)for)data)formats)that)store)informa&on)across)separate)files)but)need)them)together)during)visualiza&on.)
! The)scien&sts)can)specify)ac&ons)to)visualize)data)with)specific)tags)" The)ac&on)can)be)programs)or)scripts)defined)by)the)scien&sts)" Scien&sts)can)choose)to)run)the)ac&on)on)server)side)or)client)side)
• Stage:out#only#the#data#the#scien4sts#selected#• Display)the)results)locally)or)on)a)display)technologies)
! Integra&on)with)&led)wall)displays)technologies)! Currently)implemented)to)use)TACC)DisplayCluster)! Can)be)extended)to)other)plaYorms)such)as)CGLX)or)SAGE)! Integra&on)with)Paraview)
• Monitor#and#Analyze#workflow#execu4on#! Be)aware)of)the)current)workflow)status)! Iden&fy)and)solve)problems)during)execu&on)! Recover)from)failures)and)mistakes)! Reduce)&me)spent)in)processing)low<quality)data)! Cut)execu&on)&me)and)reduce)financial)costs)
" Stage)data)out)can)be)costly!)" Remote)clusters)" Cloud)environments)
• Use#high:resolu4on#display#environments##! Visualize)mul&ple)results)to)establish)comparisons)
" On)parameters)explora&on)scenarios)! Analyze)highly)detailed)images)and)simula&ons))! Can)take)advantage)of)available)&led)display)technologies))
such)as)TACC)DisplayCluster)[1],)SAGE)[2],)CGLX)[3],)and)Paraview)[4])
Felipe Horta, Jonas Dias, Renato Elias, Daniel de Oliveira, Alvaro Coutinho and Marta Mattoso
COPPE, Federal University of Rio de Janeiro, Brazil Fluminense Federal University, Brazil
Prov-Vis: Large-Scale Scientific Data Visualization using Provenance
• VisTrails#
! Strong)support)for)visualiza&on)&)provenance)! Visualiza&on)on)&led)wall)displays)! No)HPC)support)integrated)to)visualize)data)
directly))from)clusters)or)clouds)• SwiS/Turbine#[10]#or#Pegasus#[11]#
! HPC)in)very)large)scale)with)provenance)! No)run&me)provenance)support)! Hard)to)enrich)visual)results)with)provenance)
• ParaView#Co:Processing#Libraries#[12]#! Not)related)with)SWfMS)
• No#solu4on#that#integrates#HPC#execu4on#with#visualiza4on#enriching#analysis#with#run4me#provenance#data#
Related#Work#[2])
[3])
[4])
2)1)
3)
4)
! We)are)currently)exploring)experiments))from)CFD)[5])with)Uncertainty)Quan&fica&on))and)Bioinforma&cs)[6][7].)
• Scien&fic)Workflow)Management)Systems)(SWfMS))! Different)flavors)of)SWfMS)! With)Visualiza&on)Support)
" VisTrails)[2])" Integra&on)with)visualiza&on)libraries)" Allows)visualiza&on)on)&led)wall)displays)" No)HPC)support)integrated)to)visualize)data)directly)from)clusters)or)clouds)
! With)High)Performance)Compu&ng)Support)
• Web#interface#connected#to#Provenance#Database#and#visualiza4on#environment#
! Rich)and)interac&ve)interface)! Navigate)through)its)ac&vi&es)and)i/o)data)! Filtering)op&ons)to)select)the)desired)results)! Stage)data)out)of)the)execu&on)environment)! Text,)images,)PDF,)video)and)Paraview)visualiza&on)
• Web#service#in#the#visualiza4on#cluster#to#display#staged#out#data#in#the#Tiled#Wall#Display#
! Implemented)as)a)Web)Service)! Interface)accessed)by)the)web)module)in)run&me)! Can)also)stage)data)out)of)the)execu&on)environment)! Pluggable)to)support)different)&led)wall)displays)
middlewares.)
Features# Architecture#
4) Conclusion# 5)• Web#Applica4on#to#visualize#experiment#results#enriched#with#provenance#data#! Navigate)through)data,)select)desired)results)
and)visualize)it)on)your)worksta&on)or)on)your)&led)wall)display)environment.)
• Keep#track#of#which#data#produced#each#result#! Query)provenance)data)and)visualize)related)
results)• Organize#and#associate#data#using#tags#
! Provide)a)personalized)view)of)the)results)! Easier)to)navigate)on)large<scale)datasets)! Good)for)fragmented)outputs)! Personalized)ac&ons)to)visualize)data)on)
specific)formats)
3)
[10])
! Ac&on)in)tags)can)be)one)of)paraview's)recorded)scripts)that)reads)the)experiment)results)and)produces)a)video,)for)example.)
[11]) [12])
[9])[8])
[4])[3])[2])[1])
! Provenance)enriched)visualiza&on)may)support)run4me)and)systema&c)analysis)on)results)from)large<scale)experiments.)
Nodes with 8 cores
Mesh Processing
Domain Partitioning
Parallel CFD Solver
Input Mesh i Mesh i
partitioned in M parts
node-x node-x node-x
node-z
./edgeCFDMesh mpirun –n 8 edgeCFDPre
mpirun –n M edgeCFD
16 Mesh i partitions
Solver executed with 16 cores for
case i
Job i
Chiron is running in each core of each node: managing scheduling, fault-tolerance, provenance data gathering, … runtime provenance queries
CFD#Workflow#
DisplayCluster
Prov:Vis#
Tiled&Wall&Display&
Workflow#Engine# Provenance#
)
Tags#
[5])
Web#Client#
Remote#Applica4on#
Explora&on)1)
Explora&on)2)
Explora&on)N)
...#Explora&on)3)
1) 1) 1)1) 1)
2)
1)
2)
[5])Guerra,)G.,)Rochinha,)F.,)Elias,)R.,)et)al.,)2012,)"Uncertainty)Quan&fica&on)in)Computa&onal)Predic&ve)Models)for)Fluid)Dynamics)Using)Workflow)Management)Engine",)Interna4onal#Journal#for#Uncertainty#Quan4fica4on,)v.)2,)n.)1.)[6])Ocaña,)K.)A.)C.)S.,)Oliveira,)D.)de,)Horta,)F.,)et)al.,)2012,)"Exploring)Molecular)Evolu&on)Reconstruc&on)Using)a)Parallel)Cloud<based)Scien&fic)Workflow",)Advances#in#Bioinforma4cs#and#Computa4onal#Biology,)chapter)7409,)Springer.))[7])Ocaña,)K.)A.)C.)S.,)Oliveira,)D.,)Ogasawara,)E.,)et)al.,)2011,)"SciPhy:)A)Cloud<Based)Workflow)for)Phylogene&c)Analysis)of)Drug)Targets)in)Protozoan)Genomes",)Advances#in#Bioinforma4cs#and#Computa4onal#Biology,)chapter)6832)Springer.)[8])Ogasawara,)E.,)Dias,)J.,)Oliveira,)D.,)et)al.,)2011,)"An)Algebraic)Approach)for)Data<Centric)Scien&fic)Workflows",)Proc.#of#VLDB#Endowment,)v.)4,)n.)12.)))
[9])Oliveira,)D.,)Ogasawara,)E.,)Baião,)F.,)et)al.,)2010,)"SciCumulus:)A)Lightweight)Cloud)Middleware)to)Explore)Many)Task)Compu&ng)Paradigm)in)Scien&fic)Workflows”,)IEEE#Interna4onal#Conference#on#Cloud#Compu4ng,)Washington,)DC,)USA.)[10])Gadelha,)L.)M.)R.,)Clifford,)B.,)Mavoso,)M.,)et)al.,)2011,)"Provenance)management)in)Swiw",#Future#Genera4on#Computer#Systems,)v.)27,)n.)6)(Jun.),)DC,)USA.)[11])Deelman,)E.,)Mehta,)G.,)Singh,)G.,)et)al.,)2007,)"Pegasus:)Mapping)Large<Scale)Workflows)to)Distributed)Resources",)Workflows#for#e:Science,)Springer.))[12])Fabian,)N.,)Moreland,)K.,)Thompson,)D.,)et)al.,)2011,)"The)ParaView)Coprocessing)Library:)A)scalable,)general)purpose)in)situ)visualiza&on)library".))[13])Valli,)A.)M.)P.,)Elias,)R.)N.,)Carey,)G.)F.,)et)al.,)2009,)"PID)adap&ve)control)of)incremental)and)arclength)con&nua&on)in)nonlinear)applica&ons",#Interna4onal#Journal#for#Numerical#Methods#in#Fluids,)v.)61,)n.)11)(Dec.).))))