RAGE for Astronomers

presented by Robert Hueckstaedt, X2

Much of this talk was created by Karen Hirsch for presentation at a meeting of the International Technology Education Association, 

December 13, 2005  

LA-UR-06-5501

Overview

• Advanced Simulation Computing Program

• RAGE features

• On­going developments

• Applications

Advanced Simulation Computing

• The Advanced Simulation and Computing Program (ASC) is the National Nuclear Security Administration (NNSA) collaborative program among Lawrence Livermore, Los Alamos, and Sandia national laboratories to ensure the safety and reliability of the nation's nuclear weapons stockpile. 

• ASC was established in 1995 to help shift from test­based confidence to simulation­based confidence. Its mission is to analyze and predict the performance, safety, and reliability of nuclear weapons and certify their functionality. The tri­Lab collaborators also work in partnership with computer manufacturers and in alliance with five of the nation's major universities: California Institute of Technology; Stanford University; University of Chicago; University of Illinois; and University of Utah

Computing platforms (not all 'owned' by ASC)

• LANL systems include: flash, QSC, lambda, pink, coyote, grendels ...

• All are UNIX (mostly LINUX) based and can perform parallel operations

• Parallel communication varies by platform often using BProc or MPIO

• Any given machine either on the yellow or turquoise network

• Time on “institutional computing” machines is allocated through an application and review process.     

• The operating systems, compilers, and communication software are subject to change.

What is a modern ASC code?

A suite of large­scale, integrated multi­physics simulation codes and major physics packages needed for the Stockpile Stewardship Program, including the classified codes used by designers and analysts to simulate the nuclear safety, performance, and reliability of stockpile systems. The products are complex, integrated hydro, radiation­hydro, and transport codes for application to Stockpile Stewardship, design and analysis of experiments, general purpose hydro and radiation­hydro problems, and analyzing radiation and particle transport problems for a variety of applications. In addition, codes from this suite will be utilized to simulate other dynamic events, including high­explosive, laser, and pulsed­power driven systems, subcritical and AGEX experiments, inertial confinement fusion (ICF), and the response of energetic materials to thermal and mechanical insults.T he codes are designed to run in parallel and make effective use of advanced ASC computing platforms. 

Source: NNSA Web Page

RAGE (some may say 'tis an appropriate name)

• Radiation Adaptive Grid Eulerian

• Is built upon SAGE: SAIC's Adaptive Grid Eulerian

• In a sentence: Conservation equations for mass, momentum, and total energy are solved through a 2nd order, direct­Eulerian Godunov method on a finite volume mesh.

RAGE attributes

• Easy set­up of complex features

• Highly Parallel

• Continuous Adaptive Mesh Refinement

• Eulerian Hydrodynamics (Godunov) 

• Radiation Diffusion

• Mixed Cells

• Modular for easy addition of additional physics

• Part of a Family of Codes: the Crestone Project

Rage – highly parallel

• Have 1­D, 2­D, and 3­D capability

• No upper limit on number of cells (more than 1 billion have been run)

• Because of our platforms, simulations can run to 100’s of processors as needed.

• Dynamic load re­balancing is standard

• Communication through the Message Passing Interface

RAGE CAMR­ Continuous Adaptive Mesh Refinement

• Both refines and coarsens on a cell­by­cell basis

• Automatically acts on pressure gradients

• User can impose additional refinement through: – Volume fractions at material interfaces (the norm)– Density gradients

• Requires that adjacent cells be no more than 1 level apart

• User may define regions in which to enforce additional refinement

• Empirically derived overhead: ~20%

More RAGE Information

• RAGE contains within it the SAGE code– Eulerian Hydro– 2nd order in space and time in smooth regions. 1st order across 

discontinuities.– Strictly Energy Conserving

• The Radiation transport sits on top as RAGE– Radiation hydrodynamics– Solves the transport equation with the diffusion approximation– This assumes an optically thick regime

• Can handle up to 99 different materials, their equations of state and opacities

• Can handle mixed cells

Recent (and ongoing) updates

• Interface Preserver (aka steepener, artificial compression)– decreases numerical diffusion at material interfaces– similar to the “Consistent Multi­fluid Advection” in the Flash code

• VOF (Volume of Fluid)– a more robust interface reconstruction algorithm– just coming online

• RAGE­to­RAGE link

• TEPLA (TEnsile PLAsticity) strength and fracture model

Efforts are underway to modify RAGE for astrophysical problems

• Gravity: The self­gravity solver is not finished. For example, we still lack 2­d capability and periodic boundary conditions in the gravity solver.

• Rotating reference frames for accretion problems: not currently pursued

• Specialized EOS: A white dwarf EOS has been added.

• MHD: Under development

• Sub­grid turbulence: Implementation of the BHR model remains incomplete.

• TN burn: Falk has written a burn routine for his stellar convection models. I'm still hoping for some inter­topic collaboration with ICF folks.

• PPM implementation

Areas of research interest

• Instabilities in the ISM 

• Stellar mixing; He­shell flash convection 

• Accretion problems

• Formation and evolution of compact objects

• Supernovae

• Stellar seismology

• Impacts and cratering

• Astrophysical jets­ High Energy Density Laboratory Astrophysics

• Other­ I don't know what everyone is up to...

 Accretion of Stellar Gas Flows in the Galactic Center

• 3D hydrodynamic simulation with Rage modeling winds and accretion flows

• Low Resolution, initial synthetic x­ray image– 6 stars plus a central black hole– Color corresponds to the energy of 

the emission (bluer is more energetic)– Brightness corresponds to x­ray 

luminosity.

Courtesy: Dr. Robert F. Coker (LANL) and Dr. J.M. Pittard (University of Leeds, UK)

Hydrodynamic Properties of Shell Convection in Low Mass Stars

• Plane­parallel layer representing the intershell of AGB star at the peak He­shell flash luminosity

• Input energy rate of 2E10 erg/g/s causing a constant volume heating

• Initial seeding of density and temperature perturbations

• Convective turn­over is ~600s

• Size scales are in 1000’s of kilometers 

F. Herwig et al, 2006 Ap. J. 642, 1057

Verification and Validation

• Simple test problems:– Shock Tubes (hydro)– Simple seeded instabilities (hydro)– Infinite medium with a point source (rad)– Marshak wave problems (rad) 

• Build to bigger:– Adiabatic convection problem (rising bubble)– Adding shock waves to a rad/hydro coupled problem

Acknowledgments

• RAGE and SAGE are joint products of SAIC and Los Alamos National Laboratory. M. Gittings (SAIC) is the chief code architect and Mike Steinkamp (LANL) is the project leader.

• The astrophysics verification and validation project at Los Alamos consists of people in T­6, X­2, and CCS­4.