The  new  NOAA  Hybrid  Ensemble  Kalman  Filter  /  Varia:onal  Data  Assimila:on  System    

Jeff  Whitaker*,  Tom  Hamill    

 John  Derber,  Daryl  Kleist,  Dave  Parrish    

Xuguang  Wang      

*me    

1  

Basic  Idea  •  Incorporate  ensemble  informa2on  directly  into  the  background  term  of  the  varia2onal  cost  func2on.  ➊ To  obtain  flow-‐dependent  informa:on  on  background  errors  (B).  

Current  genera2on  4DVar  provides  some  flow-‐dependence  in  B  by  evolving  with  TLM  over  assimila2on  window,  but  cannot  propagate  B  from  one  assimila2on  cycle  to  the  next.    

2  

Basic  Idea  •  Incorporate  ensemble  informa2on  directly  into  the  background  term  of  the  varia2onal  cost  func2on.  ➋ To  obtain  a  beHer  representa:on  of  cross-‐variable  covariances.  

ps ob

First-Guess SLP contours

PWAT  increment  

3  

Basic  Idea  •  Incorporate  ensemble  informa2on  directly  into  the  background  term  of  the  varia2onal  cost  func2on.  ➌ To  make  beHer  use  of  massively  parallel  computers.    Ø 4DVar  involves  running  of  a  reduced  resoluIon  linear  perturbaIon  model  and  its  adjoint  sequen&ally,  improving  flow-‐dependence  of  B  involves  lengthening  the  assimilaIon  window.  Only  scales  as  well  as  perturbaIon  model.  

Ø Ensembles  are  “embarassingly  parallel”  –  may  provide  the  same  improvement  in  B  as  long-‐window  4DVar.  

4  

Advantages  of  the  hybrid  approach  Features  from  EnKF   Features  from  VAR  

Extra  flow-‐dependence  in  B   Localiza2on  done  correctly  (in  model  space)  

More  flexible  treatment  of  model  error  (can  be  treated  in  ensemble)  

Reduc2on  in  sampling  error  in  2me-‐lagged  covariances    (full  rank  evolu2on  of  B  in  assimila2on  window  in  4DVar).    

Automa2c  ini2aliza2on  of  ensemble  forecasts,  propaga2on  of  covariance  info  from  one  cycle  to  the  next.  

Ease  of  adding  extra  constraints  to  cost  func2on  

5  

Two  ways  of  using  ensemble  to  specify  B  

•  Use  ensemble  to  set  values  in  parameterized  covariance  model  (ECMWF  “EDA”  system,  based  on  wavelet  transforms).  

•  Use  ensemble  directly  by  adding  extra  control  variables  to  represent  ensemble  informa2on  (extended  control  variable  approach  –  UKMO,  Env  Canada,  NOAA).  

6  

Terminology  •  Prolifera2on  of  names  (EDA,  Ensemble  Var,  hybrid  Var/EnKF…).  Can  be  confusing.  

•  Andrew  Lorenc  has  proposed  this  terminology:  1)  Ensemble  3(4)DVar:  uses  a  ensemble  (generated  

externally,  typically  by  an  EnKF)  to  define  B  in  the  Var  cost  func2on  at  the  beginning  of  the  window.  

2)  4D  Ensemble  Var:  uses  an  external  ensemble  to  specify  B  throughout  the  window  (replacing  TLM  and  adjoint).        

3)  Ensemble  4D  Ensemble  Var:  as  above,  but  ensemble  comes  from  running  ensembles  of  Var,  with  perturbed  obs,  boundary  condi2ons,  as  in  ECWMF  EDA.    No  external  ensemble,  no  TLM/adjoint.  

7  

EnKF  member  update  

member  2    analysis  

high  res  forecast  

GSI  Hybrid  Ens/Var  

high  res  analysis  

member  1    analysis  

member  2    forecast  

member  1    forecast  

recenter  analysis  ensemble  

NOAA  Dual-‐Res  Coupled  Ensemble  3DVar  

member  3    forecast  

member  3    analysis  

Previous Cycle Current Update Cycle 8  

Important  Details  •  EnKF  uses  same  forward  operator,  same  obs  as  GSI  Var,  

runs  at  ½  the  resolu2on.    Covariance  localiza2on  and  infla2on  used  to  represent  under  sampled  sources  of  error,    crucial  for  maintaining  ensemble  spread.  

•  Localiza2on  in  GSI  included  in  extended  control  variable  formula2on  –  but  occurs  in  model  space  (not  ob  space  as  in  EnKF).  

•  Blending  of  sta2c  and  ensemble  covariance  currently  controlled  by  a  single  parameter  (¾  ensemble  currently)  

•  UKMO  implementa2on  is  “ensemble  4DVar”,  ours  is  “3D  ensemble  Var”  (confused  yet?).    NCEP  ensemble  component  can  func2on  as  stand-‐alone  DA  system  (Var  is  op2onal).  

9  

10

Single  Observa:on  

Single  850mb  Tv  observa&on  (1K  O-‐F,  1K  error)  

3DVAR  (all  sta:c)  

½  Sta:c,  ½  ensemble  All  ensemble  

First  guess  T  

11

Single  Observa:on  (Hurricane  Ike)  

Single  850mb  zonal  wind  observaIon  (3  m/s  O-‐F,  1m/s  error)  in  Hurricane  Ike  circulaIon  

All  ensemble  

3DVAR  (all  sta:c)  

½  Sta:c,  ½  ensemble  

First  guess  SLP,  wind  

12  

NCEP  parallel  test  

Became  opera&onal  May  22  

13  

Stats  for  1st  month  since  implementa:on  

Stats  for  one  year  ago  

Extension  to  4D  

•  4D  ensemble  Var:    Use  ensemble  to  propagate  covariance  within  the  assimila2on  window  (instead  of  TLM).    

•  GSI  now  includes  this  capability  •  Roughly  twice  as  expensive  as  3D  ensemble  Var.  

14  

Observa2on  2me  at  beginning  (T-‐3h)  of  6  hour  window  Evolu2on  of  increment  (every  3h)  for  4D  algorithms  (Top  to  Bojom  :  -‐3h  /  0h  /  +3h)  

4DVAR  (TL/AD)  

HYBRID  4DVAR  (TL/AD)  

4D-‐ENS-‐VAR  (NO  TL/AD)  

HYBRID  4D-‐ENS-‐VAR  (NO  TL/AD)  

15  

Summary  •  A  Hybrid  3D  ensemble  Var  DA  system  has  been  implemented  in  NOAA  opera2ons.  –  Result  of  a  produc2ve  collabora2on  between  research  and  opera2ons.  

–  Best  of  both  worlds  (allows  ensemble  to  propagates  B,  leverages  advantages  of  Var  solver).  

–  4D  extension  now  being  tested.  •  For  the  first  2me,  improvements  to  ensemble  system  can  lead  directly  to  improvements  in  analysis.  –  Synergis2c  interac2on  between  ensemble  +  DA  development.  

–  Need  to  represent  all  sources  of  uncertainty  in  ensemble!  

16