Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5...

14
Research Compu.ng @ IQSS September 17, 2012 Len Wisniewski, Director of Technology, IQSS

Transcript of Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5...

Page 1: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

Research  Compu.ng  @  IQSS  September  17,  2012  

Len  Wisniewski,  Director  of  Technology,  IQSS  

Page 2: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              2  

What  I’ll  cover  

•  IQSS  services  •  Research  Compu.ng  Environment  (RCE)  

Page 3: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              3  

IQSS  technical  services  

•  Research  Compu.ng  Environment  (RCE):  cluster  compu.ng  for  sta.s.cal  research  

•  Dataverse:  storage  of  research  data  sets  •  OpenScholar:  hos.ng  of  personal  /  project  web  sites  •  Computer  lab  services  

–  Concourse  level  of  this  building  (CGIS  Knafel)  –  Sta.s.cal  soSware  and  other  soSware  for  research  

•  Research  Technology  Consul.ng  –  rtc.iq.harvard.edu  

•  Sta.s.cal  training  –  In  training  room  in  Concourse  level  lab  

Page 4: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              4  

GeWng  help  

Any  ques.ons,  e-­‐mail  [email protected]  

Web  sites:    RT  (Request  Tracker):  help.hmdc.harvard.edu    IQSS:  iq.harvard.edu  

 IQSS  IT  support:  support.hmdc.harvard.edu  

Page 5: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              5  

RCE  in  detail  

•  RCE  =  Research  Compu.ng  Environment,  remote  infrastructure  and  scalable  compu.ng  power  for  research  analysis  

•  Used  to  run  common  sta.s.cal  applica.ons  –  R,  GAUSS,  Mathema.ca,  MATLAB,  Octave,  SAS,  S-­‐PLUS,  Stata  

•  RCE  has  three  types  of  nodes  –  Login  servers  

•  User  logs  in  via  NX  (similar  to  VNC)  and  gets  a  desktop  session  

•  User  can  launch  an  applica.on  directly  from  the  desktop  

–  Compute-­‐on-­‐demand  servers  •  ~50  compute  cores  on  about  a  dozen  servers  

•  User  has  special  “RCE  Powered  Applica.ons”  menu  to  launch  applica.ons  on  machines  with  large  memory  resources  (up  to  256GB)  

–  Batch  servers  •  ~300  compute  cores  on  50+  servers  

•  Used  typically  for  non-­‐interac.ve,  long-­‐running,  scalable  jobs  •  Most  jobs  use  R  

Page 6: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              6  

RCE  architecture  and  configura.on  

Resource    Manager  

User  Secure  login    

via  NX  

Interac.ve  nodes  

Allocate  and

 manage  

resources  

Key  Applica+ons  

R  GAUSS  Mathema.ca  MATLAB  Octave  SAS  (COD  only)  S-­‐PLUS  Stata  (SE  and  MP)  

R  GAUSS  Mathema.ca  MATLAB  Octave  SAS  S-­‐PLUS  Stata  (SE  and  MP)  

Batch  nodes  

Disk  storage   Tape  backup  

Page 7: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              7  

Download  and  install  NX  client  

•  Select  the  appropriate  client  for  your  OS  •  Windows,  Linux,  Mac  OS  X,  Solaris  

•  hkp://www.nomachine.com/download.php  

Page 8: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              8  

Logging  onto  an  RCE  login  node  

•  Click  on  the  desktop  icon  created  when  configuring  NX  •  Use  your  login  username  and  password  obtained  when  signing  up  

for  an  RCE  account    

Page 9: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              9  

RCE  desktop  

Page 10: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              10  

Running  apps  on  login  server  

Page 11: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              11  

Running  apps  on  cod  (large  memory)  servers  

Page 12: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              12  

Apps  on  the  RCE  

Page 13: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              13  

GeWng  accounts  

•  How  can  I  get  an  account?  •  RCE  

–  [email protected]  

–  hkp://support.hmdc.harvard.edu  –  Must  be  sponsored  by  an  IQSS  faculty  or  contact  me  

Page 14: Research(Compu.ng(@IQSS( September17,2012( Len(Wisniewski ... · Research(Compu.ng( ( ((((( ((((5 RCE(in(detail(• RCE(=Research(Compu.ng(Environment,(remote(infrastructure(and(scalable(compu.ng(power(for(research(analysis

                                                                                                                     Research  Compu.ng                                                              14  

Other  topics  of  interest  

•  Securing  confiden.al  data  •  Level  3  vs.  Level  4  vs.  Level  5  

•  Future  work  •  Security  

•  Expansion  into  the  cloud  –  Amazon  EC2  and  other  sources  

•  Upda.ng  the  underlying  OS  –  RHEL5  -­‐>  RHEL6  

•  Upda.ng  the  user  interface  –  Single  applica.on  mode  

–  Mobile  access