Post on 02-Jan-2016
description
Анализ данных эксперимента ATLAS с использованием
GANGA
Tutorial
Что необходимо сделать перед запуском:
ssh marinova@lxpub01.jinr.ru. /opt/exp_soft/atlas/software/14.2.10/setup.sh unset PYTHONPATHexport CMTPATH=/afs/jinr.ru/user/m/marinova/scratch0:$CMTPATH. /afs/.jinr.ru/atlas/atlas_env.sh
cd workdir/PhysicsAnalysis/AnalysisCommon/UserAnalysis/runcp ../share/AnalysisSkeleton_topOptions.py .ganga -g что бы создать конфигурационны файл .gangarc
Если нет пакета UserAnalysis
/usr/heimdal/bin/kinit shiykov@CERN.CHmkdir scratch0cd scratch0 cmt co -r UserAnalysis-00-13-03 PhysicsAnalysis/AnalysisCommon/UserAnalysis
cd PhysicsAnalysis/AnalysisCommon/UserAnalysis/cmt/make
GANGA
ganga athena --inDS fdr08_run2.0052283.physics_Muon.merge.AOD.o3_f8_m10 \ --outputdata AnalysisSkeleton.aan.root --lcg --site LRZ \ AnalysisSkeleton_topOptions.py
ganga/afs/.jinr.ru/atlas/ganga/install/5.0.8/bin/gangaвыход Ctrl+d
ganga --guiвыход Job/Quit
JobGanga.pyj = Job()j.name='example'j.application=Athena()j.application.atlas_release='14.2.10'j.application.prepare()j.application.option_file='/afs/jinr.ru/user/m/marinova/scratch0/InstallArea/jobOptions/UserAnalysis/AnalysisSkeleton_topOptions.py'j.inputdata=ATLASLocalDataset()j.inputdata.get_dataset('/afs/cern.ch/atlas/maxidisk/d47/v13/','*.root.*')j.application.max_events='100'j.outputdata=ATLASOutputDataset()j.outputdata.outputdata=['AnalysisSkeleton.aan.root']j.outputdata.location = '/afs/jinr.ru/user/m/marinova'j.backend=Local()j.submit()
можно execfile('/afs/jinr.ru/user/m/marinova/JobsGanga/JobGanga.py')
JobGanga1.pyj = Job()j.application=Athena()j.application.atlas_release='14.2.10'j.application.exclude_from_user_area=["*.o","*.root*","*.exe"]j.application.prepare(athena_compile=False)j.application.option_file=['AnalysisSkeleton_topOptions.py' ]j.inputdata=DQ2Dataset()j.inputdata.dataset="fdr08_run2.0052283.physics_Muon.merge.AOD.o3_f8_m10"j.outputdata=DQ2OutputDataset()j.outputdata.outputdata=['AnalysisSkeleton.aan.root' ]j.splitter=DQ2JobSplitter()j.splitter.numfiles=3j.merger=AthenaOutputMerger()j.backend=LCG()j.backend.requirements.cloud='NL'j.submit()
Какие есть datasets в Ganga
inputdata outputdata
DQ2Dataset DQ2OutputDataset ATLASLocalDataset ATLASOutputDataset ATLASDataset ATLASCastorDataset
Раньше j.backend.requirements=AtlasLCGRequirements() j.backend.requirements.sites= ['LRZ', 'DESY-HH', 'TRIUMF']
j.application.option_file='/afs/jinr.ru/user/m/marinova/scratch0/PhysicsAnalysis/AnalysisCommon/UserAnalysis/run/AnalysisSkeleton_topOptions.py'
сейчас j.backend.requirements.cloud='NL' j.application.option_file=['AnalysisSkeleton_topOptions.py' ]
Команды которые используются чаще
execfile('/afs/jinr.ru/user/m/marinova/JobsGanga/JobGanga.py')jobsjobs(jobid).subjobs jobs(2).subjobs jobs(jobid).kill() jobs(5).kill()jobs(jobid).remove() jobs(5).remove()jobs(jobid).peek() jobs(6).peek()jobs(jobid).peek('stdout', 'cat') jobs(6).peek('stdout', 'cat')
Где найти файлы stdout и stderr
/gangadir/workspace/marinova/LocalAMGA/0/output
Работа с DQ2
d=DQ2Dataset() d.dataset='trig1_misal1_mc12.005322.PythiaVBFH170wwll.recon.AOD.v13003003_tid017852'd.list_locations()d.list_locations_siteindex()d.list_datasets(name='*5300*AOD*v120006*')d.list_locations('trig1_misal1_csc11.005310.PythiaH120gamgam.recon.AOD.v12000601_tid005860')d.list_locations('trig1_misal1_csc11.005310.PythiaH120gamgam.recon.AOD.v12000601_tid005860', complete=1)d.list_locations_num_files('trig1_misal1_csc11.005310.PythiaH120gamgam.recon.AOD.v12000601_tid005860')
Job status
submittingsubmitted
waitingready
scheduledrunning
done
ganga --gui