Enabling Grids for E-sciencE
www.eu-egee.org
Работа в ГРИД с использованием ГРИД-порталов (на примере GILDA)Олешко СергейПетербургский институт ядерной физики РАН
2
Enabling Grids for E-sciencE
Содержание
• Введение • Что такое ГРИД портал?• GENIUS и GILDA• GILDA GRID Demonstrator• GILDA GRID Tutor• Доступ с кластеру ПИЯФ через Web
3
Enabling Grids for E-sciencE
Взгляд на ГРИД
ППО
ГРИД
Визуализация
Рабочая станция
Мобильный доступ
Суперкомпьютеры, кластеры
Хранилища данных, эксперименты, датчики
Интернет, сети
Enabling Grids for E-sciencE
ГРИД службы
ГРИД службыклиент
Иногда интегрирован в некоторый
дополнительный сервис
•ППО ГРИД – это множество программных ГРИД служб•ГРИД службы более-менее стандартизованы, т.е. имеют
стандартизованные интерфейсы и используют стандартные технологии
•Они могут быть доступны множеству клиентов
5
Enabling Grids for E-sciencE
Типичные ГРИД службы (gLite)
6
Enabling Grids for E-sciencE
Проблемы для пользователя
• ГРИД службы используют шифрование:
– Вы должны получить сертификат от центра сертификации
– Вы должны быть зарегистрированы в Виртуальной Организации (ГРИД службы доступны только для членов ВО.)
– Вы должны сгенерировать временный сертификат
• ГРИД клиенты – это достаточно низкоуровневые программные средства
– Интерфейс командной строки
– Платформозависимость (как правило Linux)
– Много параметров
7
Enabling Grids for E-sciencE
Выход – ГРИД портал
Диски, процессора, …
Операционная система
Компоненты ППО и
сетевые протоколы, …
ГРИД службы
Клиенты ГРИД служб
Приложения
ГРИД портал
8
Enabling Grids for E-sciencE
ГРИД портал – почему и как
• Он может быть доступен отовсюду и при помощи “чего угодно” (ПК, ноутбук, КПК, мобильный телефон).
• Он может использовать один и тот же пользовательский интерфейс для доступа к различным службам.
• Он должен обеспечивать “избыточную безопасность” на всех уровнях: 1) безопасность передачи данных по web, 2) безопасность пользовательских параметров доступа, 3) безопасность пользовательской аутентификации, 4) безопасность на уровне виртуальной организации.
• ГРИД службы должны быть доступны “по одному нажатию на кнопку мышки”.
• Пользовательский интерфейс должен быть понятен и дружественен к пользователю.
9
Enabling Grids for E-sciencE
ГРИД портал GENIUS
• GENIUS – полная версия: https://genius.ct.infn.it
• Grid Demonstrator – открытая “для всех” 24/7 версия:https://glite-demo.ct.infn.it/
• Grid Tutor – версия, адаптированая для обучения и тренинга:https://glite-tutor.ct.infn.it/
Существует несколько версий портала:
Grid Enabled web eNvironment for site Independent User job Submission
10
Enabling Grids for E-sciencE
GENIUS: как он работает
3-звенная модельPortal Development Kit
Web сервер
Портал
User interface
Браузер
ГРИД службыM/W + GSI
https + java/xml
11
Enabling Grids for E-sciencE
Проблемы безопасности
• Проблема: Web сервер, а значит и весь портал запускается с наинизшим уровнем привилегий. Каким же образом он сможет запускать задания для пользователя?
• Наилучший выход – расширение системы делегирования GSI (Grid Security Infrastructure) таким образом, чтобы пользователь мог делегировать права на запуск заданий порталу.
• Сервис MyProxy обеспечивает такое расширение следующим образом:
– временно сохраняет пользовательские имя/пароль.
– запускает прокси от имени пользователя.
– поддерживает отдельный пароль для портала.
12
Enabling Grids for E-sciencE
Проект GILDA (https://gilda.ct.infn.it/)
13
Enabling Grids for E-sciencE
Компоненты GILDA
• GILDA Testbed - набор сайтов с установленным ППО LCG/gLite.
• Grid Demonstrator - веб-интерфейс GENIUS, позволяющий работать с определенным набором приложений.
• GILDA CA - центр сертификации, выдающий 14-дневные сертификаты для работы с GILDA.
• GILDA VO - виртуальная организация, объединяющая всех пользователей GILDA.
• Grid Tutor - веб-интерфейс GENIUS, используемый для демонстрации возможностей технологии Грид.
• Monitoring System - система мониторинга для GILDA Testbed.
14
Enabling Grids for E-sciencE
GILDA Test-bed(https://gilda.ct.infn.it/testbed.html)
20 сайтов на 3 континентах !
15
Enabling Grids for E-sciencE
GILDA Grid Demonstrator(https://glite-demo.ct.infn.it/)
16
Enabling Grids for E-sciencE
Вход в GILDA Grid Demonstrator
+ • Не требуется сертификат• Доступ через браузер• Предопределённые имя/пароль (не требуется предварительная регистрация)
-• Работа только с заранее подготовленными задачами и сервисами неполной функциональности (демо-режим)• Ограниченное время действия MyProxy сертификата
17
Enabling Grids for E-sciencE
Возможности GILDA GRID Demonstrator
• Просмотр файлов в HOME директории демо-пользователя• Просмотр переменных окружения• Навигация в пределах директории виртуальной организации GILDA (просмотр и скачивание файлов)• Ссылка на web интерфейс проекта BLAST (биоинформатика)
18
Enabling Grids for E-sciencE
Сервисы ВО GILDA GRID Demonstrator
19
Enabling Grids for E-sciencE
Запуск задания(1)
20
Enabling Grids for E-sciencE
Запуск задания(2)
21
Enabling Grids for E-sciencE
Запуск задания(3)
22
Enabling Grids for E-sciencE
Запуск задания(3)
23
Enabling Grids for E-sciencE
Подключение к GILDA•https://gilda.ct.infn.it
24
Enabling Grids for E-sciencE
Инструкции
25
Enabling Grids for E-sciencE
Важные советы
• пользоваться рекомендуется браузером Mozilla или
Netscape • при запрашивании ввода пароля или ключевых
фраз (и т.п.) рекомендуется вводить одинаковые значения во избежание недоразумений
• работать с GILDA рекомендуется со статического IP
26
Enabling Grids for E-sciencE
Центр сертификации GILDA
27
Enabling Grids for E-sciencE
Загрузка GILDA CA сертификата•https://gilda.ct.infn.it/CA/mgt/getCA.php
28
Enabling Grids for E-sciencE
Получение персонального сертификата (1/4)
29
Enabling Grids for E-sciencE
Получение персонального сертификата (2/4)
30
Enabling Grids for E-sciencE
Получение персонального сертификата (3/4)
Dear User,
you can download your GILDA Personal Certificate going,*with the same browser you used to submit the request*,to the URL:
https://gilda.ct.infn.it/cgi-bin/gucert.pl?0A44
Your certificate is valid for $CERTIFICATE_DAYS_VALUE days.After that you can go to:
https://voms.ct.infn.it:8443/voms/gilda/webui/request/user/create
and register to the GILDA VOMS (usually, registration takes a working day).
Then, you can go to the GILDA Grid Demonstrator at the URL:https://grid-demo.ct.infn.it
or, if you are participating to a tutorial or an induction course,to the GILDA Grid Tutor at the URL:
https://grid-tutor.ct.infn.it (for LCG) or https://glite-tutor.ct.infn.it (for gLite)
Remember that:
1) whenever you are prompted for the Operating System, use the usernameand the password you have chosen when you requested the GILDAPersonal Certificate as username and as password;
2) whenever you are prompted for the GRID username and passwordand the passphrase of your GILDA Personal Certificate as password.Best Regards
The GILDA CA Manager
GILDA Certification Authority Tel: +39 095 378 5469 Fax: +39 095 378 5231 Via S. Sofia, 64 I-95123 Catania ITALYhttp://gilda.ct.infn.it/CA/
Просто нажать на ссылку для получения сертификата
From: GILDA-CA <[email protected]>
To: <email из отправленной формы>
Subject: GILDA Personal Certificate for <username>
31
Enabling Grids for E-sciencE
Получение персонального сертификата (4/4)
• После загрузки сертификата в браузер появится web страница с сообщением, что новый сертификат доступен в списке сертификатов браузера.
• Все действия должны производиться в одном и том же браузере!!
• Срок действия персонального сертификата 14 дней!
• После этого сертификат можно экспортировать и сохранить в безопасном месте.
• Процедура экспорта зависит от типа используемого браузера.
• Тип файла экспортированного сертификата зависит от браузера (*.p12 для Mozilla/Netscape/FireFox и *.pfx для Internet Explorer).
• Экспортированный сертификат в дальнейшем должен будет преобразован в *.pem формат, распознаваемый системой безопасности gLite.
32
Enabling Grids for E-sciencE
Регистрация в VOMS (1/5)
Dear User,
you can download your GILDA Personal Certificate going, *with the same browser you used to submit the request*, to the URL:
https://gilda.ct.infn.it/cgi-bin/gucert.pl?0A44
Your certificate is valid for 365 days.After that you can go to:
https://voms.ct.infn.it:8443/voms/gilda/webui/request/user/create
and register to the GILDA VO (usually, registration takes a working day).
Then, you can go to the GILDA Grid Demonstrator at the URL:
https://grid-demo.ct.infn.it
or, if you are participating to a tutorial or an induction course, to the GILDA Grid Tutor at the URL:
https://grid-tutor.ct.infn.it or https://grid-tutor1.ct.infn.it
Remember that:
1) whenever you are prompted for the Operating System, use the username and the password you have chosen when you requested the GILDA Personal Certificate as username and as password;
2) whenever you are prompted for the GRID username and passwordand the passphrase of your GILDA Personal Certificate as password.
Best RegardsThe GILDA CA Manager…
• Вторая ссылка в полученном e-mail.
Просто нажать на ссылку для того чтобы зарегистрироваться в VOMS
33
Enabling Grids for E-sciencE
Регистрация в VOMS (2/5)
Для доступа к этой странице сертификат уже должен быть загружен в браузер!!
34
Enabling Grids for E-sciencE
Регистрация в VOMS (3/5)
Нажать ссылку для подтверждения
35
Enabling Grids for E-sciencE
Регистрация в VOMS (4/5)
36
Enabling Grids for E-sciencE
Регистрация в VOMS (5/5)
Вы включены в члены ВО GILDA!!
37
Enabling Grids for E-sciencE
Подготовка UI (1/2)
• Сохранить персональный сертификат из браузера в файл *.p12
• Написать письмо -> [email protected] с просьбой открыть FireWall для вашего IP (указать его). Иначе вы не сможете зайти на их машину
• Зайти с помощью SSH на свой UI, машина с адресом: glite-tutor.ct.infn.it. Логин и пароль - те, которые вы указывали при регистрации.
• Скопировать туда (в свою корневую директорию) свой сертификат *.p12
• Создать на UI директорию (mkdir .globus) и экспортировать туда сертификат командой
(openssl pkcs12 -nocerts -in mysert.p12 –out .globus/userkey.pem)
• Выполнить команды: openssl pkcs12 -clcerts -nokeys -in mysert.p12 -out .globus/usersert.pem cd .globus/ chmode 400 userkey.pem chmode 644 usercert.pem
38
Enabling Grids for E-sciencE
Подготовка UI (2/2)
• Активизировать proxy: grid-proxy-init myproxy-init --voms gilda * - срок действия активизированных полномочий 24 часа! При этом необходимо ввести пароль, который будет необходим для работы через браузер.
• Теперь можно работать в полнофункциональной Grid инфраструктуре GILDA, как через браузер: https://glite-tutor.ct.infn.it/, так и через SSH, host: glite-tutor.ct.infn.it.
39
Enabling Grids for E-sciencE
GILDA GRID Tutor
40
Enabling Grids for E-sciencE
Работа с файлами
Имя и пароль, введённые при заполнении формы для получения
сертификата GILDA
Для работы в ГРИД используется и вводится пароль для MyProxy
41
Enabling Grids for E-sciencE
Работа с файлами
Удалённый работа с файлами
на UI машине
42
Enabling Grids for E-sciencE
Работа с файлами
43
Enabling Grids for E-sciencE
Работа с файлами
44
Enabling Grids for E-sciencE
Работа с файлами
Несколько действий в одном сервисе
45
Enabling Grids for E-sciencE
Работа с файлами
Изменение прав доступа к файлу
46
Enabling Grids for E-sciencE
Аутентификация через Myproxy
myproxy-get-delegation
47
Enabling Grids for E-sciencE
Аутентификация через Myproxy
UI
LocalWS
MyProxyServer
GENIUSServer
(UI)
myproxy-init
any grid service
myproxy-get-delegation
output
the Grid
execution
WEB Browser
Для запуска задач в ГРИД необходимо указывать
VOMS Extensions( --voms
<voms_vo_name>)
48
Enabling Grids for E-sciencE
Безопасность
“Прозрачная” поддержка VOMS
49
Enabling Grids for E-sciencE
Настройки ГРИД
50
Enabling Grids for E-sciencE
MyProxy
Добавление в список дополнительного MyProxy сервера
51
Enabling Grids for E-sciencE
Выбор ВО
52
Enabling Grids for E-sciencE
Редактор .jdl файлов
53
Enabling Grids for E-sciencE
Запуск заданий (выбор .jdl файла)
Параметры показаны на горизонтальной панели,
которая появляется после успешного входа
54
Enabling Grids for E-sciencE
Запуск заданий (файл выбран)
55
Enabling Grids for E-sciencE
Запуск заданий (выбор CE)
56
Enabling Grids for E-sciencE
Запуск заданий (log запуска)
57
Enabling Grids for E-sciencE
Просмотр очереди заданий
58
Enabling Grids for E-sciencE
Получение результатов
Дополнительное подтверждение!
59
Enabling Grids for E-sciencE
Получение результатов
После операции get-output выходные файлы временно сохраняются в области спулинга, готовые к передаче
пользователю
60
Enabling Grids for E-sciencE
Получение результатов
Передача файловможет происходить
в различных формах!
61
Enabling Grids for E-sciencE
Просмотр результатов
62
Enabling Grids for E-sciencE
Примеры других ГРИД порталов
• OGCE - Open Grid Computing Environments Collaboratory
http://www.collab-ogce.org/nmi/index.jsp• PACI HotPage Grid Computing Portal
https://hotpage.paci.org/• Sakai project
http://collab.sakaiproject.org/portal• CCT HPC Portal
https://portal.cct.lsu.edu/gridsphere/gridsphere• TeraGrid User Portal
https://portal.teragrid.org/gridsphere/gridsphere• GridSphere Project
http://www.gridsphere.org/gridsphere/gridsphere • P-GRADE Portal
http://www.lpds.sztaki.hu/pgportal/
63
Enabling Grids for E-sciencE
64
Enabling Grids for E-sciencE
Web интерфейс для кластера ПИЯФ
• Пользователь должен иметь account на UI кластера (cluster.pnpi.nw.ru)• Пользователь должен иметь сертификат, подписанный в CA RDIG• В пользовательской $HOME директории должна быть создана директория .globus и должен быть экспортирован сертификат (usersert.pem) и персональный закрытый ключ (userkey.pem)• Сертификат должен быть импортирован в браузер• Пользователь должен быть членом одной из ВО, поддерживаемых на cluster.pnpi.nw.ru
65
Enabling Grids for E-sciencE
Web интерфейс для кластера ПИЯФ
https://cluster.pnpi.nw.ru:8080/
66
Enabling Grids for E-sciencE
Работа с proxy
67
Enabling Grids for E-sciencE
Подготовка задания (1/3)
68
Enabling Grids for E-sciencE
Подготовка задания(2/3)
69
Enabling Grids for E-sciencE
Подготовка задания(3/3)
70
Enabling Grids for E-sciencE
Выбор ресурса (1/3)
71
Enabling Grids for E-sciencE
Выбор ресурса (2/3)
72
Enabling Grids for E-sciencE
Выбор ресурса (3/3)
73
Enabling Grids for E-sciencE
Запуск задания
74
Enabling Grids for E-sciencE
Просмотр статуса (1/2)
75
Enabling Grids for E-sciencE
Просмотр статуса (2/2)
76
Enabling Grids for E-sciencE
Получение результатов (1/2)
77
Enabling Grids for E-sciencE
Получение результатов (2/2)
Top Related