Інфраструктура навчання grid-технологій

навчання користувачів

Щоб бути затребуваним фахівцем в областях, де застосування grid-технологій є обгрунтованим, необхідно мати уявлення про концепцію grid, а також володіти навичками роботи в одній або декількох таких середовищах. Наприклад, основним інструментом обробки та зберігання даних з Великого адронного коллайдера в ЦЕРН є програмне забезпечення, що використовує ресурси світової grid-інфраструктури WLCG, що працює під управлінням ПО проміжного шару gLite.

Починаючи з 2004 року за участю співробітників Лабораторії інформаційних технологій Об'єднаного інституту ядерних досліджень (ЛІТ ОІЯД) проводяться курси по навчанню grid-технологій. Навчання співробітників ОІЯД і їхніх колег з країн-учасниць проходить протягом одного-двох днів і включає в себе вступ в grid, ознайомлення з gLite, а також, при необхідності, з програмами обробки даних конкретного експерименту.

При наявності дійсного сертифіката користувача grid використовувалася реальна виробнича інфраструктура, в разі ж його відсутності створювалася своя локальна з власним підтверджуючий центр для видачі сертифікатів машин і користувачів. Останні кілька років для користувачів, які не мають grid-сертифікатів, подібні курси проводяться вже на постійній навчальної інфраструктурі з сертифікатами локального засвідчує центру.

З 2006 року проводяться семестрові практичні заняття з навчання grid-технологій для студентів старших курсів спеціальності «Системний аналіз і управління» Університету « Дубна »В рамках дисципліни« Сучасні перспективні технології та телекомунікації ». На базі одного з комп'ютерних класів цього університету був створений автономний grid-сайт, сервіси якого працювали всередині віртуальних машин під ОС Linux, тоді як самі віртуальні машини були запущені на Windows-комп'ютерах. Вхід на інтерфейс користувача grid здійснювався з Windows по мережі через клієнтську програму PuTTY по протоколу SSH. Таким чином, один і той же комп'ютер в класі виконував функції сервера для grid-сервісу і терміналу користувача. Для цього курсу була розроблена програма, що включає в себе ознайомлення з базовими поняттями концепції grid, а також практичні вправи по роботі в середовищі gLite.

Надалі була створена автономна інфраструктура для навчання grid-технологій на виділених серверах, територіально розташованих в ОІЯД, інтерфейс користувача якій для семінарів в університеті був доступний через ssh-клієнт. На даний момент навчальний комплекс по роботі в середовищі gLite складається з трьох grid-сайтів ОІЯД, а також grid-сайтів Інституту фізики високих енергій (ІФВЕ, Протвино), Інституту математики та інформаційних технологій Академії наук Республіки Узбекистан (Ташкент), Софійського університету (Софія , Болгарія), інституту теоретичної фізики імені В. В. Боголюбова (Київ, Україна) і Київського політехнічного інституту (Київ, Україна) з наступним набором сервісів ( Мал. 1 ):

• grid-сайт №1 (RU-JINR): інтерфейс користувача (User Interface, UI), обчислювальний елемент (Computing Element, CE) типу LCG-CE з двома робочими вузлами (Worker Nodes, WNs), елемент зберігання даних (Storage Element, SE) типу Disk Pool Manager (DPM), файловий каталог (LCG File Catalog, LFC), система управління завданнями (Workload Management System, WMS), сервіс збору і зберігання інформації про завдання і їх статус (Logging and Bookkeeping, LB), інформаційний сервіс по ресурсам grid-сайту - site BDII (sBDII), інформаційний сервіс про grid-сайтах - top BDII (tBDII);
• grid-сайт №2 (RU-JINR-2): LCG-CE з двома робочими вузлами і сервісами DPM SE і sBDII;
• grid-сайт №3 (RU-JINR-MPI): обчислювальний елемент LCG-CE з трьома робочими вузлами і підтримкою Message Passing Interface (MPI) для навчання роботі з паралельними завданнями, сервіси DPM SE і sBDII;
• grid-сайт SU-Protvino-IHEP: інтерфейс користувача, LCG-CE з двома робочими вузлами, SE типу dCache, система управління завданнями, сервіси LB і sBDII;
• grid-сайт UZ-IMIT: WMS, LCG-CE c чотирма робочими вузлами (в найближчому майбутньому адміністраторами цього сайту планується довести число робочих вузлів до 16), що підтримують рахунок паралельних завдань, WMS, сервіси LB, sBDII, tBDII;
• grid-сайт BG-SU: інтерфейс користувача, LCG-CE з чотирма робочими вузлами, DPM SE, сервіс sBDII;
• grid-сайти UA-BITP: інтерфейс користувача, LCG-CE c вісьмома робочими вузлами, DPM SE, WMS, сервіси LB, LFC, sBDII, tBDII;
• grid-сайт UA-KPI-HPCC: інтерфейс користувача, LCG-CE c вісьмома робочими вузлами, DPM SE, WMS, сервіси LB, LFC, sBDII, tBDII.

Крім перерахованих сервісів, в ОІЯД розгорнуть сервіс управління віртуальними організаціями - Virtual Organizations Management service (VOMS), що підтримує віртуальну організацію edu, і локальний засвідчує центр, що дозволяє зробити створену інфраструктуру повністю автономною. Для видачі сертифікатів машин і користувачів кожна з організацій - учасниць цього розподіленого навчального полігону використовує свій власний або сторонній центр, якому довіряють всі інші учасники. З метою інтеграції в даний розподілений навчальний комплекс ведуться роботи зі створення grid-сайту (BG-SWU) в Південно-західному університеті «Неофіт Рильський» (Благоєвград, Болгарія).

Дане середовище також є ядром автономного полігону, його розгортає відповідно до зобов'язань (Russian Data Intensive Grid, egee-rdig.ru) проекту EGEE-III.

Наявність в інфраструктурі декількох обчислювальних елементів дозволяє продемонструвати учнем можливість автоматичного вибору елемента, що задовольняє заданим критеріям (наприклад, з мінімальним числом стоять в черзі завдань, з певним типом системи управління локальними ресурсами, і т.д.). Присутність декількох елементів зберігання даних дає можливість продемонструвати процес копіювання даних з одного ОЕ на інший, реплікації (створення копій одного і того ж набору даних на різних обчислювальних елементах), вибору оптимального елемента зберігання по відношенню до зазначеного обчислювальному елементу тощо.

Більш того, інтеграція ресурсів grid-сайту тієї чи іншої організації в загальну інфраструктуру позбавляє кожного учасника від необхідності мати повний набір сервісів gLite, що зменшує навантаження на адміністратора з підтримки працездатності наявних на його grid-сайті сервісів. Такі сервіси, як tBDII, WMS, LB, VOMS, LFC можуть задовольняти потреби декількох або всіх учасників. З міркувань забезпечення надійного і безперебійного функціонування навчального полігону реалізовано дублювання деяких сервісів.

З моменту введення такого комплексу в експлуатацію на ньому проводяться семестрові курси по grid-технологій для студентів Навчально-наукового центру ОІЯД, а також студентів університету «Дубна».

Особливістю навчання на даному комплексі є можливість проведення занять по роботі в різних grid-середовищах для різних груп - можлива ситуація, коли потрібно забезпечити роботу декількох автономних одночасно працюючих grid-інфраструктур, якщо фізичних ресурсів кожної з них поотдельности не вистачає для вирішення конкретного завдання.

Для навчання користувачів роботі в середовищі gLite підготовлені навчальні матеріали з теорії та практиці grid.

На даний момент знаходиться на етапі налагодження освітній Web-портал по grid-технологій, який є засобом для отримання доступу до методичних матеріалів і навчальної інфраструктурі, а також інструментом перевірки отриманих знань.

навчання адміністраторів

Крім користувачів grid, які застосовують розподілені ресурси як інструмент в своїх областях діяльності, існує потреба в системних адміністраторів ресурсних центрів, що утворюють grid-інфраструктуру. Ефективне навчання в цьому напрямку передбачає наявність у кожного з слухачів цього курсу деякого набору комп'ютерних ресурсів, на яких вони могли б вправлятися, а також права суперкористувача. З огляду на це і беручи до уваги той факт, що grid-сервіси під час навчання зазвичай використовуються не інтенсивно, надається можливість спільного розміщення декількох grid-сервісів на одній фізичній машині всередині віртуальних середовищ.

В якості інструментарію віртуалізації застосовувалися User mode Linux (user-mode-linux.sourceforge.net) і OpenVZ (wiki.openvz.org/Main_Page), на базі якого зараз розгорнута вся навчально-дослідницька та тестову інфраструктуру.

Для навчання прийомам установки, настройки і тестування працездатності grid-сайтів в УНЦ ОІЯД в 2005 році був організований відповідний факультативний курс з адміністрування ПО проміжного шару Advanced Resource Connector, що розробляється в рамках альянсу NorduGrid .

До переваг інфраструктури, побудованої для навчання адміністраторів ( Мал. 2 ), Можна віднести можливість щодо швидкого створення навчальної grid-середовища, необхідної для конкретного курсу навчання, паралельно з уже працюючими середовищами, при цьому можна виділяти пули віртуальних машин і надавати доступ до них з правами суперкористувача кожному, кого навчають.

Даний комплекс був успішно задіяний при навчанні системних адміністраторів з країн-учасниць ОІЯД (Білорусія, Казахстан, Азербайджан, Північна Корея, Румунія) та асоційованого члена - ПАР.

Розроблено керівництва для системних адміністраторів по установці і управління віртуальними машинами User mode Linux і OpenVZ; по установці NorduGrid Advanced Resource Connector і gLite на віртуальних машинах, їх налаштування та тестування.

Розробка сервісів

Створену навчально-дослідну інфраструктуру з налагодженою grid-середовищем можна задіяти для навчання розробників grid-сервісів - зараз складається програма такого курсу і накопичується досвід як в портировании вже існуючих додатків в grid, так і створення нових grid-сервісів.

Початковий досвід в розробці власного grid-сервісу було отримано в ОІЯД при перенесенні в grid програми обчислення базисів Жане і базисів Гребнера для систем поліноміальних рівнянь. Перший варіант був реалізований для роботи в середовищі Globus Toolkit 3.2. Була також розроблена методика по створенню grid-додатків на базі архітектури SOA і доведена її придатність на конкретному прикладі з консолідації нормативно-довідкової інформації, в якому в якості обчислювальних ресурсів і ресурсів зберігання даних використовували середовище gLite, що забезпечується навчальним полігоном.

Крім того, на навчальному комплексі створено grid-додаток для вирішення ресурсномісткої завдання кластеризації (з'єднання вершин графа з мінімальним покриває деревом), а також ряд інших додатків: скрипти для запуску паралельних завдань з використанням універсального пакета для молекулярно-динамічного моделювання DL_POLY (проведені роботи дозволяють застосувати отриманий досвід для запуску завдань в рамках однієї з віртуальних організацій); сервіс зі зберігання й обробки медичних відеоданих; система моніторингу для проекту СКІФ-grid.

***

На базі grid, технологій віртуалізації і сервісної архітектури створена автономна і масштабована інфраструктура, що забезпечує потреби об'єднали свої ресурси центрів в підготовці кадрів в області grid-технологій. Запущено сайт (gridedu.jinr.ru) по створеної навчальної інфраструктурі, налагоджували освітній Web-портал дистанційного навчання по grid-технологій, ведуться роботи по реалізації моніторингу навчального комплексу. Крім наукових організацій, інтерес до даного проекту виявили сьогодні і вузи: ВМК МГУ, МІФІ, МЕІ і ряд інших. n