Войти
Как начать работать в грид
Существует два пути: создать свой собственный грид, либо присоединиться к какому-то существующему.
Идя по первому пути, нужно сделать следующее:
Выбор ПО зависит от цели создания грид. Если грид будет обслуживать небольшое количество пользователей и содержать немного ресурсов, то достаточным может оказаться простое решение – Globus Toolkit (GT). Помимо указанных выше функций он содержит информационную службу, с помощью которой можно выбирать узлы для запуска заданий, и обеспечивает безопасность дистанционного взаимодействия.
Нужно иметь в виду, что грид предполагает определенную локальную организацию своих узлов. В каждом узле может содержаться множество компьютеров, поэтому для управления их ресурсами в узле должна быть установлена система пакетной обработки, например, PBS, SGE, LSF, Condor.
Наибольшее распространение сейчас получили две версии Globus Toolkit – GT2 и GT3. Для вычислительного грид можно рекомендовать GT2, хотя и более раннюю, но прошедшую хорошую обкатку. GT3 построена в архитектуре грид-служб (OGSA-OGSI) и располагает инструментарием для построения любых пространственно распределенных приложений (не обязательно вычислительного типа), однако обладает рядом недостатков. В 2005 году должна выйти новая версия GT4, основанная на ином стандарте - WSRF.
Если строится масштабный грид, то понадобятся коммунальные службы, обслуживающие коллектив пользователей (виртуальную организацию) и управляющие множеством ресурсов. Уже сейчас разработано большое количество разнообразных служб (поддержки различных аспектов безопасности, управления файлами, диспетчеризации заданий, мониторинга и т.д.). Можно их ставить в грид по отдельности, но лучше, наверное, воспользоваться собраниями служб - пакетами, которые помимо собственно ПО для грид имеют средства установки и конфигурирования. По нашему мнению, наиболее развитым, и с точки зрения полноты, и с точки зрения автоматизации установки, является пакет LCG2.
Второй путь – присоединение к существующему грид, тоже возможен. В проекте EGEE (Enabling Grids for E-sciencE) ставится задача создания постоянно действующей инфраструктуры грид для поддержки научно-исследовательской деятельности в Европе. Проект выполняется консорциумом из 70 институтов в 27 странах. Россию представляют 8 институтов, разрабатывающих инфраструктуру регионального Грид - РДИГ (Russian Data Intensive GRID).
Помимо прочего, одна из целей проекта EGEE – вовлечение в движение грид новых участников, которые могут стать как пользователями Грид EGEE, так и поставщиками ресурсов. Потенциальные участники грид должны учитывать следующее.Подключение к грид EGEE осуществляется через виртуальные организации (ВО), в которые кооперируются как потребители, так и владельцы ресурсов. Мотивы кооперации могут быть разными, сейчас в грид EGEE виртуальная организация – это объединение (коллаборация) специалистов из некоторой прикладной области. Первое, что нужно сделать для подключения к грид – это найти подходящую ВО. ВО располагает определенным количеством ресурсов, которые предоставлены зарегистрированными в ней владельцами (некоторые ресурсы могут одновременно принадлежать нескольким ВО). Каждая ВО самостоятельно устанавливает правила работы для своих участников, исходя из соблюдения баланса между потребностями пользователей и наличным объемом ресурсов. Поэтому "чистый" пользователь должен обосновать свое желание работать в грид и получить согласие управляющих органов ВО.
Российские специалисты могут работать в различных ВО EGEE, но помимо этого РДИГ начал поддерживать и собственные ВО, так что процедура подключения к грид стала существенно проще. Создан специальный сайт, содержащий необходимые для выполнения регистрации материалы.
Идя по первому пути, нужно сделать следующее:
- выделить некоторое количество подключенных к сети компьютеров, структурировав их в узлы грид;
- выбрать определенное ПО грид (middleware) и ПО для локального управления ресурсами;
- установить и сконфигурировать ПО.
Выбор ПО зависит от цели создания грид. Если грид будет обслуживать небольшое количество пользователей и содержать немного ресурсов, то достаточным может оказаться простое решение – Globus Toolkit (GT). Помимо указанных выше функций он содержит информационную службу, с помощью которой можно выбирать узлы для запуска заданий, и обеспечивает безопасность дистанционного взаимодействия.
Нужно иметь в виду, что грид предполагает определенную локальную организацию своих узлов. В каждом узле может содержаться множество компьютеров, поэтому для управления их ресурсами в узле должна быть установлена система пакетной обработки, например, PBS, SGE, LSF, Condor.
Наибольшее распространение сейчас получили две версии Globus Toolkit – GT2 и GT3. Для вычислительного грид можно рекомендовать GT2, хотя и более раннюю, но прошедшую хорошую обкатку. GT3 построена в архитектуре грид-служб (OGSA-OGSI) и располагает инструментарием для построения любых пространственно распределенных приложений (не обязательно вычислительного типа), однако обладает рядом недостатков. В 2005 году должна выйти новая версия GT4, основанная на ином стандарте - WSRF.
Если строится масштабный грид, то понадобятся коммунальные службы, обслуживающие коллектив пользователей (виртуальную организацию) и управляющие множеством ресурсов. Уже сейчас разработано большое количество разнообразных служб (поддержки различных аспектов безопасности, управления файлами, диспетчеризации заданий, мониторинга и т.д.). Можно их ставить в грид по отдельности, но лучше, наверное, воспользоваться собраниями служб - пакетами, которые помимо собственно ПО для грид имеют средства установки и конфигурирования. По нашему мнению, наиболее развитым, и с точки зрения полноты, и с точки зрения автоматизации установки, является пакет LCG2.
Второй путь – присоединение к существующему грид, тоже возможен. В проекте EGEE (Enabling Grids for E-sciencE) ставится задача создания постоянно действующей инфраструктуры грид для поддержки научно-исследовательской деятельности в Европе. Проект выполняется консорциумом из 70 институтов в 27 странах. Россию представляют 8 институтов, разрабатывающих инфраструктуру регионального Грид - РДИГ (Russian Data Intensive GRID).
Помимо прочего, одна из целей проекта EGEE – вовлечение в движение грид новых участников, которые могут стать как пользователями Грид EGEE, так и поставщиками ресурсов. Потенциальные участники грид должны учитывать следующее.
- Проект EGEE стартовал относительно недавно – в апреле 2004 года, разрабатываемая им инфраструктура находится в стадии становления, а выход на производственный режим запланирован в 2007 году. Тем не менее, уже сейчас EGEE имеет прочную базу в виде организационных и архитектурных решений, развитого программного обеспечения, а самое главное, в грид EGEE интегрировано колоссальное по обычным меркам количество ресурсов – более 10 000 процессоров и свыше 4 петабайтов постоянной памяти.
- EGEE структурирован в региональные федерации. Российская федерация РДИГ ставит в качестве одной из главных целей развитие национальной инфраструктуры грид, объем ресурсов которой, хотя и не столь внушителен, составляет сейчас 300 процессоров и 6 терабайтов постоянной памяти и будет наращиваться. Пока не начата крупномасштабная обработка данных с ускорителя LHC, эти ресурсы недозагружены, и ими можно пользоваться. РДИГ заинтересован как в появлении новых пользователей грид, которые не имеют собственных ресурсов, так и в присоединении новых организаций, способных выделить в грид свои ресурсы. Первое, что нужно сделать для подключения к грид – это найти подходящую ВО.
Российские специалисты могут работать в различных ВО EGEE, но помимо этого РДИГ начал поддерживать и собственные ВО, так что процедура подключения к грид стала существенно проще. Создан специальный сайт, содержащий необходимые для выполнения регистрации материалы.
