MolDynGrid, Virtual Laboratory Налаштування

[Alien]

MolDynGrid Virtual Laboratory

Віртуальна лабораторія MolDynGrid створена у вересні 2008 р. для вирішення задач в галузях структурної біології і біоінформатики, які потребують значних витрат машинного часу та оперують великими об'ємами інформації. Мета створення ВО полягає в розробці ефективної інфраструктури для проведення in silico розрахунків молекулярної динаміки (МД) біологічних макромолекул (білків, нуклеїнових кислот та їхніх комплексів) у водно-іонному оточенні в часовому інтервалі до 100 нс. MolDynGrid є частиною проекту розвитку Грід-сегменту Національної академії наук України з обчислювальними кластерами Київського національного університету імені Тараса Шевченка, Інститутів молекулярної біології і генетики (ІМБіГ), клітинної біології і генетичної інженерії (ІКБГІ), теоретичної фізики (ІТФ) та ін. Використання ресурсів ВО MolDynGrid є вільним та безкоштовним для зареєстрованих членів за умови дотримання правил користування.
http://moldyngrid.org

публикации 2010 года:

(Show/Hide)

1. А. Salnikov, I. Sliusar, O. Sudakov, O. Savytskyi, A. Kornelyuk.
VIRTUAL LABORATORY MOLDYNGRID AS A PART OF SCIENTIFIC INFRASTRUCTURE FOR BIOMOLECULAR SIMULATIONS.
International Journal of Computing, 2010, Vol. 9, Issue 4, рр. 294-300.
2. А.О.Сальников, О.О.Судаков, О.В.Савицький, Є.А.Слюсар, О.І.Корнелюк.
ІНТЕГРОВАНЕ СЕРЕДОВИЩЕ ВІРТУАЛЬНОЇ ЛАБОРАТОРІЇ MolDynGrid ДЛЯ РОЗРАХУНКІВ МОЛЕКУЛЯРНОЇ ДИНАМІКИ БІОПОЛІМЕРІВ.
Медична інформатика та інженерія - Т. 3, № 1, c.24 - 32, (2010).
3. S.O. Yesylevskyy, O.V. Savytskyi, K.A. Odynets, A.I. Kornelyuk.
"Interdomain compactization in human tyrosyl-tRNA synthetase studied by the hierarchical rotations technique".
Submitted to Biophys. Chem.
4. O. Savytskyi, R. Nikolaenko and A. Kornelyuk,
"Molecular dynamics simulation of mutant tyrosyl-tRNA synthetase accociated with Charcot-Marie-Tooth neuropathy reveals the stabilization of enzyme dimer interface,"
Proceedings of Workshop Physical Chemistry of Biointerfaces, CIC biomaGUNE, 19-24 July 2010, Donostia - San Sebastian, Spain, p. 21.
5. Корнелюк О.І.
ГРІД-ТЕХНОЛОГІЇ І КОМП’ЮТЕРНИЙ ДИЗАЙН НОВИХ ЛІКАРСЬКИХ ПРЕПАРАТІВ.
Збірник праць Першого з'їзду ”МЕДИЧНА ТА БІОЛОГІЧНА ІНФОРМАТИКА І КІБЕРНЕТИКА” з міжнародною участю, 23-26 червня 2010 р. м. Київ, с.151.
6. О.В.Савицький, Є.А.Слюсар, О.І.Корнелюк.
ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ РОЗРАХУНКІВ МОЛЕКУЛЯРНОЇ ДИНАМІКИ БІЛКІВ В ГРІД-СЕРЕДОВИЩІ ВІРТУАЛЬНОЇ ЛАБОРАТОРІЇ MOLDYNGRID.
Збірник праць Першого з'їзду ”МЕДИЧНА ТА БІОЛОГІЧНА ІНФОРМАТИКА І КІБЕРНЕТИКА” з міжнародною участю, 23-26 червня 2010 р. м. Київ, с.152.
7. Є.А. Слюсар, Ю.В. Бойко.
Підсистема зберігання даних у відкритій інтероперабельній грід-інфраструктурі для біомедичних досліджень.
Збірник праць Першого з'їзду ”МЕДИЧНА ТА БІОЛОГІЧНА ІНФОРМАТИКА І КІБЕРНЕТИКА” з міжнародною участю, 23-26 червня 2010 р. м. Київ, с.153.
8. А.О. Сальніков, Ю.В. Бойко.
Методики інтеграції віртуальної лабораторії MolDynGrid в грід-інфраструктуру НАН України.
Збірник праць Першого з'їзду ”МЕДИЧНА ТА БІОЛОГІЧНА ІНФОРМАТИКА І КІБЕРНЕТИКА” з міжнародною участю, 23-26 червня 2010 р. м. Київ, с.154.

публикации 2009 года:

(Show/Hide)

9. А.О. Сальніков, О.О. Судаков, О.І. Корнелюк.
ІНТЕГРОВАНЕ СЕРЕДОВИЩЕ АВТОМАТИЗАЦІЇ РОБОТИ З ВЕЛИКИМИ ОБ'ЄМАМИ ДАНИХ В ГРІД.
Медична інформатика та інженерія - Т. 1, № 3, c.22-30 (2009).
10. A.O. Salnikov, I.A. Sliusar, O.O. Sudakov, O.V. Savytskyi, A.I. Kornelyuk.
MolDynGrid Virtual Laboratory as a part of Ukrainian Academic Grid infrastructure.
Proceedings of the 5-th IEEE Workshop IDAACS 2009, 21-23 September 2009, Rende (Cosenza), Italy, pp. 237-240.

(Show/Hide)

[Sergyg]

Молодцы, вы превзошли ожидания многих из нас

После ознакомления с презентацией появились такие мысли:

Основная часть ваших работ велась на кластере из 32 Оптеронов. На сегодня 1шт. Intel i7 способна на многое, да и КвардКоре и Феном довольно сильны.
Но, по всей видимости, ваши программы "общаются" именно с кластером, виртуально одной машинкой и перейти к схеме удаленных РВ, где нужно ещё засунуть алгоритмы в клиента, написать софт для сервера рассылки/приема заданий - большая ДОПОЛНИТЕЛЬНАЯ работа. Не говоря о том, что нужно как-то "разрезать" одну большую задачу на множество маленьких заданий.
Но, с другой стороны, если вы это осилите, думаю, получите заметное ускорение своей работы.
Многие пользователи могут выделить вашему клиенту более 2 Гб ОЗУ и даже более, если потребуется. (я вообще оч удивляюсь, что многие клиенты потребляют мало памяти, наверняка это из моральных соображений и в ущерб производительности). Хотя та же Rosetta@home требует много памяти на процесс и я вполне понимаю, почему так.
Хотя, может уже не стоит связываться с ЦПУ, т.к. имеем ГПУ. (Ферми, очевидно, будет мощной штукой с её производительностью в вычислениях двойной точности и серьёзно переработанной архитектурой).
Тем более, что Folding@home давно применяют Gromacs для ГПУ, вот только они там используют какой-то Brooks - вроде бы как давно устаревший и оттого довольно таки медленный. Но и они (почему-то?) не могут перейти на более эффективные алгоритмы (может, оттого, что трудно делать одинаковые задания для АМД и Нвидии? тогда нужно целиться на DirectCompute или OpenCl, ну или же CUDA с прицелом на Ферми. Но нужно где-то брать специалистов по этим делам или самим...)

Знакомы ли вы с методологией проекта Rosetta@home+Fold-it ? (имхо, они (зачем-то?) убрали с сайта анимацию своих достижений в симуляции фолдинга и вообще мало делятся результатами, но моему имху кажется, что ихний подход эффективнее, чем у Folding@home. Правда, мне так и не удалось углубиться, в чем основные отличия, вроде, как минимум, в бОльшей детализации у Folding@home. (но так ли она нужна?)

Также - я не силён в суперкомпьютерах, но сильно удивился, что в вашем тесте вышло, что кластер на основе (уже) очень слабых Ксеон2,33ГГц выдавали производительность на процессор - в 3 раза бОльшую, чем Ксеон3,2ГГц - за счет большей полосы пропускания между узлами. Просто интересно - это особенность используемых алгоритмов или общеизвестный факт, что 1Гбит сети оказывается явно недостаточно.

А 3Д-очки - думаю, вы оцените их пользу. Может, даже "другими глазами" посмотрите на казалось бы знакомые модели молекул.

(ну в презентации допущено 5 описок и 1 неясность на ровном месте, но это уже не имеет значения, если она была проанализирована целевой аудиторией)

[Alien]

Основная часть ваших работ велась на кластере из 32 Оптеронов.

нет, это не совсем так.
До развития Грид инфраструктуры и создании лаборатории MolDynGrid, расчеты велись локально на некоторых кластерах, включая и в Институте Кибернетики НАНУ.
Да, мы считали на ИМБГ-овском кластере раньше, но не более 10 нс. Он маломощный, как ты заметил.. Сейчас на нем считают или мелкие задачи или проводим анализ траекторий молекулярной динамики (МД).
За последний год, наши объекты исследований мы считаем на 32 ядрах и выше, на кластерах с инфинибенд. Благодаря меньшим задержкам эффект параллелизации значительно выше, относительно 1Gbit Ethernet.
Более свежую презентацию можно глянуть здесь, но тут тоже далеко не вся информация.
https://moldyngrid.org/forum/uploads/MDG_Gr...eports-2009.rar (видео ролик - первый слайд презентации)

На сегодня 1шт. Intel i7 способна на многое, да и КвардКоре и Феном довольно сильны.

мы на квадрах и считаем на кластерах ИСМ-ы и КПИ. (Xeon E5345 и Xeon E5440)

Но, по всей видимости, ваши программы "общаются" именно с кластером, виртуально одной машинкой и перейти к схеме удаленных РВ, где нужно ещё засунуть алгоритмы в клиента, написать софт для сервера рассылки/приема заданий - большая ДОПОЛНИТЕЛЬНАЯ работа. Не говоря о том, что нужно как-то "разрезать" одну большую задачу на множество маленьких заданий.
Но, с другой стороны, если вы это осилите, думаю, получите заметное ускорение своей работы.

да, работы много, но судя по фолдинг.хоуму - реальна для громакса.

Многие пользователи могут выделить вашему клиенту более 2 Гб ОЗУ и даже более, если потребуется. (я вообще оч удивляюсь, что многие клиенты потребляют мало памяти, наверняка это из моральных соображений и в ущерб производительности).

Нашим объектам с головой хватает по 512 мб\на ядро. А в целом на проект используется 600 мб, но из-за параллелизации по узлам кушается больше.

Хотя, может уже не стоит связываться с ЦПУ, т.к. имеем ГПУ. (Ферми, очевидно, будет мощной штукой с её производительностью в вычислениях двойной точности и серьёзно переработанной архитектурой).
Тем более, что Folding@home давно применяют Gromacs для ГПУ, вот только они там используют какой-то Brooks - вроде бы как давно устаревший и оттого довольно таки медленный. Но и они (почему-то?) не могут перейти на более эффективные алгоритмы (может, оттого, что трудно делать одинаковые задания для АМД и Нвидии? тогда нужно целиться на DirectCompute или OpenCl, ну или же CUDA с прицелом на Ферми. Но нужно где-то брать специалистов по этим делам или самим...)

мне очень интересна ГПУ акселерация, но судя по патчам для громакса от создателей Folding@home, они не поддерживают ряд алгоритмов, которые необходимы нам, для получения корректных результатов. Сложность еще в том, что в Folding@home считают очень маленькие объекты в пределах нескольких а.о., у нас же
комплексы большие и достигают около 10 тысяч атомов, только самого белка.

Знакомы ли вы с методологией проекта Rosetta@home+Fold-it ?

знаком, но уверен, что в меньшей степени чем вы.

Также - я не силён в суперкомпьютерах, но сильно удивился, что в вашем тесте вышло, что кластер на основе (уже) очень слабых Ксеон2,33ГГц выдавали производительность на процессор - в 3 раза бОльшую, чем Ксеон3,2ГГц - за счет большей полосы пропускания между узлами. Просто интересно - это особенность используемых алгоритмов или общеизвестный факт, что 1Гбит сети оказывается явно недостаточно.

это скорее мой недочет, просто те кому предназначалась презентация знакомы с архитектурами данных кластеров.
Ксеон 2,33ГГц - 4х ядерный процессор
Ксеон 3,2ГГц - 2х ядерный.
Еще хотел бы отметить, что по графику Ксеон 3,2ГГц, менее мощный чем АМД 2.0, на самом деле на кластере ICBGE сейчас софтовые проблемы и Интел не проявил себя в полных силах. Так что я думаю АМД проигрывает. Но результат в графике отображает реальное состояние на данный момент.

А 3Д-очки - думаю, вы оцените их пользу. Может, даже "другими глазами" посмотрите на казалось бы знакомые модели молекул.

да =)

(ну в презентации допущено 5 описок и 1 неясность на ровном месте, но это уже не имеет значения, если она была проанализирована целевой аудиторией)

в скриншотах?
насчет неясностей, тут уж сорри, она предназначалась для другой целевой аудиторией, как уже заметили. Поэтому я здесь и могу ответить на любые вопросы.