Биологический проект Налаштування

[Alien]

Как насчет сделать клиенты для громакса\намда с практическим применением в НИИ академии наук Украины?

[Alien]

я не совсем понял, что означает

Из темы по MolDynGrid Virtual Laboratory, в презентациях об эффективной параллелизации есть график сравнения есернет соединения с инфинибендом, между узлалами. Причем эффект в несколько раз лучше при использовании технологий с минимальными задержками.. Просто наш софт для МД, громакс, нуждается в таком аспекте. Есть программы которым некритичны задержки между узлами или компьютерами.
Есернет соединение так же присудствует между домашними пользователями, разница с сервером та, что у нас задержки при есернет 0.5-0.7 мс, а между домашними компьютерами и сервером может досягать 20 мс и более, в зависимости от провайдера.

Если более практично говорить, то в пределах серверного решения при разных интерконектах эсернет\инфинибенд составляет разницу в 2-3 раза.. Это при том что у инфинибенда задержки раза в 4-8 меньше чем у есернет. Есть почти прямая зависимость.
Теперь если говорить о домашних пользователей соединенным есернетом, задержки будут около 10-40мс (UA-IX), а с международным трафиком или укр.телекомом будет уже 50-100 мс. Это превышает в 10-100ни раз задержку относительно сервера.
Вот я не знаю как получится на практике с громаксом, который нуждается в минимальных задержках, для быстрого расчета. Потому, что теоретический прогноз говорит о неэффективном использовании ресурсов, в домашних условиях. Тут как Rilian сказал, разве что взять большим количеством ядер =).

Число в 5 раз медленней это я оптимистично прикинул, на эквивалент...)

насколько я понял, для одной большой молекулы тестируется множество состояний (вариантов конформации) на предмет выполнения определенного критерия (вычисление энергии связей, отбор значений с минимумом энергии), т.е. время вычислений большое из-за того, что число атомов велико и нужно выполнять просчет их взаимного расположения при каждом новом варианте конформации молекулы.

нуу не совсем.. Есть 6 степеней свободы, есть белок, есть вода и соли, которые на базе силового поля (растояние между атомами и т.д) и прочих условий симуляции как давления и температура выполняют ньютоновские движения. Более конкретно и кратко можно почитать десь http://www.library.biophys.msu.ru/MolDyn .
Да, здесь есть зависимость от чиста участвующих атомов, количества воды в боксе и т.д.
В примитивном варианте выгладит так

Кроме того ещё что-то там меняется во времени - я так и не понял, что же это за наносекунды, которых нужно хотя бы 1000?

нет, это я к тому, что до 2010 года мы расчеты динамики проводили до 100 нс, теперь ходим увеличить время до 1000нс, чтоб получить больше статистики.

Из остатков выветривающихся знаний могу предположить, что это симуляция естественного времени жизни молекулы белка при переходе из вторичной (или первичной?) структуры в третичную. Хотя наверняка это моё ложное предположение, ибо: насколько я помню, третичная структура является стабильной, т.е. её конформация не меняется с момента формирования и до действия внешнего фактора. Тогда нет разницы сколько будет длиться симуляция, важно просто достичь отсутствия новых, более удачных конформаций.

увидеть фолдинг для нас мечта =) Объект слишком большой и требует большого расчетного времени. А так у нас целый димер, тоесть можно сказать вся четвертичная. =)

Т.е. вся эта система очень быстро получает новые задания, отталкиваясь от результатов предыдущих вычислений. Кстати, не представляю себе - есть ли в кластере какой-то особый, координирующий узел (аппаратный) или аппаратно все равны, а вся корректировка заложена в общем алгоритме программы.
Т.е. грубо говоря вычисления в кластере линейны во времени: чтобы начался расчет кластера на 100-м часу его работы, нужно выполнить 99 часов предыдущих вычислений. И вся эта махина - считает много суток.

получается так, расечты самого процесса МД, ведутся по фреймам (кадрам). В каждый фрейм заложены скоростя атомов, которые используются для последущего.. Принцип цепочки. Но для расчета одного фрейма, идет распределение вычислений по узлам и ядрам. Вот почему можно хорошо распараллелить, но при этом критично к задержкам.

Так как же "порезать" этот большой последовательно выполняющийся алгоритм на кучу маленьких для 1CPU@3.0GHz?
В голову приходит только такой метод, когда на довольно мощном (кластере) выполняется какой-то предварительный расчет, относительно быстрый и неточный, но с точным определением границ. А уже множество клиентских CPU будут уточнять тот предварительный результат.

этого я уже не знаю.

Просто интересная тема, но ничего не понятно
Плохо, что Планетачка все ещё не написал/а свой диплом (хотя кто б говорил, я свой доделывал в последние часы )

понимаю, сложно, но стараюсь объяснять.
да, была бы неплохая дипломная работа для студента, с практической реализацией по всему миру, для украинского проекта =))
Хотя тут мало что придется своего писать, тут скорее проблема в настройках и адаптации.

[Sergyg]

аааааааа, ты все же предлагаешь (пока что) рассматиривать сеть удаленных юзеров как кластер?
Я же как раз РВ вычисления всегда воспринимал как совокупность ПК с очень медленной связью (0,5-1 Мбит/с) , где сервер раздает относительно небольшие (как по объему просчетов, так и банально по размеру передаваемой по сети информации) отностительно самостоятельных заданий (с проверкой контрольных сумм сервером) , а ты задумываешься от расширении грид по территории Украины - в каждый дом . Это ж какой канал интернета нужно иметь? и как тут с дублированием клиента (надежность результата и вообще факта выполнения задания)

Rilian

у вас есть команда которая может заняться генерацией заданий и изучением результатов и довести их до чего-то осмысленного

думаю, твой вопрос в части "изучением результатов и довести их до чего-то" - имеет заранее положительный ответ, а вот на счет "генерации заданий" Alien и пытается разобраться...

[Rilian]

Alien, как насчет обычного проекта на BOINC? Строить кластер на домашних компах, даже в пределах домосети, это будет очень нестабильно

[Alien]

так ребята не спешите комментировать, я обновил пост =))
просто старая версия форума глючит с браузером ИЕ 7й версии (maxthon)..

[Rilian]

Я прочитал пост, примерно информация соответствует тому что я уже знаю (впоросы как работает фолдинг итд у нас поднимались неоднократно и есть много инфы на официальных форумах проектов).

еще один не ясный вопрос, сколько все это ест диского пространства?

[Alien]

аааааааа, ты все же предлагаешь (пока что) рассматиривать сеть удаленных юзеров как кластер?
Я же как раз РВ вычисления всегда воспринимал как совокупность ПК с очень медленной связью (0,5-1 Мбит/с) , где сервер раздает относительно небольшие (как по объему просчетов, так и банально по размеру передаваемой по сети информации) отностительно самостоятельных заданий (с проверкой контрольных сумм сервером) , а ты задумываешься от расширении грид по территории Украины - в каждый дом . Это ж какой канал интернета нужно иметь? и как тут с дублированием клиента (надежность результата и вообще факта выполнения задания)

я пока что не понял разницы между тем, что предлагал Rilian и BOINC. Но это скорее из-за того что не вникал сильно в принцип BOINC.
Ну как я понял, должен быть сервер, на котором будет находится сам проект для расчета по которому будет происходить обмен данными с клиентским сегментом..
Задержки тут могут быть между сервером и клиентом и между самими клиентами.

еще один не ясный вопрос, сколько все это ест диского пространства?

для 100 нс, можно ограничится 5 Гб. чем дольше время, тем дольше.
Просто выключим запись trr файлов. Для наших био целей они не нужны. Их анализируют только физики, для термодинамических переходов.

[nikelong]

просто старая версия форума глючит с браузером ИЕ 7й версии (maxthon)..

Фаерфокс\опера тебе в помощь....

ДА, с ИЕ наш форум дружит очень, очень слабо ...

[Rilian]

аааааааа, ты все же предлагаешь (пока что) рассматиривать сеть удаленных юзеров как кластер?
Я же как раз РВ вычисления всегда воспринимал как совокупность ПК с очень медленной связью (0,5-1 Мбит/с) , где сервер раздает относительно небольшие (как по объему просчетов, так и банально по размеру передаваемой по сети информации) отностительно самостоятельных заданий (с проверкой контрольных сумм сервером) , а ты задумываешься от расширении грид по территории Украины - в каждый дом . Это ж какой канал интернета нужно иметь? и как тут с дублированием клиента (надежность результата и вообще факта выполнения задания)

я пока что не понял разницы между тем, что предлагал Rilian и BOINC. Но это скорее из-за того что не вникал сильно в принцип BOINC.
Ну как я понял, должен быть сервер, на котором будет находится сам проект для расчета по которому будет происходить обмен данными с клиентским сегментом..
Задержки тут могут быть между сервером и клиентом и между самими клиентами.

так я BOINC и предлагаю

[Alien]

Фаерфокс\опера тебе в помощь....

спасибо) не первый день в интернете .
для меня удобней макстон, но есть и лиса.

[Sergyg]

я пока что не понял разницы между тем, что предлагал Rilian и BOINC.

Ы, так Rilian именно Боинк и предлагает. (ну или хотя бы принцип Боинка, /многократно сорри/ но это не принципиально)

А вот мне пока кажется (через необiзнанiсть), что кластер ну слишком отличается от Боинка т.е. традиционных РВ именно из-за этого:

Т.е. грубо говоря вычисления в кластере линейны во времени: чтобы начался расчет кластера на 100-м часу его работы, нужно выполнить 99 часов предыдущих вычислений. И вся эта махина - считает много суток.

получается так, расечты самого процесса МД, ведутся по фреймам (кадрам). В каждый фрейм заложены скоростя атомов, которые используются для последущего.. Принцип цепочки. Но для расчета одного фрейма, идет распределение вычислений по узлам и ядрам. Вот почему можно хорошо распараллелить, но при этом критично к задержкам.

А Боинк (поправьте, если это не так) - как раз рассылает множество заранее заготовленных, достаточно несвязных между собой, маленьких заданий. Т.е. автор проекта имеет небольшие вычислительные мощности (+ свой мозг) - только, чтобы сформировать задания. Их делают очччень много, заготавливают впрок, рассылаются с дублированием (повторностью для лостоверности). ПРичем задания из диапазона №№1001-2000 сформированы БЕЗ УЧЁТА результатов выполнения заданий №№0000-1000.
А вот при расчете ВАШИМ методом на кластере (имхо) именно нельзя приступить к серии №№1001-2000 не дождавшись предыдущих. Как раз кластер и выполняет быстренько такой обмен, когда даже при скорости соединения 1Гбит общая производительность в 3 раза падает против коннекта Инфайнибенд.
Имхо это совсем не Боинк...

_______________________
забавно выглядят наши лаги в реагировании на посты, нужно включать "сообщ. отредактировано" для ясности

Це повідомлення відредагував Sergyg: Feb 1 2010, 00:44

[Alien]

Если мы предоставим сервер и возьмем на себя поддержку и продвижение проекта РВ, у вас есть команда которая может заняться генерацией заданий и изучением результатов и довести их до чего-то осмысленного (статьи или может какие-то реальные опыты в лаборатории основанные на результатах) ?

Не хотелось бы, чтоб кто-то сильно растрачивался на нас.
Это же кто-то должен оплачивать сервер, техническую работу проводить + еще и ресурсы предоставлять.
Это немаленькие деньги. Пожалуйста подумайте, прежде чем начинать.
Что касается статей, лабораторных исследований, то этим занимается отдел достаточно давно =)
Научную работу можно прочитать здесь (правда не все, не обновляли сайт) http://www.bioua.org.ua/proted/publications.php?newlang=ukr

С нашей стороны должны быть еще пожелания, что все алгоритмы работы, должны быть в рабочем состоянии, на базе BOINC.
Возможно такое распределение задачи, как раз лимитирует объекты, как мы это видим с F@H (что нам не подходит).
Этого я не знаю, но столкнулся при ГПУ акселерации.

так я BOINC и предлагаю

тогда я не понял про что это

Alien, как насчет обычного проекта на BOINC? Строить кластер на домашних компах, даже в пределах домосети, это будет очень нестабильно

Це повідомлення відредагував Alien: Feb 5 2010, 03:29

[Rilian]

Кстати, чтобы не изобретать велосипед ( = не настраивать и не изучать boinc с нуля) как вариант - можно сотрудничать с WCG. У них уже настроена вся инфраструктура.

http://www.worldcommunitygrid.org/research...mitAProposal.do

мощностя - 287 процессорных лет в день, 1.4 млн девайсов ( http://www.worldcommunitygrid.org/stat/viewGlobal.do )

[Sergyg]

...как раз лимитирует объекты, как мы это видим с F@H (что нам не подходит).

а я о чем говорю... неспроста у них молекулы ультрамикроскопические - нормальная молекула считалась бы на Ку6600 254234523457451 дней.
Вот и задача для вас - придумать, как разбить/разнести/развести ваш мега-процесс на млн. консьюмерских ЦПУ, в сети в 1Мбит/с - максиум . ИМХО

[Rilian]

тогда я не понял про что это

Alien, как насчет обычного проекта на BOINC? Строить кластер на домашних компах, даже в пределах домосети, это будет очень нестабильно

я так понимаю что у вас уже отлажен весь софт для работы на кластере, и вы предлагаете перенести его на домосеть.

->

Строить кластер на домашних компах, даже в пределах домосети, это будет очень нестабильно

потому что нельзя будет надеяться что определнный комп не выключат (на ночь) или не забьют канал (торрентами итд) пока он считает что-то важное

[Alien]

мм.. еще раз повторюсь, что после сертификации глайт, мы выйдем активней в Европу, точнее в ЕГЕЕ проекты.
А проблема заключается еще в том, что не все так просто =)
На каждом кластере необходимо установить и вести поддерку не только софта но и интерфейсов между нашей лаборатория и ними (но это как правило занимает поначалу время).
Что касается бионика, то для нас это не критично.. Для меня это интересно как минимум в том, чтоб и домашние пользователи присоединялись к расчетам и участвовали с нами в исследованиях.
Кратко говоря чисто из патриотических побуждений, помочь тем кому интересно, смотря на реализацию этого у F@H.

я так понимаю что у вас уже отлажен весь софт для работы на кластере, и вы предлагаете перенести его на домосеть.

у нас отлажена работа на 7ми серверах Украины в рамках Украинского Академического Грида.
Ни в коем случае мы не откажемся от того что у нас уже есть, мы это будет еще развивать.
Но ничто не мешает эту же задачу или другую поставить на расчет используя BOINC.
Особенно учитывая то, что пользователей становится больше.