Биологический проект Налаштування

[Alien]

Как насчет сделать клиенты для громакса\намда с практическим применением в НИИ академии наук Украины?

[Alien]

в данном случае мне эти файлы не нужны... я считал более длинную динамику..
это тестовые проекты, для тренировки...чтоб понять можно ли его использовать для боинк сервера и адаптирование клиентов для кранчеров, под эти задачи.
используя грид ARC я знаю как остановить типа ngkill -keep gsiftp://*
в путти можно нажать комбинацию Контрл + С, а в винде не пробовал..
Думаю если просто закрыть консоль то результаты останутся.

[Algon]

Понял. В общем я занимаюсь дальше, по мере продвижения буду докладывать о результатах ))
Кроме MPI желательно еще уточнить вопросы с оптимизацией, например под SSE/3DNow и очень желательно под Cuda.

[Alien]

касательно КУДА..
отличная идея... есть плагин - https://simtk.org/home/openmm
год назад тестили бетку и на GTX260 нехватало памяти... Но реально может был большой объект или глюченая версия..интересно было бы протестировать на проф карте сегодня.

[Algon]

Установка однопоточного Gromacs на Windows

Для успешной компиляции и установки Gromacs необходимы следующие 3 компонента:
- Среда Cygwin, предназначенная для компиляции Linux-приложений из исходников и создания окружения для их успешной работы в OS Windows (http://www.cygwin.com/);
- FFTW, библиотека подпрограмм для языка C, предназначенная для работы с дискретными преобразованиями Фурье (http://www.fftw.org/);
- Непосредственно Gromacs (http://www.gromacs.org/)

1. В первую очередь необходимо загрузить Cygwin, текущая версия доступна по адресу http://www.cygwin.com/setup.exe
2. Запускаем полученный файл setup.exe, во втором окне выбираем "Install from Internet".
3. В качестве "Root Directory" оставляем "C:\cygwin". Вы можете выбрать свой путь для установки, но в дальнейшем придется вручную набирать большое количество команд с указанием этого пути. Учитывайте это при выборе каталога.
4. В качестве "Local Package Directory" оставляем "C:\cygwin\packages".
5. В следующем окне необходимо выбрать свой тип подключения к Интернет и указать необходимые данные.
6. Затем выбираем, с какого из зеркал будем загружать пакеты. Можно оставить по умолчанию.
7. В следующем окне "Setup Packages" будьте внимательны, необходимо установить следующие пакеты:

Секция "Devel"
- autoconf: Wrapper scripts for autoconf commands
- autoconf2.1: Stable version of the automatic configure script builder
- autoconf2.5: Development version of the automatic configure script builder
- automake1.9: a tool for generating GNU-compliant Makefiles
- binutils: The GNU assembler, linker and binary utilites
- gcc: C compiler upgrade helper
- gcc-core: C compiler
- gcc-g++: C++ compiler
- gcc-g77: Fortran compiler
- gcc-mingw-core: Mingw32 support headers and libraries for GCC
- gcc-mingw-g++: Mingw32 support headers and libraries for GCC C++
- gcc-mingw-g77: Mingw32 support headers and libraries for GCC Fortran
- libgcc1: GCC compiler support shared runtime
- libgdbm-devel: GNU dbm database routines (development)
- make: The GNU version of the `make` utility
- mingw-runtime: MinGW Runtime
Остальное оставляем по умолчанию.

Секция "Interpreters"
- perl: Larry Wall`s Practical Extracting and Report Language
Остальное оставляем по умолчанию.

Другие секции не трогаем.
После установки необходимых пакетов выбираем, создавать ли иконку на рабочем столе и добавлять ли в меню "Пуск".
После нажатия кнопки "Готово" инсталляция Cygwin завершена.

8. Загружаем во временную папку FFTW по ссылке http://www.fftw.org/fftw-3.2.2.tar.gz
9. Разархивируем полученный файл в папку C:\cygwin\packages\, в итоге должна получиться папка C:\cygwin\packages\fftw-3.2.2\ содержащая файлы FFTW.
10. Загружаем во временную папку Gromacs по ссылке ftp://ftp.gromacs.org/pub/gromacs/gromacs-4.0.7.tar.gz
11. Разархивируем полученный файл в папку C:\cygwin\packages\, должна получится папка C:\cygwin\packages\gromacs-4.0.7\ содержащая файлы Gromacs.
12. Запускаем Cygwin ярлыком "Cygwin Bash Shell" или вручную C:\cygwin\Cygwin.bat
13. В Cygwin-сессии переходим в каталог FFTW, набрав команду:
cd /cygdrive/c/cygwin/packages/fftw-3.2.2

14. Запускаем конфигурирование FFTW командой:
./configure --prefix=/cygdrive/c/cygwin/packages/fftw --enable-float

15. Когда конфигурирование будет завершено, запускаем команду make:
make

16. Затем запускаем:
make install
Когда процесс завершится, будет создан новый каталог C:\cygwin\packages\fftw\ содержащий файлы FFTW для Windows.

17. После этого переходим в каталог с файлами Gromacs:
cd /cygdrive/c/cygwin/packages/gromacs-4.0.7

18. Конфигурируем Gromacs следующей командой:
./configure --prefix=/cygdrive/c/Packages/Gromacs LDFLAGS=-L/cygdrive/c/cygwin/packages/fftw/lib CPPFLAGS=-I/cygdrive/c/cygwin/packages/fftw/include

19. Когда конфигурирование будет завершено, запускаем команду:
make

20. И затем:
make install

Процесс конфигурирования и компиляции занимает много времени (до нескольких часов), это нормально.
Если будут выдаваться предупреждения типа "Warning..." не обращайте на них внимания, главное чтобы не было "Error...". )) Если вы все-же получили сообщение об ошибке, проверьте правильность написания команды и правильность указания путей.
Примечание: диск C: в Cygwin указывается как /cygdrive/c/

После завершения компиляции получим новый каталог C:\cygwin\packages\gromacs\ содержащий файлы Gromacs для Windows.

21. Для нормальной работы программы необходимо внести в системную переменную PATH следующие каталоги:
C:\cygwin\bin\
C:\cygwin\packages\gromacs\bin\

Запуск расчета задания осуществляется из командной строки командой:
mdrun -s linker_md.tpr -g linker_md.log -o linker_md.trr -x linker_md.xtc -e linker_md.edr -c linker_md.gro -cpo linker_md.cpt -v -nice 0

[Alien]

спасибо за описание,
прежде чем обновим мануал, я вот нашел в той переписке такую ссылку
http://www.somewhereville.com/?p=112

Взята из переписки http://machine-phase.blogspot.com/2009/04/...dows-vista.html

amir said...
Dear Tom,
Im fairly new to Cygwin, openmpi,Etc. Im trying to install openmpi via the package i got from its website. My problem is that the openmpi configuration goes smooth , but the "make" and "make install" goes horribly wrong enters folders then exits saying that there is nothing to build ... Can you please somehow give me instructions as to how to install openmpi with Cygwin? I've searched all over the web and even Dr. Damian Allis' post (http://www.somewhereville.com/?p=112) but Im still very confused and frustrated.
Thanks alot,
Amir

May 11, 2010 3:27 AM
Tom said...
I encountered a similar problem when installing fftw, and it was because of how I extracted fftw to my fftw folder. I used 7-zip for the extraction. Fftw comes in a .tar.gz. I had to do two extractions (one for the gz and one for the tar) and ended up with something like C:/FFTW/FFTW with the second folder containing all the files including the make file. Make sure this isn't the case for you. If so, you have to change your directory down one more level, or cut all the files from the second FFTW folder and paste them into the first. This should put the make file in the proper place.

некоторые используют данный хелп http://www.gromacs.org/index.php?title=Dow...ghlight=openmpi

( http://www.gromacs.org/index.php?title=Download_%26_Installation/Installation_Instructions/Quick_and_Dirty_Installation )

http://oldwww.gromacs.org/pipermail/gmx-us...une/042682.html

[Algon]

FFTW у меня стала нормально, немного была путаница с синтаксисом команд сборки Gromacs, но разобрались.
MPI пока серьезно не занимался, займусь завтра. Спасибо за ссылки.

Администраторам форума: проверьте пожалуйста длинные ссылки в посте выше, напрямую не открываются, приходится копировать и удалять всякие distribredir, только после этого работают.

[Alien]

Algon, поскольку ты понял весь процесс работы... скажи это реально использовать для BOINC? как создать клиентскую и серверную часть представляешь уже? вот для громакса желательно распараллелить одну такую задачу на много юзеров..
как можно обойти такую штуку что один фрейм динамики создается всеми машинами, а следующий фрейм не будет создан без предыдущего... и если один из компов выключится, как будет перестрахован расчет?
со своей стороны скажу..что создаются чекпоинты, после восстановления с чекпоинта можно задать иное число ядер участвующих в расчете... система будет переразбита на другое количество ячеек и подкорректирован их размер (PME). получается, что если выключится у кого-то комп..система остановится и восстановиться расчет на новом числе ядер..
есть еще вариант..ставить данный расчет лишь на те машины которые гарантируют продолжительную работу, без выключений, с хорошим пингом между собой.

[Algon]

Alien,
К сожалению пришлось плотно отвлечься на основную работу, так что пока все приостановилось. Еще 2-3 дня буду очень занят, потом продолжу.

Algon, поскольку ты понял весь процесс работы... скажи это реально использовать для BOINC? как создать клиентскую и серверную часть представляешь уже? вот для громакса желательно распараллелить одну такую задачу на много юзеров..

Если удастся уменьшить время выполнения одной задачи до разумных пределов - реально. Разумными на мой взгляд являются до 20 дней на современном Quad.
Одну задачу в Boinc распараллеливать на несколько юзеров не получится, принципы кластера здесь неприменимы. В основном потому, что между машинами разных пользователей вообще нет прямой связи. Теоретически можно связать их через сервер и получить что-то типа огромного кластера (правда с высокими задержками), но эффективность такого решения должны оценивать вы, а не я
При таком решении возникают сопутствующие проблемы: подобная система будет требовать постоянного подключения к серверу, интернет-трафик у пользователей будет значительным, что снизит количество участников. Со стороны сервера будет требоваться широкий интернет-канал с минимальными задержками и оборудование самого сервера должно быть в состоянии кроме выполнения основных функций (сходных с функциями управляющей ноды кластера) поддерживать еще и сотни или тысячи VPN-подключений.
В итоге реализация подобного проекта становится довольно затратным делом, как по финансовым вложениям, так и по вложениям сил и времени.

как можно обойти такую штуку что один фрейм динамики создается всеми машинами, а следующий фрейм не будет создан без предыдущего... и если один из компов выключится, как будет перестрахован расчет?

Я инженер IT, а не биолог, поэтому принципы работы Gromacs для меня непонятны
Идеальным решением для Boinc является "одно задание на один компьютер". Естественно что скорость расчетов будет низкой, но вот общий объем может быть очень большим. Для обхода проблемы со сбоями/отключениями отдельных компьютеров обычно применяется принцип избыточности, то есть одно и то-же задание дается 2-3 компьютерам. Вероятность, что расчет будет прерван на всех, очень низкая, хоть один да посчитает.

со своей стороны скажу..что создаются чекпоинты, после восстановления с чекпоинта можно задать иное число ядер участвующих в расчете... система будет переразбита на другое количество ячеек и подкорректирован их размер (PME). получается, что если выключится у кого-то комп..система остановится и восстановиться расчет на новом числе ядер..

Это справедливо и имеет смысл для классического кластера при отказе/сбое ноды. Если мы все-же попытаемся реализовать концепцию "распределенного кластера", то его отказоустойчивость нужно будет обеспечивать избыточностью, о чем я говорил выше. Чекпоинты в этом случае будут гарантией от сбоя системы в целом.

есть еще вариант..ставить данный расчет лишь на те машины которые гарантируют продолжительную работу, без выключений, с хорошим пингом между собой.

Да, это наиболее просто реализуемый вариант, но количество таких машин не очень большое. Нужно учитывать тот факт, что большинство участников РВ считают не на выделенных машинах. На этих-же компьютерах могут параллельно работать в Интернет, играть в игры и т.д. Наконец банально могут отключить электричество или может пропасть связь с Интернет.

P.S. Возможно стоит обратиться за помощью к вашим западным коллегам? Они наверняка уже сталкивались с большинством этих проблем, возможно имеют и готовые пути их обхода или решения. Gromacs используют несколько действующих проектов РВ, даже если они не дадут готового решения - возможно подскажут, куда двигаться стоит, а куда нет, что избавит нас от многих ошибок и проблем.

[Alien]

Спасибо за ответ, буду ждать обновления.
Немного погуглил и нашел пару полезных ссылок, возможно знаете о них.
Создание BOINC проекта с нуля
http://www.spy-hill.net/~myers/help/boinc/...te_Project.html
И очень интересный источник нашел.. Ребята из России в 2008 году пытались сделать нечто подобное, к чему мы стремимся
http://www.boinc.ru/forum/default.aspx?g=posts&t=237&p=1

[Algon]

Российский проект так и окончился не начавшись. Причины лично мне непонятны. Я вообще наблюдал за теми событиями и мало что понимал. Например:
- есть работающий российский Boinc-проект, который не знает, что-бы ему посчитать;
- есть люди, которые знают что считать, но не имеют опыта в РВ.
Вполне логично было-бы объединить усилия и создать проект, имеющий и цель, и базу для ее достижения. Но этого не произошло по непонятным причинам.
Далее, есть международные организации, объединяющие ученых, но почему-то каждый проект (за редким исключением) начинает все с нуля и категорически не желает делиться накопленным опытом с другими. В чем причина?

По практической части: нам пока рановато заниматься изучением и созданием платформы (Boinc-сервера или другой), поскольку отсутствует определенность с самим принципом проведения расчетов. Возможно Boinc для этого не подойдет и придется создавать что-то подобное платформе Folding@Home или вообще полностью свою платформу, основанную на других принципах.
Те требования к платформе, что мы имеем сейчас, практически несовместимы с Boinc, и нам остается два варианта: либо подгонять требования под возможности Boinc, либо искать/создавать что-то другое.

[ReMMeR]

Возможно Boinc для этого не подойдет и придется создавать что-то подобное платформе Folding@Home

У фолдинга свой велосипед, весьма недоделанный.
Так что если боинк-платформа не подойдет, то для системы, где хосты должны активно общатся между собой, лично я вижу только систему на базе какойто п2п сети.
И опять же, боинк можно взять за основу.

[Alien]

Algon, согласен с тобой...наблюдается проблема недопониманий.. Но вроде бы я все изложил понятно, что необходимо по технической части... и что еще важнее я наблюдаю понимание с твоей стороны проблематику наших расчетов.
Лично для нашей лаборатории, которая использует крупные объекты исследований в 500 тыщ атомов в системе (в отличии от F@H, в пару сотен или тысяч) существует проблема в ресурсах... Как ты заметил есть условный лимит - 4 ядра в пределах месяца... Я понимаю, что мало кто сможет продержать свой комп даже на такой период.. На благо есть чекпоинты...возможно исходя из этого можно как-то перенаправлять и продолжать расчеты..
Нужно реально подумать, со своей стороны я готов расписать весь технический процесс..

К примеру в качестве оптимизации, я могу пройти все 12 этапов до самой молекулярной динамики (МД), даже пройти саму МД до 30-40 нс, что будет отвечать уравновешенному участку, таким образом сэкономим пару месяцев времени, используя расчеты на кластерах УАГ.
С моей точки зрения F@H считают пустышки... я не уверен, но у меня подозрения, что они не проводят расчеты в водно-солевом растворе, таким образом экономя процессорное время ну и существенно добавляют погрешности в свои исследования.
У нас как бы более серьезный уровень, который соответственно и требователен к ресурсам..
Пару практический цифр.
Динамика моей системы в 300 тысяч атомов на 32 ядрах при интерконекте инфинибенд занимает около 3х недель, для 100 нс динамики. Меньше чем 100 нс считать сегодня не интересно.

Исходя из всего этого...
Если расчет при BOINC займет около полу года, но я получу статистику из тысяч траекторий игра будет стоить свеч.... Потому что за пол года при расчетах на кластерах я получу около 10 траекторий..
Вот тут сразу видна польза.

[Algon]

Если делать упор на общее количество посчитанных траекторий, а не на скорость, то "игра стоит свеч".

В этом случае мы можем использовать следующий алгоритм расчетов:
1. Генерируются несколько сотен (или тысяч) задач, для каждой ограничивается время выполнения (например 120 часов). Для достижения избыточности каждая задача генерируетя в 2-3 экземплярах.
2. Эти задачи раздаются компьютерам участников.
3. Через 120 (ну или немного больше) часов возвращаются эти задачи, получаем промежуточные результаты (частично просчитанные траектории)
4. На основе полученных промежуточных результатов генерируется новая порция задач, снова раздается компьютерам участников проекта.
Пункты 3 и 4 повторяются до тех пор, пока траектории нужной длины не будут получены.

Если такой алгоритм вас устраивает, то вполне можно использовать Boinc, что несколько упрощает задачу в целом.

[Alien]

О! вот так наверное и нужно сделать...! это походу лучший и вполне реальный вариант..
у ребят с России в 2008 году была другая ситуация, тогда в 3м громаксе не было системы чекпоинта. Сегодня в 4м это вполне реализуемая процедура..
Мне интересно было бы узнать, сколько кранчер в среднем выделяет ядер для расчета? 2-4 ядра? (для ориентира ресурсов для расчета одной траектории)

Теперь еще один момент. Для восстановления требует помимо самого файла чекпоинта еще траектория которая может занимать до 5 гигабайт при 100 нс. Будет проблематично каждому последующему кранчеру качать недосчитаную траекторию такого объема.. Мне нужно будет уточнить, нужна ли сама траектория для восстановления или громакс начнет писать продолжение сам, создав новый файл XTC и TRR, который на серверах можно будет сшить в один. Главное чтоб сервер знал где какое продолжение и для какой траектории... нужно будет создать ID генератор (или найти существующий) с привязкой к единице траекторий, чтоб не было путаницы.

[Algon]

На мой взгляд имеет смысл использовать только системы, имеющие от 2 ядер. Компьютеры на базе Celeron и аналогичных процессоров будут считать слишком долго.
5 гигабайт это серьезный объем, необходимость передачи файлов такого объема сократит количество участников до считанных единиц.

По принципам работы Gromacs действительно лучше уточнять вам, получится быстрее и эффективнее. Если удастся свести трафик к минимуму и максимально использовать оптимизацию (под SSE, 3DNow, Cuda), получится привлечь максимальное количество участников.

Естественно что каждое задание будет необходимо отслеживать и проверять результаты расчетов. Частично этим займется сам Boinc-сервер, но все равно под него нужно будет делать соответствующие модули.