BOINC PENTATHLON 2019, соревнование в 5 проектах с 5 по 19 мая Налаштування

[Dromage]

С 5 по 19 мая 2019 SETI.Germany, как обычно, проводится командное epic-соревнование: Пентатлон. Борьба проходит в 5-ти частично пересекающихся по времени дисциплинах-проектах. В течение 14 дней участникам предлагается разумно рассредоточить свои силы для достижения максимально высокого итогового места команды.

Официальный сайт Пентатлона: https://www.seti-germany.de/boinc_pentathlon/?lang=en
Итогом Пентатлона-2019 для команды "Ukraine" стало 19-е место

5 дисциплин в этом году:

Marathon (Проект: OpenZika*) - ЗАКОНЧЕН (16 место)
http://www.worldcommunitygrid.org/
Время проведения: 5 - 19 мая 2019, 3:00 ночи по Киеву

Javelin Throw** (Проект: NFS@Home) - ЗАКОНЧЕН (19 место)
http://escatter11.fullerton.edu/nfs/
Время проведения:
попытка №1: 6 - 7 мая 2019, 3:00 ночи по Киеву
попытка №2: 9 - 10 мая 2019, 3:00 ночи по Киеву
попытка №3: 13 - 14 мая 2019, 3:00 ночи по Киеву

(Show/Hide)

попытка №4: 15 - 16 мая 2019, 3:00 ночи по Киеву

(Show/Hide)

попытка №5: 17 - 18 мая 2019, 3:00 ночи по Киеву

City Run (Проект: yoyo@home) - ЗАКОНЧЕН (23 место)
http://www.rechenkraft.net/yoyo/
Время проведения: 6 - 11 мая 2019, 3:00 ночи по Киеву

Cross Country (Проект: Einstein@Home) - ЗАКОНЧЕН (17 место)
http://einstein.phys.uwm.edu/
Время проведения: 11 - 16 мая 2019, 3:00 ночи по Киеву

Sprint (Проект: LHC@home) - ЗАКОНЧЕН (16 место)
https://lhcathome.cern.ch/lhcathome/
Время проведения: 16 - 19 мая 2019, 3:00 ночи по Киеву

* - Внимательно устанавливайте настройки в проекте WCG. Для "марафона" выбран исключительно подпроект OpenZika.
** - Новая дисциплина: "метание копья". Она состоит из пяти не обязательно последовательных дней. Кредиты подсчитываются за каждый день отдельно, а рейтинг основывается на третьем лучшем результате каждой команды. "Метание копья" в этом году заменяет "Плавание".

Полезная информация и советы!

Отправка заданий

(Show/Hide)

Убедитесь все что у вас такой параметр виставлен в файле cc_config.xml для немедленной отправки посчитанних результатов. Без него комп отправит результати не сразу, а только когда нужно будет пополнить кєш. После изменения єтого файла необходимо перезагрузить боинк либо файл настроек (в Меню боинка есть такой пункт). На линуксе єто команда boinccmd --read_cc_config в папке /var/lib/boinc-client

<cc_config>
<options>
<report_results_immediately>1</report_results_immediately></options>
<log_flags>
</log_flags>
</cc_config>

До речі, в boinc-client є менеждер з’єднання з інтернетом за розкладом. Кому бажано зливати в якись конкретний час - будь ласка.

розкопав одну фігню.
в файлі client_state.xml в секції проекту є строчка <upload_url>http:
ЇЇ прописав в файрвол.
В результаті завдання нові приймаються, а от відправка блокована.
На енштейні працює.

Для 24-ядерных платформ или просто если быстро посчитались задания, могу предложить следующее решение:
В "настройках клиента" ограничить скорость отправки посчитанного материала. Загружаться ВЮ к вам на комп будут, а отправляться не успеют из-за ограничения.

Хомячинг и управление кэшем BOINC-клиента

(Show/Hide)

Кэш - это очередь заданий, ожидающих начало расчета в твоем BOINC-клиенте. Чем больше у тебя заданий там будет, тем дольше BOINC сможет работать в автономном режиме, т.е. не сливая посчитанные результаты на сервер проекта. Включить автономную работу можно в BOINC-менеджере в разделе Управление > Работать автономно. Кэш выставляется в меню Сервис > Настройки клиента > вкладка "Настройка сети" > пункты "Минимальный буфер и "Макс. дополнительный буфер" (тут значение можно поставить по 10 дней - это максимум). Ты это делаешь, потом ждешь, когда зальются задания, смотришь - ага, на Х дней мне точно хватит, ставишь клиент на автономную работу и довольный ждешь начала этапа Пентатлона с выбранным проектом. До этого момента из автономного режима выходить нельзя, иначе кэш сольется на сервер без пользы.

Ну вот как-то так и выглядит хомячинг.

Как закачать в кэш очень много заданий.

У папці з Боінком створи чи відредагуй файл cc_config.xml

і пропиши там таке:

<cc_config>
<options>
<ncpus>8</ncpus>
</options>
</cc_config>

потом в Боінк вибрати Додатково-> Читати файли налаштувань

ncpus - це кількість "віртуальних" процесорів. Чим більше число - тим більше клієнт накачає завдань.

Коли буде купа завдань, в ncpus пишемо реальну кількість ядер процесора, вибираємо знову "читати файли налаштувань" і врубаємо автономний режим. Профіт ))

ускорение валидации (в некоторих проектах)

(Show/Hide)

я всегда при получении задания смотрю в профиле его состояние. Если задание выдано только вам - переходите на следующее. Можно просто не успеть его валидировать. Правильнее просто просмотреть ВСЕ полученные задания и поставить в работу только те, которые уже посчитаны. Тогда валидация будет сразу после слива - прирост в очках реально большой.

[Skyman]

P.S. Предлагаю создать командный чат с помощью какого-то мессенджера и чтоб там участвовали все активные кранчеры. Думаю, в подобных соревнованиях координиция была бы значительно облегчена...

Можно создать, например в Вайбере или Телеграмме. Я другими мессенджерами не пользуюсь

[ale4316]

Давно надо было лидера команде. Со списком всех машин , времени их работы.

[ale4316]

Создали в вайбере группу. Пишите в личку для добавления.

[dimus8210]

Я тут просмотрел на запасённое у наших копейщиков и присвистнул.
dimus - 717 шт (е16)
arsen.salamakha - 950 шт (е16)
Skyman - 614 шт (е16)
Dromage - 442 шт (е16)
amdk8 - 1378 шт (е16)
ale4316 - 241 шт (е16)
andrew - 55 шт (е16)
Denis Filimonov - 5 шт (е16)
Vlad - 4 шт (е16)
-------------------
ИТОГО: 4406 шт (е16) х 130 камней = 572'780 камней.

Т.е. при условии что все эти бункера будут посчитаны и если слить все в один день, то у нас получается почти 573 тысячи. Запасено у нас в закромах с излишками

Толку нам от этих слитых в один день заданий не будет никакого. Если же посчитать на две попытки, то выйдет:
572'780 / 2 = 286'390 камней.
Это было бы идеально, но тут главная сложность разделить количество слитых заданий на две примерно равные половины. И еще вопрос будут ли действительно к послезавтра досчитаны все 700-1400 заданий от dimus, arsen.salamakha, amdk8. Иначе я опираюсь на немного недостоверные данные с наших компов.

Как считаете, следует ли попытаться 2050-2200 заданий слить сегодня? В принципе, если мы их сливаем сегодня, то уже по любому ничего не теряем - третий результат меньше 185 тыс. в итоге у нас все равно не будет. Но тогда нужно договариваться КТО ИМЕННО будет сливать. И желательно чтоб эти люди сегодня не слили заранее между делом LHC@home. А остальные пусть бы досчитывали бункера и сливали те же 2050-2200 заданий уже 18 мая.

у мене в рази менше , я багато абортив

додайте в групу 0985201285

[ArsenEverlast]

Я тут просмотрел на запасённое у наших копейщиков и присвистнул.
dimus - 717 шт (е16)
arsen.salamakha - 950 шт (е16)
Skyman - 614 шт (е16)
Dromage - 442 шт (е16)
amdk8 - 1378 шт (е16)
ale4316 - 241 шт (е16)
andrew - 55 шт (е16)
Denis Filimonov - 5 шт (е16)
Vlad - 4 шт (е16)
-------------------
ИТОГО: 4406 шт (е16) х 130 камней = 572'780 камней.

Т.е. при условии что все эти бункера будут посчитаны и если слить все в один день, то у нас получается почти 573 тысячи. Запасено у нас в закромах с излишками

Толку нам от этих слитых в один день заданий не будет никакого. Если же посчитать на две попытки, то выйдет:
572'780 / 2 = 286'390 камней.
Это было бы идеально, но тут главная сложность разделить количество слитых заданий на две примерно равные половины. И еще вопрос будут ли действительно к послезавтра досчитаны все 700-1400 заданий от dimus, arsen.salamakha, amdk8. Иначе я опираюсь на немного недостоверные данные с наших компов.

Как считаете, следует ли попытаться 2050-2200 заданий слить сегодня? В принципе, если мы их сливаем сегодня, то уже по любому ничего не теряем - третий результат меньше 185 тыс. в итоге у нас все равно не будет. Но тогда нужно договариваться КТО ИМЕННО будет сливать. И желательно чтоб эти люди сегодня не слили заранее между делом LHC@home. А остальные пусть бы досчитывали бункера и сливали те же 2050-2200 заданий уже 18 мая.

у мене в рази менше , я багато абортив

додайте в групу 0985201285

у мене також менше, комп був офф майже добу( добавте в чат 096 935 00 55

[Dromage]

Вважаю, що в Ейнштейні виступили непогано. Все що могли - зробили. Дякую усім хто не пошкодував погріти свої відяхи та домівки

[dimus8210]

Вважаю, що в Ейнштейні виступили непогано. Все що могли - зробили. Дякую усім хто не пошкодував погріти свої відяхи та домівки

прогріло хату таки добре, доводилось балкон залишати відкритим

в кого вийшло запустити Native Theory опишіть покроково як, бо у мене при виконанні інструкції з LHC після рестарту боінк вилазить помилка і далі боінк не стартує

[amdk8]

в кого вийшло запустити Native Theory опишіть покроково як, бо у мене при виконанні інструкції з LHC після рестарту боінк вилазить помилка і далі боінк не стартує

Только что сделал на Арче, надеюсь, что поможет разобраться.
1. Устанавливаем cvmfs:

aurman -S cvmfs

2. Заменяем default.local

sudo mv /etc/cvmfs/default.local /etc/cvmfs/default.local.bk
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local

3. Создаём пути для монтирования cvmfs:

sudo mkdir -p /cvmfs/atlas.cern.ch
sudo mkdir -p /cvmfs/atlas-condb.cern.ch
sudo mkdir -p /cvmfs/grid.cern.ch
sudo mkdir -p /cvmfs/cernvm-prod.cern.ch
sudo mkdir -p /cvmfs/sft.cern.ch
sudo mkdir -p /cvmfs/alice.cern.ch

4. Монтируем cvmfs, я пока не автоматизировал, так что после перезагрузки надо делать заново:

sudo mount -t cvmfs atlas.cern.ch /cvmfs/atlas.cern.ch
sudo mount -t cvmfs atlas-condb.cern.ch /cvmfs/atlas-condb.cern.ch
sudo mount -t cvmfs grid.cern.ch /cvmfs/grid.cern.ch
sudo mount -t cvmfs cernvm-prod.cern.ch /cvmfs/cernvm-prod.cern.ch
sudo mount -t cvmfs sft.cern.ch /cvmfs/sft.cern.ch
sudo mount -t cvmfs alice.cern.ch /cvmfs/alice.cern.ch

При каждом успешном монтировании видим следующее:

CernVM-FS: running with credentials 989:989
CernVM-FS: loading Fuse module... done
CernVM-FS: mounted cvmfs on /cvmfs/atlas.cern.ch

5. Проверяем связь с удалённой ФС:

cvmfs_config probe

Результат должен быть такой:

Probing /cvmfs/atlas.cern.ch... OK
Probing /cvmfs/atlas-condb.cern.ch... OK
Probing /cvmfs/grid.cern.ch... OK
Probing /cvmfs/cernvm-prod.cern.ch... OK
Probing /cvmfs/sft.cern.ch... OK
Probing /cvmfs/alice.cern.ch... OK

6. Включаем пространства имен пользователей (действует до перезагрузки):

su
echo 1 > /proc/sys/kernel/unprivileged_userns_clone
exit

Без этого все задания заканчивались с ошибкой

nsenter: failed to unshare user namespace: Operation not permitted

7. Добавляем проект и кранчим.

Насколько я понял, рестарт boinc нужен только после выполнения последней части инструкции "Suspend/Resume", но она необязательная. В условиях Спринта нам приостанавливать задачи не нужно.

[dimus8210]

в кого вийшло запустити Native Theory опишіть покроково як, бо у мене при виконанні інструкції з LHC після рестарту боінк вилазить помилка і далі боінк не стартує

Только что сделал на Арче, надеюсь, что поможет разобраться.
1. Устанавливаем cvmfs:

aurman -S cvmfs

2. Заменяем default.local

sudo mv /etc/cvmfs/default.local /etc/cvmfs/default.local.bk
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local

3. Создаём пути для монтирования cvmfs:

sudo mkdir -p /cvmfs/atlas.cern.ch
sudo mkdir -p /cvmfs/atlas-condb.cern.ch
sudo mkdir -p /cvmfs/grid.cern.ch
sudo mkdir -p /cvmfs/cernvm-prod.cern.ch
sudo mkdir -p /cvmfs/sft.cern.ch
sudo mkdir -p /cvmfs/alice.cern.ch

4. Монтируем cvmfs, я пока не автоматизировал, так что после перезагрузки надо делать заново:

mount -t cvmfs atlas.cern.ch /cvmfs/atlas.cern.ch
mount -t cvmfs atlas-condb.cern.ch /cvmfs/atlas-condb.cern.ch
mount -t cvmfs grid.cern.ch /cvmfs/grid.cern.ch
mount -t cvmfs cernvm-prod.cern.ch /cvmfs/cernvm-prod.cern.ch
mount -t cvmfs sft.cern.ch /cvmfs/sft.cern.ch
mount -t cvmfs alice.cern.ch /cvmfs/alice.cern.ch

При каждом успешном монтировании видим следующее:

CernVM-FS: running with credentials 989:989
CernVM-FS: loading Fuse module... done
CernVM-FS: mounted cvmfs on /cvmfs/atlas.cern.ch

5. Проверяем связь с удалённой ФС:

cvmfs_config probe

Результат должен быть такой:

Probing /cvmfs/atlas.cern.ch... OK
Probing /cvmfs/atlas-condb.cern.ch... OK
Probing /cvmfs/grid.cern.ch... OK
Probing /cvmfs/cernvm-prod.cern.ch... OK
Probing /cvmfs/sft.cern.ch... OK
Probing /cvmfs/alice.cern.ch... OK

6. Включаем пространства имен пользователей (действует до перезагрузки):

su
echo 1 > /proc/sys/kernel/unprivileged_userns_clone
exit

Без этого все задания заканчивались с ошибкой

nsenter: failed to unshare user namespace: Operation not permitted

7. Добавляем проект и кранчим.

Насколько я понял, рестарт boinc нужен только после выполнения последней части инструкции "Suspend/Resume", но она необязательная. В условиях Спринта нам приостанавливать задачи не нужно.

дякую, все пройшло без помилок, але на жаль нема завдань щоб перевірити

[Vzik]

P.S. Предлагаю создать командный чат с помощью какого-то мессенджера и чтоб там участвовали все активные кранчеры. Думаю, в подобных соревнованиях координиция была бы значительно облегчена...

Вже більше року тому було створено в Телеграм групу @Distributed.Org.UA

[amdk8]

дякую, все пройшло без помилок, але на жаль нема завдань щоб перевірити

Я тоже столкнулся с проблемой дефицита заданий Theory Native. Т.к. предпочитаю нативные приложения, то подключил ещё ATLAS Native, для этого дополнительно к инструкции из предыдущего поста нужно установить singularity:

aurman -S singularity-container

и активировать чекбоксы "Выполнять тестовые приложения?" и "ATLAS Simulation" на странице Настройки LHC@home
По умолчанию задания на 12 ядер, каждое ест ~6Гб RAM при нулевой загрузке CPU в начале выполнения. Поэтому при наличии достаточного количества оперативки можно запускать 2 экземпляра с помощью app_config.xml. PPD сопоставим с Theory Native.

[Dromage]

Вже більше року тому було створено в Телеграм групу @Distributed.Org.UA

Якби ще хтось про неї пам'ятав... У мене нема зараз Телеграма.

[dimus8210]

дякую, все пройшло без помилок, але на жаль нема завдань щоб перевірити

Я тоже столкнулся с проблемой дефицита заданий Theory Native. Т.к. предпочитаю нативные приложения, то подключил ещё ATLAS Native, для этого дополнительно к инструкции из предыдущего поста нужно установить singularity:

aurman -S singularity-container

и активировать чекбоксы "Выполнять тестовые приложения?" и "ATLAS Simulation" на странице Настройки LHC@home
По умолчанию задания на 12 ядер, каждое ест ~6Гб RAM при нулевой загрузке CPU в начале выполнения. Поэтому при наличии достаточного количества оперативки можно запускать 2 экземпляра с помощью app_config.xml. PPD сопоставим с Theory Native.

щось мені з атласами нативними не щастить, 10хв і завершуються помилкою бо походу не встановилось singularity-container по інструкції для убунту що знайшов на форумі, vbox версія порахувалась нормально, але більше завдань не приходить, було одне коротеньке Theory Native і порахувалось вірно

з тексту протоколу
This is not SLC6, need to run with Singularity....
Checking Singularity...
sh: 1: singularity: not found
Singularity is not installed, aborting

[dimus8210]

Javelin Throw (NFS@Home) закінчився, ми змістились на 19 позицію, я так зрозумів що в залік йшов третій результат. принаймні в 20-тку в загальному заліку входимо

[Dromage]

Javelin Throw (NFS@Home) закінчився, ми змістились на 19 позицію, я так зрозумів що в залік йшов третій результат. принаймні в 20-тку в загальному заліку входимо

Ну, те що в "метанні спису" ми змістимось з 17 на 19 місце було зрозуміло ще перед 5-ю спробою (див. спойлер в першому посту - той що після 4-го змагального дня).
Але ми вирішили що вигідніше буде кинути всі сили на "спринт". Зараз ми там, начебто, непогано йдемо.

В загальному заліку йдемо на 19-му місці що значно краще двох попередніх років. Було б добре втриматися на цій позиції. До фінішу залишилося 14 годин.