Привіт Гість ( Вхід | Реєстрація )

> Биологический проект
Alien
Jan 31 2010, 15:26
Пост #1


Разработчик MolDynGrid
*******

Група: Trusted Members
Повідомлень: 584
З нами з: 7-October 07
Користувач №: 594
Стать: Чол
Парк машин:
Q6600 2.4@3.0GHz\Asus p5kc\8Gb\8600GT\2 SATA: Sams 500Gb+ 500Gb + Seagate 400Gb



Как насчет сделать клиенты для громакса\намда с практическим применением в НИИ академии наук Украины?


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
7 Сторінки V  1 2 3 > »   
Reply to this topicStart new topic
Відповідей(1 - 14)
Rilian
Jan 31 2010, 16:17
Пост #2


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



QUOTE(Alien @ Jan 31 2010, 15:26) *

Как насчет сделать клиенты для громакса\намда с практическим применением в НИИ академии наук Украины?

Мы можем обеспечить "серверную" поддержку (аптайм, поддержка англоязычных юзеров на форуме, итд), но биологических знаний у нас недостаточно.

Если у вас есть команда которая разбирается в молекулярном ПО, которая знает как делать и изучать ВЮ, то давайте


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Alien
Jan 31 2010, 17:00
Пост #3


Разработчик MolDynGrid
*******

Група: Trusted Members
Повідомлень: 584
З нами з: 7-October 07
Користувач №: 594
Стать: Чол
Парк машин:
Q6600 2.4@3.0GHz\Asus p5kc\8Gb\8600GT\2 SATA: Sams 500Gb+ 500Gb + Seagate 400Gb



(Rilian @ Jan 31 2010, 16:17) *

Мы можем обеспечить "серверную" поддержку (аптайм, поддержка англоязычных юзеров на форуме, итд), но биологических знаний у нас недостаточно.

Если у вас есть команда которая разбирается в молекулярном ПО, которая знает как делать и изучать ВЮ, то давайте

ну если так, то больших проблем не должно возникнуть..
Мои предложения и уточнения:
1.1- сервер на виндовс? есть ли возможность для линукса ибо для виндовс версия устаревшая и редко обновляется http://www.gromacs.org/index.php?title=Dow...686//MS_Windows
1.2- важно ли какая ос на сервере и у клиента? она должна быть одинакова или все равно?
2.1- из темы про молдингрид, мы уже знаем, что для громакса, для хорошей параллелизации необходимы минимальные задержки, как думаете какой прирост производительности будет с добавление еще одного юзера? К примеру у обоих Q6600 задержка между пользователями и сервером 10-20 мс.
2.2- от сюда целесообразность, какова статистика у F@H по вопросу эффективности относительно серверного решения?
3- можно пока сконцентрироваться на громаксе ибо он сейчас самый популярный в расчетах. Еще гауссиан, но он платный, а это проблемы с лицензией.
4- есть плагин для ГПУ акселерации, но боюсь пока непрактичен для нас. Хотя не перепроверяли на последних версиях.
5- в идеале для такого решения подойдет программа для докинга Autodock 4, но мы пока редко используем этот метод... (для одной задачи - тысячи проектов по 1ядру, которые технически независимы) Сейчас сконцентрированы на МД.
6- постановка задачи в громакс состоит из ~12 шагов, сама МД на последнем и занимает 95% времени, вот последний шаг (mdrun) можно и адаптировать под клиент, чтоб не заниматься лишней работой.
7- какие технические требования к серверу?
8- что такое ВЮ? =)


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Jan 31 2010, 17:17
Пост #4


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



QUOTE(Alien @ Jan 31 2010, 17:00) *

QUOTE(Rilian @ Jan 31 2010, 16:17) *

Мы можем обеспечить "серверную" поддержку (аптайм, поддержка англоязычных юзеров на форуме, итд), но биологических знаний у нас недостаточно.

Если у вас есть команда которая разбирается в молекулярном ПО, которая знает как делать и изучать ВЮ, то давайте

ну если так, то больших проблем не должно возникнуть..
Мои предложения и уточнения:
1.1- сервер на виндовс? есть ли возможность для линукса ибо для виндовс версия устаревшая и редко обновляется http://www.gromacs.org/index.php?title=Dow...686//MS_Windows
1.2- важно ли какая ос на сервере и у клиента? она должна быть одинакова или все равно?
2.1- из темы про молдингрид, мы уже знаем, что для громакса, для хорошей параллелизации необходимы минимальные задержки, как думаете какой прирост производительности будет с добавление еще одного юзера? К примеру у обоих Q6600 задержка между пользователями и сервером 10-20 мс.
2.2- от сюда целесообразность, какова статистика у F@H по вопросу эффективности относительно серверного решения?
3- можно пока сконцентрироваться на громаксе ибо он сейчас самый популярный в расчетах. Еще гауссиан, но он платный, а это проблемы с лицензией.
4- есть плагин для ГПУ акселерации, но боюсь пока непрактичен для нас. Хотя не перепроверяли на последних версиях.
5- в идеале для такого решения подойдет программа для докинга Autodock 4, но мы пока редко используем этот метод... (для одной задачи - тысячи проектов по 1ядру, которые технически независимы) Сейчас сконцентрированы на МД.
6- постановка задачи в громакс состоит из ~12 шагов, сама МД на последнем и занимает 95% времени, вот последний шаг (mdrun) можно и адаптировать под клиент, чтоб не заниматься лишней работой.
7- какие технические требования к серверу?
8- что такое ВЮ? =)


1) есть мощный сервер на debian. + небольшой опыт установки BOINC-сервера
какая ось у клиента не важно, ибо ВЮ хранятся в унифицированном формате, а рассчетные ядра высылаются юзеру в зависимости от его ОС

2) нужно будет разбивать задание на много кусков и установить приемлемый дедлайн. Этим должна заниматься команда биологов которые разбираются в громаксе итд...

3) --//--

4) --//--

5) тысячи проектов по одному ядру - как раз для этого и нужны РВ. Думаю наша команда сможет без проблем обеспечить 1000 компьютеров, а в мире еще есть несколько миллионов кранчеров smile.gif

7) требования к серверу - не падать под большой нагрузкой. в данное время у нас сервер "оттестирован" на 2000000 хитов в день (2MB/sec траффика) (надо было подержать в рабочем состоянии канал TNT в турции). Короче - можно не переживать по этому поводу.

8) ВЮ = work unit, задача, которая отсылается для рассчетов на компьютер юзера


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Alien
Jan 31 2010, 17:45
Пост #5


Разработчик MolDynGrid
*******

Група: Trusted Members
Повідомлень: 584
З нами з: 7-October 07
Користувач №: 594
Стать: Чол
Парк машин:
Q6600 2.4@3.0GHz\Asus p5kc\8Gb\8600GT\2 SATA: Sams 500Gb+ 500Gb + Seagate 400Gb



приемлемый дедлайн, ммм наверное это будет действительно выгодно лишь для докинга и квантовой химии - гауссиан http://www.gaussian.com
Сейчас по кластерам Украины ожидает в очереди десятки тысяч проектов для гауссиана. Каждый проект этой программы может параллелиться только в пределах узла\компьютера, таким образом это будет небольшим отличием от сервера, а с такими ресурсами как домашние ПК это в несколько раз лучше серверного решение и освобождение ресурсов для более тяжелых расчетов, как МД.
Жаль, что все упирается в лицензию, без нее проект может быть только неофициальным. У академии наук есть лицензия, она находится в ИТФ НАНУ, но привязана только к одну кластеру. Еще проблема в том, что обновления тоже стоят дополнительных растрат. Как обойти или решить эти юр проблемы я не знаю.
Есть идеи?


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Jan 31 2010, 17:58
Пост #6


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



я не очень понимаю. и докинг (Autodock) (могу перечислить десяток проектов которые его юзают) и MD (юзается как минимум F@H) успешно считаются на домашних ПК

Можешь еще раз перечислить:
1) виды рассчетных программ которые доступны
2) задачи которые можно решить с помощью домашних компов и чем их решать

и подробнее чем плоха "неофициальность проекта"


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Alien
Jan 31 2010, 18:25
Пост #7


Разработчик MolDynGrid
*******

Група: Trusted Members
Повідомлень: 584
З нами з: 7-October 07
Користувач №: 594
Стать: Чол
Парк машин:
Q6600 2.4@3.0GHz\Asus p5kc\8Gb\8600GT\2 SATA: Sams 500Gb+ 500Gb + Seagate 400Gb



ок, приведу в цифрах.
Что касается МД, для нас интересно считать системы более 500 тыщ атомов, более 100 нм. На сервере с 96 ядрами, при инфинибенде это занимает месяц. Повторюсь, что уже интересно более 100 нм, хотя бы до 1000. Это при тех же 96 ядрах может занять соответственно в 10 раз больше времени.
Если речь о домашних компьютерах, то прирост производительности не будет таким хорошим и я полагаю относительно того же серверного решения может занять в ~5 раз больше.

C Autodock, проблем абсолютно никаких нет, кроме той, что я не знаю пока тех, кто активно на нем считает СЕГОДНЯ, но это вопрос времени.. Я до него через годик лично сам доберусь =)

F@H, считающие в громаксе это хороший пример, но мне почему-то кажется что они добавили в открытй код свои доработки, благодаря которым все чудненько получается.. Но я не уверен тут, я не с пец в программинге. Как я уже писать вся система разбивается на ячейки, на группы задач, благодаря которым происходит параллелизация и для ее эффективности необходимы минимальные задержки между процессами.
более детально http://www.gromacs.org/@api/deki/files/82/...acs4_manual.pdf (41 cт. Domain decomposition)
есть еще зависимость, от количества запрашиваемых ядер, должен меняться размер ячеек, есть для этого утилита http://www.mpibpc.mpg.de/home/grubmueller/...macs/index.html

1- программы, которые доступны, востребовательны сегодня, бесплатны:
GROMACS, NAMD, Autodock (аналог Arguslab)

2.1- ПП GROMACS, запуск самой МД, программой mdrun
выглядит это так
mdrun_mpi -s tyrn_md.tpr -g tyrn_md.log -o tyrn_md.trr -x tyrn_md.xtc -e tyrn_md.edr -c tyrn_md.gro -cpo tyrn_md.cpt -v  -nice 0
где tyrn_md.tpr входяхий файл, размером в пару мб, на выходе получаются файлы траекторий tyrn_md.trr (динамика всей системы, достигает 250 Гб и более, можно от него отказаться), tyrn_md.edr (файл с инфой об энергии) и tyrn_md.xtc (динамика самого белка, урезанный trr файл, занимает ~2Гб при 100 нс), tyrn_md.cpt (файл чекпоинта, хранит последние фреймы динамики)

2.2 ПП NAMD, почти тоже самое, нужен только сам запуск МД.
./charmrun namd2 +p4 md_4mp.namd ++verbose 2>&1 | tee md_4mp.log

где md_4mp.namd , подготовленый заранее файл проекта

2.3 Автодок, еще проще там файлик самой программы размером 400кб, отправляется на расчетную машину и там считается с проектом


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Jan 31 2010, 18:35
Пост #8


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Какие требования по памяти в MD для "интересных" параметров 500к атомов, 1000нс для одного подзадания (1 ядра) ?

Падение скорости в 5 раз на домашних компах по сравнению с тем же кол-вом выч мощности кластера -- эта проблема нивелируется тем что домашних компов грубо говоря - неограниченное количество и можно одновременно решать кучу подзаданий. Ускорить вычисления можно также такими способами:

1) Отсылается сразу несколько одинаковых копий одного подзадания. Например кворум = 2 валидных результата. А отправляем 3. То есть даже если один из тройки компов не ответит в течение дедлайна, на сервер прийдут 2 результата. Ситуации когда не успевают 2 компьютера - меньше 1%, ситуации когда не успевают 3 компа - еще меньше.

2) бонусы по очкам за очень быструю доставку результатов. Многие кранчеры которые следят за статистикой будут рады.


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Alien
Jan 31 2010, 18:44
Пост #9


Разработчик MolDynGrid
*******

Група: Trusted Members
Повідомлень: 584
З нами з: 7-October 07
Користувач №: 594
Стать: Чол
Парк машин:
Q6600 2.4@3.0GHz\Asus p5kc\8Gb\8600GT\2 SATA: Sams 500Gb+ 500Gb + Seagate 400Gb



если поставить весь проект на одно ядро, то не требовалось более 700мб, в случае параллелизации, на каждое ядро уходить по 300-500мб. Мы ставим по 756мб на ядро, при 512мб вылетов вроде не было.
насчет распределения задач, с копиями я не представляю как это с громаксом реализуемо, но если F@H сделали, то можно же как-то. Если что может стоит им написать и уточнить, если они нигде это не описывали.


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Jan 31 2010, 18:55
Пост #10


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



на автодоке сейчас считают РВ:
docking@home - собсно обкатывают софт
drugdiscovery@home
hydrogen@home
WCG fightAIDS@home
WCG discovering dengue drugs

и другие проекты (надо повспоминать)


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Alien
Jan 31 2010, 18:58
Пост #11


Разработчик MolDynGrid
*******

Група: Trusted Members
Повідомлень: 584
З нами з: 7-October 07
Користувач №: 594
Стать: Чол
Парк машин:
Q6600 2.4@3.0GHz\Asus p5kc\8Gb\8600GT\2 SATA: Sams 500Gb+ 500Gb + Seagate 400Gb



чем нам поможет то, что они считают? предоставят готовый софт для сервера и клиентов?


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Jan 31 2010, 19:00
Пост #12


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



---
с 700МБ памяти на ВЮ на домашних компах думаю проблем не будет

---
итак
1) надо решить на чем (какой софт) нужно считать, MD или Autodock,
2) и подробнее чем плоха "неофициальность проекта" (лицензия gaussian итп)
3) что именно считать

QUOTE(Alien @ Jan 31 2010, 18:58) *

чем нам поможет то, что они считают? предоставят готовый софт для сервера и клиентов?

нет, это я к тому что кто "СЕГОДНЯ" на нем считает. Например организатор hydrogen@home и drugdiscovery@home у меня есть в скайпе smile.gif. Я думаю если что можно будет образаться за помощью


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Alien
Jan 31 2010, 19:30
Пост #13


Разработчик MolDynGrid
*******

Група: Trusted Members
Повідомлень: 584
З нами з: 7-October 07
Користувач №: 594
Стать: Чол
Парк машин:
Q6600 2.4@3.0GHz\Asus p5kc\8Gb\8600GT\2 SATA: Sams 500Gb+ 500Gb + Seagate 400Gb



такс..
1- МД это одно, а докинг это другое.. Хотя сегодня это связано, но все же 2 разных метода.
Чтоб все поняли, то конечная цель МД это докинг, как правило. Целью которого является подготовить белок для перебора к нему ряда потенциальных лекарственных препаратов.
В идеале, после докинга, белок с лекарством нужно еще пропустить в динамике..
Получается схема МД-Докинг-ДМ или так называемое MM\QM.

Конкретный ответ.
Для динамики нужен громакс, для докинга - автодок.

2- сорри, забыл ответить, тем что когда пишется научная статья в материалах и методах обязательно нуждно писать чем считалось, версии и т.д. Если узнают, что была использована пиратка в НИИ для печати официальных результатов - будут неприятности на национальном уровне, как минимум у академии наук. С такими вещами у нас не шутят, пристиж важнее.

3- что именно считать, я могу отправить тестовый проект.
на данный момент для нас актуальны:
фермент тирозил-тРНК синтетаза человека и быка и их комплексы с нуклеиновыми кислотами, то есть тРНК.
Для докинга, к сожалению сейчас ушел человек который этим занимался, но он подбирал препарат к такому же ферменту только у у возбудителя туберкулеза, таким образом искал ингибиторы против туберкулеза.
кое что можно глянуть здесь http://grid.imbg.org.ua/index.php?option=c...apper&Itemid=48

Более востребовательно сегодня настроить для МД громакс и намд (если время будет), в перспективе автодок (потому, что сегодня мало кому есть на нем считать).
1- http://www.gromacs.org/
2- http://www.ks.uiuc.edu/Research/namd/
3- http://autodock.scripps.edu/


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Sergyg
Jan 31 2010, 20:40
Пост #14


Гидробиолог
*******

Група: Trusted Members
Повідомлень: 966
З нами з: 1-April 09
З: Dnipropetrovsk
Користувач №: 980
Стать: Чол
Парк машин:
мозок - понад GPU, CPU та GPU+CPU



конечно я не знаком даже с основами сегодняшнего программирования, но, насколько я понял, как раз одной из наиболее сложных задач будет адаптация схемы вычислений на кластере к РВ.

я не совсем понял, что означает
Alien Дата Сьогодні, 19:25
Если речь о домашних компьютерах, то прирост производительности не будет таким хорошим и я полагаю относительно того же серверного решения может занять в ~5 раз больше.


насколько я понял, для одной большой молекулы тестируется множество состояний (вариантов конформации) на предмет выполнения определенного критерия (вычисление энергии связей, отбор значений с минимумом энергии), т.е. время вычислений большое из-за того, что число атомов велико и нужно выполнять просчет их взаимного расположения при каждом новом варианте конформации молекулы. Кроме того ещё что-то там меняется во времени - я так и не понял, что же это за наносекунды, которых нужно хотя бы 1000? Из остатков выветривающихся знаний могу предположить, что это симуляция естественного времени жизни молекулы белка при переходе из вторичной (или первичной?) структуры в третичную. Хотя наверняка это моё ложное предположение, ибо: насколько я помню, третичная структура является стабильной, т.е. её конформация не меняется с момента формирования и до действия внешнего фактора. Тогда нет разницы сколько будет длиться симуляция, важно просто достичь отсутствия новых, более удачных конформаций.

Возвращаясь к вычислениям: полагаю, что вся эта громоздкая (ресурсоёмкая) задача выполняется одним логическим "компьютером" (кластером), который представлен совокупностью узлов (грубо говоря пользовательских ПК), которые соединены высокопропускным каналом связи. Т.е. вся эта система очень быстро получает новые задания, отталкиваясь от результатов предыдущих вычислений. Кстати, не представляю себе - есть ли в кластере какой-то особый, координирующий узел (аппаратный) или аппаратно все равны, а вся корректировка заложена в общем алгоритме программы.
Т.е. грубо говоря вычисления в кластере линейны во времени: чтобы начался расчет кластера на 100-м часу его работы, нужно выполнить 99 часов предыдущих вычислений. И вся эта махина - считает много суток.
Так как же "порезать" этот большой последовательно выполняющийся алгоритм на кучу маленьких для 1CPU@3.0GHz?
В голову приходит только такой метод, когда на довольно мощном (кластере) выполняется какой-то предварительный расчет, относительно быстрый и неточный, но с точным определением границ. А уже множество клиентских CPU будут уточнять тот предварительный результат.

Не удивлюсь, если всё вышенаписанное не соответствует действительности bunny.gif Просто интересная тема, но ничего не понятно censoree.gif
Плохо, что Планетачка все ещё не написал/а свой диплом sarcastic.gif - вот бы нам и рассказал/а всю правду (хотя кто б говорил, я свой доделывал в последние часы smile.gif )
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Jan 31 2010, 21:00
Пост #15


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Если мы предоставим сервер и возьмем на себя поддержку и продвижение проекта РВ, у вас есть команда которая может заняться генерацией заданий и изучением результатов и довести их до чего-то осмысленного (статьи или может какие-то реальные опыты в лаборатории основанные на результатах) ?



--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

7 Сторінки V  1 2 3 > » 
Reply to this topicStart new topic
1 Користувачів переглядають дану тему (1 Гостей і 0 Прихованих Користувачів)
0 Користувачів:

 



- Lo-Fi Версія Поточний час: 29th March 2024 - 13:17

Invision Power Board v1.3.3 © 1996 IPS, Inc.