Создаем рендеринг-ферму |
Привіт Гість ( Вхід | Реєстрація )
Создаем рендеринг-ферму |
Ламер |
Dec 22 2012, 07:20
Пост
#1
|
Трохи обжився Група: Trusted Members Повідомлень: 16 З нами з: 15-December 12 З: Київ Користувач №: 3 137 Стать: Чол |
zzzzzzzz zzzzzzzzzzzzzzz zzzzzzzzzzzzzzz
Це повідомлення відредагував Ламер: Mar 11 2013, 22:00 |
Rilian |
Dec 28 2012, 19:58
Пост
#16
|
interstellar Група: Team member Повідомлень: 17 056 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Ламер, под рендеринг не знаю, а вот проект HCC был бы очень рад https://distributed.org.ua/forum/index.php?showtopic=1214
-------------------- |
Sergyg |
Dec 29 2012, 18:02
Пост
#17
|
Гидробиолог Група: Trusted Members Повідомлень: 947 З нами з: 1-April 09 З: Dnipropetrovsk Користувач №: 980 Стать: Чол Парк машин: мозок - понад GPU, CPU та GPU+CPU |
в целом - задания на РВ проекты создаются так, чтобы можно было заюзать как 2-ядерник, так и мнОГОядерник,
нередко на более мощный конфиг загружаются более тяжёлые задания. И главное отличие - только графические задачи пожирают МНОГО ОЗУ (рендеринг), т.к. там перемножаются всякие матрицы на основе текстур, в основном - многослойных, большой численности и не_низкого_разрешения. В графике также есть процедурные (не текстурные) карты/шейдеры, они требуют меньше ОЗУ, но больше ЦПУ (обойтись совсем без текстурных - нельзя). Наверняка расчет большой молекулы белка также требует весьма много ОЗУ. Но одинокий десктоп (в отличие от ноды кластера, коротающей дни в окружении аравы сородичей-помощников) будет считать задачу месяц. Потому таких монструозных задач юзверям на PC не высылают олсо: ответьте-таки, человеки, нельзя ли законнектить (например 2) компа через Fiber Channel (FC) соединение (2; 4; 8Гбит/с) как-то напрямую (ну, типа, малой кровью - поставил по адаптеру на системник, соединил парой оптоволокна). Ну или возможен какой бюджетный посредник? Англ гугл никак не вразумит меня по данному вопросу... |
Sergyg |
Dec 29 2012, 21:06
Пост
#18
|
Гидробиолог Група: Trusted Members Повідомлень: 947 З нами з: 1-April 09 З: Dnipropetrovsk Користувач №: 980 Стать: Чол Парк машин: мозок - понад GPU, CPU та GPU+CPU |
Идеи по созданию роликов (демо, интро, шоурилы тощо) по популяризации РВ - кое-какие у меня появились. Надеюсь, в обозримом будущем выродим, а команда поможет с рендерингом. {По инициативе тов. Ламера}
Мне б второй комп запустить. Затык с БП, жду транзисторы с Гонконга (пипец, предыдущая посылка оттуда шла рекордные 61 день, данная, видимо, повторит её судьбу, т.к. уже в пути около 45сут) Сейчас тестирую черновики ролика по химии/белкам (фолдинг, поиск молекул белков и конформаций их третичной структуры). Тут важен баланс между разумным временем исполнения, научной правдоподобностью и wow-эффектом Ламер, spec for U: https://distributed.org.ua/forum/index.php?showtopic=4282 https://distributed.org.ua/forum/index.php?showtopic=4250 |
smilesvua |
Dec 30 2012, 00:46
Пост
#19
|
кранчер з фермою Група: Trusted Members Повідомлень: 857 З нами з: 5-January 11 З: Львов Користувач №: 1 573 Стать: Чол Парк машин: Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015. |
олсо: ответьте-таки, человеки, нельзя ли законнектить (например 2) компа через Fiber Channel (FC) соединение (2; 4; 8Гбит/с) как-то напрямую (ну, типа, малой кровью - поставил по адаптеру на системник, соединил парой оптоволокна). Ну или возможен какой бюджетный посредник? Англ гугл никак не вразумит меня по данному вопросу... Законнектить можно, с какой целью? -------------------- Все будет хорошо.
|
Sergyg |
Dec 30 2012, 01:17
Пост
#20
|
Гидробиолог Група: Trusted Members Повідомлень: 947 З нами з: 1-April 09 З: Dnipropetrovsk Користувач №: 980 Стать: Чол Парк машин: мозок - понад GPU, CPU та GPU+CPU |
Законнектить можно, с какой целью? Хороший вопрос )) Вообще-то для обмена данными) Да, я понятия не имею, какая возможна альтернатива классической гигабитной сети, TCP/IP, как указать ОС, программам, чтобы в неё влазить Т.е. классическое: считываем с HDD -> загружаем в RAM компа №1 -> загружаем в CPU №1 и параллельно передаем по сети -> на HDD №2 (или сразу в RAM №2), и далее -> RAM №2 -> CPU №2 промежуточный итог: ведут расчеты CPU №1 + CPU №2 окончательный итог: в обратном порядке результаты вычислений из копмьютера №2 добавляются к результатам №1 и записываются на HDD №1 (головной компьютер, "сервер") сеть более 1Гбит/с (125мб/с) была бы предпочтительна при пользовании быстрых винчестеров (в т.ч. в рейд0), т.к. при последовательном обращении большими блоками, ~120мб/с может становиться узким местом. Так, можно даже сорсы видео держать на удаленном рейде при монтаже. А если это 2 независимых рейд0, то по-идее возможно считывание например 150+150МБ/с, т.е. нужен канал до 300МБ/с или 2,5Гбит/с Но, конечно, куда более заманчива перспектива объединения хотя бы 2 нод в кластер. (никогда этим не занимался) Вроде бы, тут самое оно - это 8Гбит/с, но и 4Гбит/с - наверное, жить можно... Слышал, что до сих пор кластер - это непростое дело. Конкретно - не всякий софт сможет адекватно развернуться в такой среде. Это главный нюанс , т.к. неясно - стоит или не стоит заморачиваться (даже при готовности моральной и материальной). А моральной - насколько я понял, без мануалов (и я - не сисадмин и не программист) не обойтись. Олсо, 2 разнородных машины, наверное, плохо будут уживаться друг с др в паре. Чисто теоретически, если представить, что, например, 8 ядер_16Гб + 16 ядер_32Гб будет ===== 24 ядра 48Гб - вот это более чем прельстило бы. |
smilesvua |
Dec 30 2012, 02:07
Пост
#21
|
кранчер з фермою Група: Trusted Members Повідомлень: 857 З нами з: 5-January 11 З: Львов Користувач №: 1 573 Стать: Чол Парк машин: Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015. |
Если для универсального использования, а не только для чтения с винтов то только Ethernet. Кластеризация с целью имитации одного ПК из нескольких для повышения производительности под windows мне не известна(буду рад если расскажут), да и надо ли? для каких реальных задач 120мб/с мало? с учетом сборки на коленке. Если для общего хранилища, тогда есть FC, SAS и ко. Но наверное лучше будет на сегодня 10Г ethernet, если действительно нужна высокая скорость.
-------------------- Все будет хорошо.
|
Sergyg |
Dec 30 2012, 02:39
Пост
#22
|
Гидробиолог Група: Trusted Members Повідомлень: 947 З нами з: 1-April 09 З: Dnipropetrovsk Користувач №: 980 Стать: Чол Парк машин: мозок - понад GPU, CPU та GPU+CPU |
QUOTE для каких реальных задач 120мб/с мало? монтаж видео люди делали для этих целей бюджетный NAS - не хватает скорости ) /хуже рейда0_sata 5-летней давности/ в остальном - спасибо smilesvua за разъяснения |
smilesvua |
Dec 30 2012, 12:47
Пост
#23
|
кранчер з фермою Група: Trusted Members Повідомлень: 857 З нами з: 5-January 11 З: Львов Користувач №: 1 573 Стать: Чол Парк машин: Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015. |
Странный NAS поулчился. У меня нормально разгоняет 120, но только линейной, на случайном доступе упираемся в винты.
-------------------- Все будет хорошо.
|
Sergyg |
Dec 31 2012, 01:06
Пост
#24
|
Гидробиолог Група: Trusted Members Повідомлень: 947 З нами з: 1-April 09 З: Dnipropetrovsk Користувач №: 980 Стать: Чол Парк машин: мозок - понад GPU, CPU та GPU+CPU |
пристрелка (фактически пока тут нечего оценивать, только и того, что 2 разных рендер-пакета отрендерили, в среднем на равной скорости рендеринга, 3-4мин/кадр на 8120@4.3; 200кадров анимации)
http://narod.ru/disk/64994484001.ecdd8ad88...01_2_2.f4v.html |
Sergyg |
Jan 10 2013, 02:02
Пост
#25
|
Гидробиолог Група: Trusted Members Повідомлень: 947 З нами з: 1-April 09 З: Dnipropetrovsk Користувач №: 980 Стать: Чол Парк машин: мозок - понад GPU, CPU та GPU+CPU |
потихоньку тестю,
http://narod.ru/disk/65313245001.82018a663...raft00.avi.html вот предполагаемое (черновое) движение камеры. (Анимации фокуса камеры пока нет вообще. С радостью узнал, что FryRender нормально кушает обычную стандартную камеру. Её параметры намного легче настраивать, т.к. весь фраевский интерфейс - "очень деревянный". Кроме результата ) Пока не нравится )) Но вообще-то будет и музыка и композитинг (не меньше половины всех манипуляций делается при пост-продакшене, в композитинге). Прежде, чем формировать задания громаді, все буде сумлінно виважено... наверное, неоднократно пре-рендерено. Ибо хочется замутить интересно. сейчас тут ~960 кадров, при 1,5 ч на кадр это будет 60 сут. процессорного времени уровня 4core@3.2GHz, такой вырисовывается бюджет времени (грубая прикидка) Ламер, каминг сун, как говорится |
Lorexin |
Jul 24 2013, 16:03
Пост
#26
|
Так, я створив профіль! Група: New Members Повідомлень: 1 З нами з: 21-July 13 Користувач №: 3 265 Стать: bot |
Цікава тема. з приводу 3D рендеру. Натрапив в інтернеті на Рендер-Менеджери.
От їх є перелік http://cgru.sourceforge.net/doc/rus_doklad...gers_table.html Одна толкова з них має бути навіть ОперСорсна.... http://www.cinesoft.ru/ru/products/duma/ Може переглянете як і що тут... Хотілось би ще й трохи досвіду аби вибудувати між інтернет-нодами якусь ферму аби рахувала , ясне що інет швидкий би мав бути.... |
Lo-Fi Версія | Поточний час: 1st November 2024 - 01:56 |