Привіт Гість ( Вхід | Реєстрація )

> Создаем рендеринг-ферму
Ламер
Dec 22 2012, 07:20
Пост #1


Трохи обжився
**

Група: Trusted Members
Повідомлень: 16
З нами з: 15-December 12
З: Київ
Користувач №: 3 137
Стать: Чол



zzzzzzzz zzzzzzzzzzzzzzz zzzzzzzzzzzzzzz

Це повідомлення відредагував Ламер: Mar 11 2013, 22:00
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
2 Сторінки V  1 2 >  
Reply to this topicStart new topic
Відповідей(1 - 14)
Rilian
Dec 22 2012, 10:53
Пост #2


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Ламер, 1) для каких целей 2) где брать задания ? Лучше уж помочь мощностями уже созданному проекту


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Dec 22 2012, 13:22
Пост #3


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Ламер, ок, еслі ти будешь адмініть проект , мы подключимся smile.gif


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Dec 22 2012, 18:13
Пост #4


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Ламер, есть маленькая пролема помимо администрирования. развернуть инфраструктуру рендеринга smile.gif если ты думаешь что это так легко, посмотри кол-во проблем описаных на официальном форуме smile.gif


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
smilesvua
Dec 23 2012, 00:08
Пост #5


кранчер з фермою
*******

Група: Trusted Members
Повідомлень: 876
З нами з: 5-January 11
З: Львов
Користувач №: 1 573
Стать: Чол
Парк машин:
Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015.



На начальном этапе могу помочь и серверной стороной и с мощностями в проекте. Сходу это 4 квад и боле кора с 16+ гб памяти. Если тема интересна еще кому-то думаю есть смысл сделать отдельный топик.


--------------------
Все будет хорошо.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
smilesvua
Dec 23 2012, 11:11
Пост #6


кранчер з фермою
*******

Група: Trusted Members
Повідомлень: 876
З нами з: 5-January 11
З: Львов
Користувач №: 1 573
Стать: Чол
Парк машин:
Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015.



Может перенесем в отдельный топик?


--------------------
Все будет хорошо.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Sergyg
Dec 23 2012, 12:24
Пост #7


Гидробиолог
*******

Група: Trusted Members
Повідомлень: 966
З нами з: 1-April 09
З: Dnipropetrovsk
Користувач №: 980
Стать: Чол
Парк машин:
мозок - понад GPU, CPU та GPU+CPU



это очень сложная задача.

Уже не помню всех подробностей...
Вроде, основная проблема - нужно быть неслабым программистом, чтобы настроить интерфейс всего этого дела. Т.е. удобство и функционал клиентской части, безопасность и конфиденциальность данных пользователя.

(думается, в коммерческой РФ почти_круглосуточно админит жива людина, именно попытки максимально автоматизировать весь процесс требуют серьёзной программерской базы)

Далее - вопрос стабильности серверов. Когда отваливается рендер-нода, задание автоматически переносится на запасную (до того простаивающую) ноду.

И пункт по железной мощи - надо иметь много ОЗУ. Да, она сейчас так дешева, что вон вендоры банкротятся. И всё равно - надо от 2, (а то и 3) Гб на 1 ядро. И абсолютный минимум - порядка 12-16 Гб на 1 ноду. Иногда много больше - >20гб.

И да, надо иметь МНОГО cpu ))

В рунете есть немало тем, где небольшими силами пытались соорудить рендер-ферму. (вообще, имхо, сегодня это сомнительный (в плане прибыльности) бизнес). Ясно дело: стоимость железа + стоимость киловатта.

Вот свеженькое обсуждение (особенно, последние посты): http://3dcenter.ru/forum/index.php?showtopic=113522

GPU-фермы до сих пор в стадии зародыша. Нет софта. И как бы, аппаратная часть + ширина шины GDDR5 пока очень малы. Всё же интересно, что ж там интеловские XeonPhi (Larrabi) СЕЙЧАС обсчитывают. До сих пор не обнародовано.

и это,
распределить по команде достаточно коммерческий рендеринг - не получится.
*) разнородные процы (и в общем-то, слабоватые)
*) мало ОЗУ на системник
*) медленный интернет
*) невозможность перекинуть задание на запасную ноду в случае зависания первой: всё задание (сцена + много текстур, может весить 0,1-1,0Гб - должно перезалиться на другой комп), кроме того, нельзя прогнозировать время выполнения задания при разношерстных ЦП.
Наверное, последняя *) - самая важная в моём пессимистичном посте.

---------------------
Чтоб оценить мощность доступных компов, можно поучаствовать в НЕ_синтетическом тестировании (но надо установить гигабайт софта {2 шт. софтины}) - пара последних страниц (зелёная сцена): http://3dcenter.ru/forum/index.php?showtop...t=495&start=495

и ещё, самая малость wink.gif : для коммерческой РФ надо использовать лиценziонный софт.

В Boinc такое впихнуть - ну нереально. Расчетный модуль (собственно код рендерера) - совсем не open-source. Т.е. тут надо на каждый комп - клиентскую версию рендерера (если он stand-alone) + клиентская часть render manager'а
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
smilesvua
Dec 23 2012, 23:46
Пост #8


кранчер з фермою
*******

Група: Trusted Members
Повідомлень: 876
З нами з: 5-January 11
З: Львов
Користувач №: 1 573
Стать: Чол
Парк машин:
Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015.



Сделать в формате BOINC будет тяжело ,если мы говорим о массово используемой ферме. В блендере и подобных работает немного народу, по крайней из тез кого я знаю. Основная масса 3дшников у нас в стране это 3ds MAX и Maya. С технической стороны это Backburner + VPN. Нода с установленным софтом цепляется, по внутренней сети получает нужные файлы и работает с ними из кеша. Разнородность процов не проблема, разве что будет ждать самое старое ядро. Много ОЗУ нужно только для обсчета карты освещения, потому что кадры могут считаться частями.


--------------------
Все будет хорошо.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Sergyg
Dec 24 2012, 00:38
Пост #9


Гидробиолог
*******

Група: Trusted Members
Повідомлень: 966
З нами з: 1-April 09
З: Dnipropetrovsk
Користувач №: 980
Стать: Чол
Парк машин:
мозок - понад GPU, CPU та GPU+CPU



много ОЗУ нужно для:

-экстерьеров с миллионами листьев (геометрия, да и сложный материал (транслюция, ССС) на этих листьях),
-интер- и экстерьеров с большим кол-вом текстур (и вообще при увеличении разрешения текстур),
-волосатые ковры на полу, волосы персонажей,
-при симуляциях, когда большое кол-во частиц

если ферма не для приятеля, а коммерческая - то: клиент переборчив, клиент всегда прав.

Клиенты должны получать уведомления об успешно посчитанных заданиях. И вообще наблюдать в реальном времени за прогрессом просчета.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Dec 24 2012, 10:01
Пост #10


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



QUOTE(Ламер @ Dec 24 2012, 00:44) *

QUOTE(smilesvua @ Dec 23 2012, 23:46) *

Сделать в формате BOINC будет тяжело ,если мы говорим о массово используемой ферме.

У мене тоді виникають запитання стосовно результатів проекту "Burp". Так і не вдалося там нічого відрендерити через BOINK?


с чего ты это взял ? есть куча результатов

http://burp.renderfarming.net/sessions.php


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
smilesvua
Dec 24 2012, 11:44
Пост #11


кранчер з фермою
*******

Група: Trusted Members
Повідомлень: 876
З нами з: 5-January 11
З: Львов
Користувач №: 1 573
Стать: Чол
Парк машин:
Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015.



Имелось в виду что тяжело/невозможно запихнуть в BOINC рендер-модули от 3ds MAX и Ко. Много ОЗУ - это сколько? К примеру VRay при рендеринге не пытается рендериь все сразу, можно раскидать по нодам сам рендер и ноде нужно память достаточно ровно для рендера своего кусочка, он может быть очень не большой. Но В этом же рендере для обсчета карты освещения нужно все засунуть в память, причем этот процесс плохо паралелится. Вот здесь нужен будет монстр с 64=< ГБ памяти т.д.... Но такая нода нужна одна, и этот процесс сам по себе занимает не много времени относительно всего рендеринга. А вообще нужно проводить исследования на тему требований к железу различных движков рендеринга. Если будут желающие можно будет что-то собрать Just for fun.


--------------------
Все будет хорошо.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Sergyg
Dec 24 2012, 13:27
Пост #12


Гидробиолог
*******

Група: Trusted Members
Повідомлень: 966
З нами з: 1-April 09
З: Dnipropetrovsk
Користувач №: 980
Стать: Чол
Парк машин:
мозок - понад GPU, CPU та GPU+CPU



требований к узлу распределенной рендер-системы не так и велики:

- ЦП - чем больше суммарная производительность ядер, тем лучше. По факту - от 4-ядер и выше - есть смысл включать в ферму

- ОЗУ - не 4 и не 8гб (как бы и 8 может хватать, только как-то нужно распределять задачи - у кого 8Гб, у кого 16, и т.д. Пока не знаю, как автоматизировать.)

- быстрый интернет, у многих и 100 и 50мбит/с. Наверное, пойдёт и 10, опять же, один проект весит 50мб, другой - 1000.
------------------------

одно дело РФ для @друзей@. Тут воообще всё просто. Люди стыкуются в чате, сообщают ip, и коннектятся или удалённая нода скачивает с сервера своё задание (в ручном режиме). Результаты отсылаются на сервер.

Но если говорить о коммерческой ферме. То актуализируются те требования, что я писал в начале (наверное, + ещё чего-то).

Т.е. чтобы _сервис_ работал, не подводил людей, (платят деньги - получают услугу, причем нестыковка в сроках выполнения здесь выливается в большую запару по срокам сдачи работы исполнителем заказчику) - то тут нужно приложить немало усилий.
Насколько известно, имеющиеся фермы территориально находятся поблизости, связаны гигабитной сетью, и имеют весьма солидное число нод уровня 2-процессорного Xeon'a итого 8 + 8 вирт.ядер (или >).
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
smilesvua
Dec 24 2012, 18:31
Пост #13


кранчер з фермою
*******

Група: Trusted Members
Повідомлень: 876
З нами з: 5-January 11
З: Львов
Користувач №: 1 573
Стать: Чол
Парк машин:
Core i7 2600K@4.5/32gb/HD7950@1000 + MBP 13" 2015.



Ничего не мешает сделать для друзей, а когда это допилится до стабильного состояния уже выкатывать на коммерческие рельсы. В любом случае у всех участников есть профит.


--------------------
Все будет хорошо.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Sergyg
Dec 27 2012, 08:15
Пост #14


Гидробиолог
*******

Група: Trusted Members
Повідомлень: 966
З нами з: 1-April 09
З: Dnipropetrovsk
Користувач №: 980
Стать: Чол
Парк машин:
мозок - понад GPU, CPU та GPU+CPU



Alien,
а ты не интересовался - можно ли как-то заграбить (хоть какое-то) движение молекулы (белка) или какого дугого вещества симуляцию, так, чтобы эту динамику можно было перенести в какой-то 3Д-пакет_CGрендеринга ?
Да и вообще, какой есть хороший конвертер молекул. Предпочтительно для 3dsmax.

Я немного поковырялся (точно помню, что в ~2005 мне попался такой конвертер и оно работало, хоть до достойного применения у меня не дошло).

Просто, если бы ещё с чем-то похожим на симуляцию можно было внедрять - было бы зашибись. /ибо мысли посетили ))
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Sonechko
Dec 28 2012, 14:45
Пост #15


кранчер зі стажем
******

Група: Trusted Members
Повідомлень: 318
З нами з: 27-June 08
З: Київ
Користувач №: 768
Стать: НеСкажу
Парк машин:
Ryzen 1700X 3.6GHz, 32G RAM, MSI Gaming 2xRX480 4G



(Ламер @ Dec 28 2012, 12:03) *

(Sergyg @ Dec 24 2012, 13:27) *

оммерческой ферме. То актуализируются те требования, что я писал в начале (наверное, + ещё чего-то).
Насколько известно, имеющиеся фермы территориально находятся поблизости, связаны гигабитной сетью, и имеют весьма солидное число нод уровня 2-процессорного Xeon'a итого 8 + 8 вирт.ядер (или >).

Планую після Нового Року розоритися на Інтел і7 3770К з 4-ма ядрами (8 віртуальних) та відюху 7970 на материнку типу ASUS P8Z77-V Pro. Потягне на "командну роботу"? prapor.gif


Не раджу тільки для цього розорятись, можна бажанням і виділенням часу більше зробити користі ніж вкладаючи такі гроші. Сила в кількості а не в одиничних потужних компёютерах. Але якщо комп необхідно купувати то конфіг шикарний!)

Також раджу приглянутись разом або окремо до процесора AMD 8320 (4 блоки по 2 ядра, разом теж 8 потоків) - він на рівні даного і7 але гарячіший (вдвічі дешевший та за пару років при економії на світлі може окупитись, а може і ні) і відеокарту 7950 - різниця в потужності невелика з 7970 а по ціні більша - можна взяти з кращою ОС і трошки розігнати і в сумі буде краще ніж дешева 7970.

А загалом коли надумаєш можна створити окрему тему, чи десь була пошукати з вибором конфігу під певні задачі.


--------------------
______
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

2 Сторінки V  1 2 >
Reply to this topicStart new topic
1 Користувачів переглядають дану тему (1 Гостей і 0 Прихованих Користувачів)
0 Користувачів:

 



- Lo-Fi Версія Поточний час: 28th March 2024 - 10:17

Invision Power Board v1.3.3 © 1996 IPS, Inc.