Привіт Гість ( Вхід | Реєстрація )

> Linux 64 Bit SMP Client, Обсуждаем здесь.
T0lsty
Jan 8 2007, 14:50
Пост #1


кранчер з фермою
*******

Група: Trusted Members
Повідомлень: 871
З нами з: 13-October 06
Користувач №: 296
Стать: Чол



Вот здесь идет обсуждение даного клиента http://forums.extremeoverclocking.com/show...ad.php?t=245403

Прочитал пока 2 страницы ветки , но я понял что SMP client дает довольно неплохой пдд .
Цитата одного пользователя : "I have a P-D 840 running at 3.52GHz. It takes about 9.5 minutes per percent of an SMP WU under Linux, which works out to about 890 points per day minimum"

Требования : 2-x процессорная 64 битная система , 512 ram , ну и конечно линукс х64...
дедлайн 2 дня , поэтому система должна работать 24/7 .

если верить вишеприведеной циттате - то выходит довольно непрохой прирост , практически на ровном месте ..
например мой PD 945 3.4 ггц в лучшем случае дает 500 ппд , а в худшем около 200 . даже если в среднем 350 , то при переходе на smp клиент должен быть двукратный прирост пдд ..

В первом посте есть довольно интересный график , подтверждающий эти предположения .

Единственная проблема (для меня) - это amo006.gif линукс .


как вариант предлагают использовать виртуальную машину . Потеря - около 15 % по сравнению с нормальным линуксом .
но там какието ньюанссы с железом , не на все машины ставиться .

Короче нужно разбираться ...

Краткое описание установки от RU_Sanya (принёс Lev(RUS) ) :
("RU_Sanya")
Пошаговое руководство запуска SMP-клиента F@H в среде ОС Linux (SMP, x86_64)

1. Создаёшь подкаталог для клиента, например:

mkdir ~/fah_smp

2. Переходишь в него:

cd ~/fah_smp

3. Скачиваешь с сайта докторов сооотв. архив с клиентом, например:

wget http://folding.stanford.edu/release/FAH_SMP_Linux.tgz

4. Распаковываешь:

tar xf ./FAH_SMP_Linux.tgz

5. Запускаешь командой:

./fah5

конфигуришь аналогично обычному консольному клиенту. Далее он качает задачу, ядро и работает!

P.S. Удобно запускать клиента либо в свободной виртуальной консоли, либо в сеансе screen, например:

screen
cd ~/fah_smp
./fah5

ПС:
64-bit Ubuntu и не только она, не имеют нужных 32-bit библиотек.
Лечится следующей строкой, после чего все работает.

sudo apt-get install ia32-libs




--------------------
..................
XtremeLabs.org

(Show/Hide)


User is offlineProfile CardPM
Go to the top of the page
+Quote Post
9 Сторінки V « < 4 5 6 7 8 > »   
Reply to this topicStart new topic
Відповідей(75 - 89)
kikoin
Nov 24 2007, 17:14
Пост #76


наш 500й фолдер :) (папка)
*****

Група: Trusted Members
Повідомлень: 136
З нами з: 11-January 07
Користувач №: 394
Стать: Чол



(ReMMeR @ Nov 24 2007, 12:09 PM) *

Примонтировать диск в папку нельзя ?

Нет. Оно хочет на букву диска монтироваться ...
А ещё 15 букв я себе не хочу ... angry2.gif


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
pservit
Nov 24 2007, 19:45
Пост #77


Соромлюсь щось писати
*

Група: New Members
Повідомлень: 6
З нами з: 15-September 06
Користувач №: 273
Стать: Чол



накатай скриптег, который будет сливать по scp все логи на одну машину ...
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
kikoin
Nov 26 2007, 17:14
Пост #78


наш 500й фолдер :) (папка)
*****

Група: Trusted Members
Повідомлень: 136
З нами з: 11-January 07
Користувач №: 394
Стать: Чол



(pservit @ Nov 24 2007, 07:45 PM) *

накатай скриптег, который будет сливать по scp все логи на одну машину ...
Я, конечно, понимаю, что лень- двигатель прогресса.
Но мне ещё не настолько лень ... Считает, да и хрен с ним ... smile.gif


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
LinuxDrom
Nov 26 2007, 19:17
Пост #79


Линуксоид-гентушник
***

Група: Trusted Members
Повідомлень: 54
З нами з: 12-May 07
З: иїв
Користувач №: 517
Стать: Чол
Парк машин:
Core 2 Duo E8200



(kikoin @ Nov 24 2007, 12:12 PM) *

P.S. Вот думаю может что-то типа кластера замастырить ? Ну типа там с использованием condor или beowulf ...
Может быть в таком режиме будет выгоднее гонять расчёты ?

Если те машины которые считают однопроцессорные, а сеть между ними быстрая (у меня на X2 3800+ трафик по lo ~150Mbits/sec) , то должно быть выгодней. Если же на машинах и так считаются SMP задания, то смысла нет.


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
kikoin
Nov 29 2007, 10:30
Пост #80


наш 500й фолдер :) (папка)
*****

Група: Trusted Members
Повідомлень: 136
З нами з: 11-January 07
Користувач №: 394
Стать: Чол



(LinuxDrom @ Nov 26 2007, 07:17 PM) *

(kikoin @ Nov 24 2007, 12:12 PM) *

P.S. Вот думаю может что-то типа кластера замастырить ? Ну типа там с использованием condor или beowulf ...
Может быть в таком режиме будет выгоднее гонять расчёты ?

Если те машины которые считают однопроцессорные, а сеть между ними быстрая (у меня на X2 3800+ трафик по lo ~150Mbits/sec) , то должно быть выгодней. Если же на машинах и так считаются SMP задания, то смысла нет.

Хм. Вот, наверное, закончатся отчёты годовые, да засяду за процесс ...
З.Ы. Интересно, а сможет ли smp клиент раздуплить те тачки, которые будут собраны в кластер как отдельные процессоры ?


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Hogo Fogo
Jan 11 2008, 19:44
Пост #81


добрый линуксоид
***

Група: Trusted Members
Повідомлень: 33
З нами з: 5-February 07
Користувач №: 425
Стать: Чол
Парк машин:




Интересная статья:
Обновление 32-битной Fedora Linux 64-битной без переустановки:
http://www.linux.com/feature/123800

P.S. Не проверял. ИМХО, установка с нуля сопоставима по затратам времени.


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Immho
Jan 24 2008, 23:31
Пост #82


Соромлюсь щось писати
*

Група: New Members
Повідомлень: 4
З нами з: 24-January 08
Користувач №: 683
Стать: bot
Парк машин:
2хC2Q-2.4Ghz, AMD_X2-1.8+2xRadeon1950Pro



Советую всем Folding USB Stick reilly.homeip.net/folding/usb.html - его плюсы:

1) можно отрубать винт - гораздо тише работает
2) Неплохой ППД
3) На моем C2Q не прогревает камень выше 50% и поэтому кулер ICT-D925R очень тихо работает.
4) Возможно (но еще юзал - Бут с линух флешки под виндой при помощи vmware или virtualbox).
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
lokki
Mar 23 2008, 18:40
Пост #83


Трохи обжився
**

Група: Trusted Members
Повідомлень: 31
З нами з: 1-April 06
З: Київ
Користувач №: 200
Стать: Чол
Парк машин:
C2D E6550@3,1GHz, 2GB DDR-II



Поможіть, хто чим може smile.gif
6.01бета2 падає на будь-якому ВУ (лог додаю)

Linux localhost 2.6.22.18-desktop-1mdv #1 SMP Mon Feb 11 12:42:52 EST 2008 x86_64

На тому ж компі під віндою смп чудово працює...


# SMP Client ##################################################################
###############################################################################

Folding@Home Client Version 6.01beta2

http://folding.stanford.edu

###############################################################################
###############################################################################

Launch directory: /home/lokki/folding/FAH
Executable: ./fah6
Arguments: -smp -verbosity 9

[16:15:37] - Ask before connecting: No
[16:15:37] - User name: lokki_ua (Team 2164)
[16:15:37] - User ID: 6E392274372E23AD
[16:15:37] - Machine ID: 1
[16:15:37]
[16:15:37] Work directory not found. Creating...
[16:15:37] Could not open work queue, generating new queue...
[16:15:37] - Autosending finished units...
[16:15:37] Trying to send all finished work units
[16:15:37] + No unsent completed units remaining.
[16:15:37] - Autosend completed
[16:15:37] - Preparing to get new work unit...
[16:15:37] + Attempting to get work packet
[16:15:37] - Will indicate memory of 2046 MB
[16:15:37] - Detect CPU. Vendor: GenuineIntel, Family: 6, Model: 15, Stepping: 11
[16:15:37] - Connecting to assignment server
[16:15:37] Connecting to http://assign.stanford.edu:8080/
[16:15:38] Posted data.
[16:15:38] Initial: 40AB; - Successful: assigned to (171.64.65.64).
[16:15:38] + News From Folding@Home: Welcome to Folding@Home
[16:15:38] Loaded queue successfully.
[16:15:38] Connecting to http://171.64.65.64:8080/
[16:15:41] Posted data.
[16:15:41] Initial: 0000; - Receiving payload (expected size: 2431396)
[16:15:53] - Downloaded at ~197 kB/s
[16:15:53] - Averaged speed for that direction ~197 kB/s
[16:15:53] + Received work.
[16:15:53] + Closed connections
[16:15:53]
[16:15:53] + Processing work unit
[16:15:53] Core required: FahCore_a1.exe
[16:15:53] Core not found.
[16:15:53] - Core is not present or corrupted.
[16:15:53] - Attempting to download new core...
[16:15:53] + Downloading new core: FahCore_a1.exe
[16:15:53] Downloading core (/~pande/Linux/x86//Core_a1.fah from www.stanford.edu)
[16:15:54] Initial: AFDE; + 10240 bytes downloaded
.................................................................
[16:16:03] Initial: D4FE; + 1490945 bytes downloaded
[16:16:03] Verifying core Core_a1.fah...
[16:16:03] Signature is VALID
[16:16:03]
[16:16:03] Trying to unzip core FahCore_a1.exe
[16:16:03] Decompressed FahCore_a1.exe (3625104 bytes) successfully
[16:16:03] + Core successfully engaged
[16:16:08]
[16:16:08] + Processing work unit
[16:16:08] Core required: FahCore_a1.exe
[16:16:08] Core found.
[16:16:08] Working on Unit 01 [March 23 16:16:08]
[16:16:08] + Working ...
[16:16:08] - Calling './mpiexec -np 4 -host 127.0.0.1 ./FahCore_a1.exe -dir work/ -suffix 01 -priority 96 -checkpoint 15 -verbose -lifeline 7608 -version 601'

[16:16:08]
[16:16:08] *------------------------------*
[16:16:08] Folding@Home Gromacs SMP Core
[16:16:08] Version 1.74 (November 27, 2006)
[16:16:08]
[16:16:08] Preparing to commence simulation
[16:16:08] - Ensuring status. Please wait.
[16:16:09] - Starting from initial work packet
[16:16:09]
[16:16:09] Project: 2653 (Run 16, Clone 85, Gen 84)
[16:16:09]
[16:16:09] Assembly optimizations on if available.
[16:16:09] Entering M.D.
[16:16:19] CoreStatus = 0 (0)
[16:16:19] Client-core communications error: ERROR 0x0
[16:16:19] Deleting current work unit & continuing...
[16:20:40] - Warning: Could not delete all work unit files (1): Core returned invalid code
[16:20:40] Trying to send all finished work units
[16:20:40] + No unsent completed units remaining.
[16:20:40] - Preparing to get new work unit...
[16:20:40] + Attempting to get work packet
[16:20:40] - Will indicate memory of 2046 MB
[16:20:40] - Connecting to assignment server
[16:20:40] Connecting to http://assign.stanford.edu:8080/
[16:20:43] Posted data.
[16:20:43] Initial: 40AB; - Successful: assigned to (171.64.65.64).
[16:20:43] + News From Folding@Home: Welcome to Folding@Home
[16:20:43] Loaded queue successfully.
[16:20:43] Connecting to http://171.64.65.64:8080/
[16:20:46] Posted data.
[16:20:46] Initial: 0000; - Receiving payload (expected size: 2431396)
[16:21:15] - Downloaded at ~81 kB/s
[16:21:15] - Averaged speed for that direction ~139 kB/s
[16:21:15] + Received work.
[16:21:15] + Closed connections
[16:21:20]
[16:21:20] + Processing work unit
[16:21:20] Core required: FahCore_a1.exe
[16:21:20] Core found.
[16:21:20] Working on Unit 02 [March 23 16:21:20]
[16:21:20] + Working ...
[16:21:20] - Calling './mpiexec -np 4 -host 127.0.0.1 ./FahCore_a1.exe -dir work/ -suffix 02 -priority 96 -checkpoint 15 -verbose -lifeline 7608 -version 601'

[16:21:20]
[16:21:20] *------------------------------*
[16:21:20] Folding@Home Gromacs SMP Core
[16:21:20] Version 1.74 (November 27, 2006)
[16:21:20]
[16:21:20] Preparing to commence simulation
[16:21:20] - Ensuring status. Please wait.
[16:21:37] - Looking at optimizations...
[16:21:37] - Working with standard loops on this execution.
[16:21:37] - Previous termination of core was improper.
[16:21:37] - Going to use standard loops.
[16:21:37] - Files status OK
[16:21:37] (decompressed 529.8 percent)
[16:21:37] - Starting from initial work packet
[16:21:37]
[16:21:37] Project: 2653 (Run 16, Clone 85, Gen 84)
[16:21:37]
[16:21:37] Entering M.D.
[16:21:38] one 85, Gen 84)
[16:21:38]
[16:21:38] Entering M.D.
[16:21:43] Finalizing output
[16:21:48] CoreStatus = 0 (0)
[16:21:48] Client-core communications error: ERROR 0x0
[16:21:48] Deleting current work unit & continuing...
[16:26:09] - Warning: Could not delete all work unit files (2): Core returned invalid code
[16:26:09] Trying to send all finished work units
[16:26:09] + No unsent completed units remaining.
[16:26:09] - Preparing to get new work unit...
[16:26:09] + Attempting to get work packet
[16:26:09] - Will indicate memory of 2046 MB
[16:26:09] - Connecting to assignment server
[16:26:09] Connecting to http://assign.stanford.edu:8080/
[16:26:10] Posted data.
[16:26:10] Initial: 40AB; - Successful: assigned to (171.64.65.64).
[16:26:10] + News From Folding@Home: Welcome to Folding@Home
[16:26:10] Loaded queue successfully.
[16:26:10] Connecting to http://171.64.65.64:8080/
[16:26:13] Posted data.
[16:26:13] Initial: 0000; - Receiving payload (expected size: 2431396)
[16:26:24] - Downloaded at ~215 kB/s
[16:26:24] - Averaged speed for that direction ~165 kB/s
[16:26:24] + Received work.
[16:26:24] + Closed connections
[16:26:29]
[16:26:29] + Processing work unit
[16:26:29] Core required: FahCore_a1.exe
[16:26:29] Core found.
[16:26:29] Working on Unit 03 [March 23 16:26:29]
[16:26:29] + Working ...
[16:26:29] - Calling './mpiexec -np 4 -host 127.0.0.1 ./FahCore_a1.exe -dir work/ -suffix 03 -priority 96 -checkpoint 15 -verbose -lifeline 7608 -version 601'

[16:26:30]
[16:26:30] *------------------------------*
[16:26:30] Folding@Home Gromacs SMP Core
[16:26:30] Version 1.74 (November 27, 2006)
[16:26:30]
[16:26:30] Preparing to commence simulation
[16:26:30] - Ensuring status. Please wait.
[16:26:47] - Looking at optimizations...
[16:26:47] - Working with standard loops on this execution.
[16:26:47] - Previous termination of core was improper.
[16:26:47] - Going to use standard loops.
[16:26:47] - Files status OK
[16:26:47] (decompressed 529.8 percent)
[16:26:47] 3 (decompressed 529.8 percent)
[16:26:48] ckeEntering M.D.
[16:26:48] Entering M.D.
[16:26:48] one 85, Gen 84)
[16:26:48]
[16:26:48] Entering M.D.
[16:26:48] one 85, Gen 84)
[16:26:48]
[16:26:48] Entering M.D.
[16:26:58] CoreStatus = 0 (0)
[16:26:58] Client-core communications error: ERROR 0x0
[16:26:58] - Attempting to download new core...
[16:26:58] + Downloading new core: FahCore_a1.exe
[16:26:58] Downloading core (/~pande/Linux/x86//Core_a1.fah from www.stanford.edu)
[16:26:59] Initial: AFDE; + 10240 bytes downloaded
......................................................................
[16:27:16] Initial: D4FE; + 1490945 bytes downloaded
[16:27:16] Verifying core Core_a1.fah...
[16:27:16] Signature is VALID
[16:27:16]
[16:27:16] Trying to unzip core FahCore_a1.exe
[16:27:16] Decompressed FahCore_a1.exe (3625104 bytes) successfully
[16:27:16] + Core successfully engaged
[16:27:16] Deleting current work unit & continuing...
[16:31:37] - Warning: Could not delete all work unit files (3): Core returned invalid code
[16:31:37] Trying to send all finished work units
[16:31:37] + No unsent completed units remaining.
[16:31:37] - Preparing to get new work unit...
[16:31:37] + Attempting to get work packet
[16:31:37] - Will indicate memory of 2046 MB
[16:31:37] - Connecting to assignment server
[16:31:37] Connecting to http://assign.stanford.edu:8080/
[16:31:38] Posted data.
[16:31:38] Initial: 40AB; - Successful: assigned to (171.64.65.56).
[16:31:38] + News From Folding@Home: Welcome to Folding@Home
[16:31:38] Loaded queue successfully.
[16:31:38] Connecting to http://171.64.65.56:8080/
[16:31:41] Posted data.
[16:31:41] Initial: 0000; - Receiving payload (expected size: 2436861)
[16:31:52] - Downloaded at ~216 kB/s
[16:31:52] - Averaged speed for that direction ~177 kB/s
[16:31:52] + Received work.
[16:31:52] + Closed connections
[16:31:57]
[16:31:57] + Processing work unit
[16:31:57] Core required: FahCore_a1.exe
[16:31:57] Core found.
[16:31:57] Working on Unit 04 [March 23 16:31:57]
[16:31:57] + Working ...
[16:31:57] - Calling './mpiexec -np 4 -host 127.0.0.1 ./FahCore_a1.exe -dir work/ -suffix 04 -priority 96 -checkpoint 15 -verbose -lifeline 7608 -version 601'

[16:31:57]
[16:31:57] *------------------------------*
[16:31:57] Folding@Home Gromacs SMP Core
[16:31:57] Version 1.74 (November 27, 2006)
[16:31:57]
[16:31:57] Preparing to commence simulation
[16:31:57] - Ensuring status. Please wait.
[16:32:14] - Looking at optimizations...
[16:32:14] - Working with standard loops on this execution.
[16:32:14] - Previous termination of core was improper.
[16:32:14] - Going to use standard loops.
[16:32:14] - Files status OK
[16:32:14] Error: Work unit read from disk is invalid
[16:32:14] Finalizing output
[16:32:15] (decompressed 529.7 percent)
[16:32:15] 9 (decompressed 529.7 percent)
[16:32:15] one 585, Gen 35)
[16:32:15]
[16:32:15] Entering M.D.
[16:32:15] ket
[16:32:15]
[16:32:15] Project: 2605 (Run 12, Clone 585, Gen 35)
[16:32:15]
[16:32:15] Entering M.D.
[16:32:27] CoreStatus = 0 (0)
[16:32:27] Client-core communications error: ERROR 0x0
[16:32:27] Deleting current work unit & continuing...
[16:32:40] ***** Got an Activate signal (2)
[16:32:40] Killing all core threads

Folding@Home Client Shutdown.


--------------------
There are only 10 types of people - the ones, who understand binary, and those, who can't
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Mar 23 2008, 18:48
Пост #84


interstellar
**********

Група: Team member
Повідомлень: 16 971
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



нет прав на запуск СМП?


--------------------
(Show/Hide)


IPB Image

IPB Image

IPB Image
IPB Image

загальна статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
kikoin
Apr 17 2008, 09:59
Пост #85


наш 500й фолдер :) (папка)
*****

Група: Trusted Members
Повідомлень: 136
З нами з: 11-January 07
Користувач №: 394
Стать: Чол



(lokki @ Mar 23 2008, 07:40 PM) *

Поможіть, хто чим може smile.gif
6.01бета2 падає на будь-якому ВУ (лог додаю)

Linux localhost 2.6.22.18-desktop-1mdv #1 SMP Mon Feb 11 12:42:52 EST 2008 x86_64

На тому ж компі під віндою смп чудово працює...

Я когда-то тоже сталкивался с такой проблемой ...
Не помню как я решал, но помню что крутил что-то с резолвингом имён (или именем хоста) ...
Посмотри что у тебя в hosts лежит. Попробуй первым поставить localhost или имя хоста.
Что-то вот как-то так было ... blush.gif

Или вот что пишут на форумах ...
That's a toughie as the FAH Wiki doesn't give us any usable info about the CoreStatus = 0 (0) error. If the system has been folding in a reliable manner up till now I would try the following.

Shut down folding, delete the Work folder, unitinto.txt file, and queue.dat file and restart folding

If that doesn't help delete the "FahCore_a1.exe" file and restart (they sometimes become corrupupted and the client will download a new one at startup).

If that doesn't fix it, try running the configuration wizard again and change the cpu priority from the default of 100% to 96%. That has stabilized the folding client on some troublesome Work Units for me.

The last step would be to back off the OC to stock speed to see if that helps.


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Hogo Fogo
Apr 19 2008, 22:33
Пост #86


добрый линуксоид
***

Група: Trusted Members
Повідомлень: 33
З нами з: 5-February 07
Користувач №: 425
Стать: Чол
Парк машин:




http://fahwiki.net/index.php/Error_0x0_and_0x1
"0x0 errors are Unix Specific and under Linux this error often can be related to Glibc incompatibility."

Все апдейты установлены?


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Jun 24 2008, 21:52
Пост #87


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 11 909
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



Не прошло и 9 месяцев:

Проект folding@Home и Linux
https://distributed.org.ua/index.php?go=Pages&in=view&id=133

Покритикуем?


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
ReMMeR
Jun 24 2008, 23:07
Пост #88


----===[ oO ]===----
*********

Група: Team member
Повідомлень: 2 910
З нами з: 20-October 05
З: Quake arena
Користувач №: 135
Стать: Чол
Free-DC_CPID



установив программу класса RMClock и изменять профиль работы в самой ОС.

Оторванный кусок текста.


--------------------
(Show/Hide)

# Open Door, So I Walk Inside ...


echo 'tuk tuk' > /dev/buben




RC5-72:


OGR-25:


User is offlineProfile CardPM
Go to the top of the page
+Quote Post
kikoin
Oct 30 2008, 15:42
Пост #89


наш 500й фолдер :) (папка)
*****

Група: Trusted Members
Повідомлень: 136
З нами з: 11-January 07
Користувач №: 394
Стать: Чол



Попал мне в руки сервак Dell PoweEdge 2950. Унутрях два 4-ядерных ксеона.
И вот думаю я, а хватит ли одного SMP-клиента на такой машине, чтобы еЯ полностью нагрузить ?

Сомнения меня гложут ... :-)


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Oct 30 2008, 23:23
Пост #90


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 11 909
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



kikoin,
думаю, нужно два а то й 4 СМП ....


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

9 Сторінки V « < 4 5 6 7 8 > » 
Reply to this topicStart new topic
1 Користувачів переглядають дану тему (1 Гостей і 0 Прихованих Користувачів)
0 Користувачів:

 



- Lo-Fi Версія Поточний час: 25th May 2024 - 11:20