Привіт Гість ( Вхід | Реєстрація )

> Количество ошибок
Rilian
Nov 2 2007, 23:55
Пост #1


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15

В результате получил следующее:

* Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день)
* Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК)

Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки



пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя

Це повідомлення відредагував nikelong: Feb 9 2009, 11:23
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
5 Сторінки V < 1 2 3 4 > »   
Reply to this topicStart new topic
Відповідей(15 - 29)
alexc
Nov 10 2007, 21:00
Пост #16


Majestic-12 admin
**

Група: Trusted Members
Повідомлень: 24
З нами з: 20-October 07
Користувач №: 616
Стать: Чол



(nikelong @ Nov 10 2007, 01:11 AM) *

я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут

Пятница, вечер...уже нормальные идут! dk.gif


Удут лучше (но старые), но пока не нормальные, завтра должны пойти лучше, а через 2 недели еще лучше - супер свежие smile.gif
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Nov 20 2007, 21:37
Пост #17


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



Поставил таймаут не 10 а 60 секунд
Поставил 5 букетов
Поставил 5 воркеров...
...
Т.Е. сделал максимально тепличные условия для того чтобы уменьшить количество ошибок по таймауту...
Процент всё-равно составляет 8% (!!)
При 100 Воркерах доходит до 15%...


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Dec 3 2008, 18:52
Пост #18


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



Выяснил почему сегодня накравлил аномальное количество УРЛов.

Глючили букеты из зоны .nu .kz .by nike.gif


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Algon
Jan 24 2009, 11:15
Пост #19


Ambulance
*******

Група: Trusted Members
Повідомлень: 899
З нами з: 11-November 08
З: Бердянск, СИЗО ГУВД :)
Користувач №: 862
Стать: Чол
Парк машин:
QX9650, Q8400S, Q8200S, Q6600, E6750, E4500, Xeon 5110, X2 5600+, M540, M420.



Кто-нибудь сталкивался с такой проблемой: Маджестик не может заархивировать данные, при архивации очень медленно доходит до 30%, потом долго стоит на этой отметке. После этого показатель сбрасывается на 0, время архивации продолжает считаться, а через некоторое время все начинается сначала, и так по кругу. Пробовал подключить внешний архиватор RAR, все становится еще медленнее, но тоже по кругу. Перезагрузка Маджестика и машины ничего не дают.
Что посоветуете?


--------------------
(Show/Hide)

User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Death
Jan 24 2009, 11:20
Пост #20


<script ///>
**********

Група: Moderators
Повідомлень: 6 429
З нами з: 5-November 03
З: Kyiv
Користувач №: 26
Стать: НеСкажу
Free-DC_CPID
Парк машин:
гидропарк
jabber:deadjdona@gmail.com



у меня с архивацией всё нормально, не скажу...
настроено всё по дефолту?

у меня кравлятся 10 доменов из 50000 ((
остальные в таймауте.

что делать?


--------------------
wbr, Me. Dead J. Dona OGR-27
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Algon
Jan 24 2009, 14:33
Пост #21


Ambulance
*******

Група: Trusted Members
Повідомлень: 899
З нами з: 11-November 08
З: Бердянск, СИЗО ГУВД :)
Користувач №: 862
Стать: Чол
Парк машин:
QX9650, Q8400S, Q8200S, Q6600, E6750, E4500, Xeon 5110, X2 5600+, M540, M420.



Death
А какого типа ошибки? DNS или таймауты или что-то другое?


--------------------
(Show/Hide)

User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Death
Jan 24 2009, 15:17
Пост #22


<script ///>
**********

Група: Moderators
Повідомлень: 6 429
З нами з: 5-November 03
З: Kyiv
Користувач №: 26
Стать: НеСкажу
Free-DC_CPID
Парк машин:
гидропарк
jabber:deadjdona@gmail.com



у меня кравлятся 10 доменов из 50000 ((
остальные в таймауте.



--------------------
wbr, Me. Dead J. Dona OGR-27
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Algon
Jan 24 2009, 15:40
Пост #23


Ambulance
*******

Група: Trusted Members
Повідомлень: 899
З нами з: 11-November 08
З: Бердянск, СИЗО ГУВД :)
Користувач №: 862
Стать: Чол
Парк машин:
QX9650, Q8400S, Q8200S, Q6600, E6750, E4500, Xeon 5110, X2 5600+, M540, M420.



Хез... че-то у меня тоже таймауты поперли. Может задания такие...


--------------------
(Show/Hide)

User is offlineProfile CardPM
Go to the top of the page
+Quote Post
ReMMeR
Jan 24 2009, 22:51
Пост #24


----===[ oO ]===----
*********

Група: Team member
Повідомлень: 3 087
З нами з: 20-October 05
З: Quake arena
Користувач №: 135
Стать: Чол
Free-DC_CPID



При архивации были проблемы с внешним архиватором. выставил внутренний - все ущло.

При конкретных нерешаемых проблемах помогло все удалить и установить заново ( как правило версия новее уже есть) - такое было 1 раз.


--------------------
(Show/Hide)

# Open Door, So I Walk Inside ...


echo 'tuk tuk' > /dev/buben




RC5-72:


OGR-25:


User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Death
Mar 4 2009, 23:02
Пост #25


<script ///>
**********

Група: Moderators
Повідомлень: 6 429
З нами з: 5-November 03
З: Kyiv
Користувач №: 26
Стать: НеСкажу
Free-DC_CPID
Парк машин:
гидропарк
jabber:deadjdona@gmail.com



попался букет аэро забитый тупо спамом.

connect-one.aero
connect-privet.aero
connect-blablabla.aero

и тд. сцуко весь день тупо висел, одни таймауты.
а второй не лоадится параллельно (((

пришлось убить нах всю базу. не знаю как один букет можно абортнуть.

зато щас попёрла Украина. 2мегабита жгут на 100% ))

75 воркеров.

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 7 237 (100,0%)
Successes : 6 062 (83,8%)
Not found : 169 (2,3%)
Timed out : 30 (0,4%)
Disallowed : 0 (0.0%)
Banned : 0 (0.0%)
DNS errors : 657 (9,1%)
Conn errors : 319 (4,4%)
Forbidden (403): 0 (0.0%)
Other : 0 (0.0%)
Retries : 0 (0,0%)
Uptime : 14 mins 22 secs
Memory usage : 54 MB
GZIP requests : 2 204 (30,4% of successes)
GZIP saved data: 78 MB (35,8% of total)


--------------------
wbr, Me. Dead J. Dona OGR-27
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Mar 5 2009, 00:08
Пост #26


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



Короче ОГО оказалось полным УГ по части ошибок.
Я сегодня на другом прове попробовал - глазам не поверил - 98.2% УДАЧНЫХ кравлеров. Я на ого и 80% то ниразу невидел.... sad.gif
ЗЫ: настройки ессесно одинаковые для одной и той же ширини канала ...


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Mar 5 2009, 00:16
Пост #27


interstellar
**********

Група: Team member
Повідомлень: 17 344
З нами з: 22-February 06
З: Торонто
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



ОГО падает на стадии резолва ДНС, или на стадии докачки страницы?


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Death
Mar 5 2009, 00:33
Пост #28


<script ///>
**********

Група: Moderators
Повідомлень: 6 429
З нами з: 5-November 03
З: Kyiv
Користувач №: 26
Стать: НеСкажу
Free-DC_CPID
Парк машин:
гидропарк
jabber:deadjdona@gmail.com



ого задолбало сцуко падением днс в 8 вечера

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 15 386 (100,0%)
Successes : 14 568 (94,7%)
Not found : 261 (1,7%)
Timed out : 224 (1,5%)
Disallowed : 179 (1,2%)
Banned : 0 (0.0%)
DNS errors : 13 (0,1%)
Conn errors : 139 (0,9%)
Forbidden (403): 0 (0.0%)
Other : 2 (0,0%)
Retries : 0 (0,0%)
Uptime : 46 mins 8 secs
Memory usage : 49 MB
GZIP requests : 5 475 (35,6% of successes)
GZIP saved data: 185 MB (32,5% of total)

Найк, если кликнуть по этой табличке - в клиенте - там есть скопировать в клипбоард. Кинь сюда )) и логи тоже...


--------------------
wbr, Me. Dead J. Dona OGR-27
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Roamer
Mar 5 2009, 01:29
Пост #29


мрію про ферму...
*****

Група: Validating
Повідомлень: 168
З нами з: 24-December 08
З: г.Киев
Користувач №: 890
Стать: Чол
Free-DC_CPID
Парк машин:
1. AMD 5950X@4400, 4x16Gb G.SKILL F4-3600C14D-32GTZN, 24/7 (home) 2. X5690@3700, 3x4096Mb Kingston 1600 MHz, 24/7 (home)



У меня, когда идет Украина, удачных - 93-95%.
Когда зарубежка - 80-90% (если меньше, то рестартую клиент.).


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Mar 21 2009, 23:49
Пост #30


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



Карочи, Чудновсикй проапгрейдил стат, теперь видно у кого сколько ошибок на каждой ноде.
у заодно видно кто читерсцуко!

ЗЫ: нормальным считается <15% ошибок. Все шо бОльше - подсвечивается красным (!)

rtfm.gif


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

5 Сторінки V < 1 2 3 4 > » 
Reply to this topicStart new topic
1 Користувачів переглядають дану тему (1 Гостей і 0 Прихованих Користувачів)
0 Користувачів:

 



- Lo-Fi Версія Поточний час: 28th March 2024 - 21:30

Invision Power Board v1.3.3 © 1996 IPS, Inc.