Количество ошибок |
Привіт Гість ( Вхід | Реєстрація )
Количество ошибок |
Rilian |
Nov 2 2007, 23:55
Пост
#1
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15
В результате получил следующее: * Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день) * Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК) Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя Це повідомлення відредагував nikelong: Feb 9 2009, 11:23 |
alexc |
Nov 10 2007, 21:00
Пост
#16
|
Majestic-12 admin Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол |
|
nikelong |
Nov 20 2007, 21:37
Пост
#17
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Поставил таймаут не 10 а 60 секунд
Поставил 5 букетов Поставил 5 воркеров... ... Т.Е. сделал максимально тепличные условия для того чтобы уменьшить количество ошибок по таймауту... Процент всё-равно составляет 8% (!!) При 100 Воркерах доходит до 15%... -------------------- |
nikelong |
Dec 3 2008, 18:52
Пост
#18
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Выяснил почему сегодня накравлил аномальное количество УРЛов.
Глючили букеты из зоны .nu .kz .by -------------------- |
Algon |
Jan 24 2009, 11:15
Пост
#19
|
Ambulance Група: Trusted Members Повідомлень: 878 З нами з: 11-November 08 З: Бердянск, СИЗО ГУВД :) Користувач №: 862 Стать: Чол Парк машин: QX9650, Q8400S, Q8200S, Q6600, E6750, E4500, Xeon 5110, X2 5600+, M540, M420. |
Кто-нибудь сталкивался с такой проблемой: Маджестик не может заархивировать данные, при архивации очень медленно доходит до 30%, потом долго стоит на этой отметке. После этого показатель сбрасывается на 0, время архивации продолжает считаться, а через некоторое время все начинается сначала, и так по кругу. Пробовал подключить внешний архиватор RAR, все становится еще медленнее, но тоже по кругу. Перезагрузка Маджестика и машины ничего не дают.
Что посоветуете? -------------------- (Show/Hide) |
Death |
Jan 24 2009, 11:20
Пост
#20
|
<script ///> Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
у меня с архивацией всё нормально, не скажу...
настроено всё по дефолту? у меня кравлятся 10 доменов из 50000 (( остальные в таймауте. что делать? -------------------- |
Algon |
Jan 24 2009, 14:33
Пост
#21
|
Ambulance Група: Trusted Members Повідомлень: 878 З нами з: 11-November 08 З: Бердянск, СИЗО ГУВД :) Користувач №: 862 Стать: Чол Парк машин: QX9650, Q8400S, Q8200S, Q6600, E6750, E4500, Xeon 5110, X2 5600+, M540, M420. |
Death
А какого типа ошибки? DNS или таймауты или что-то другое? -------------------- (Show/Hide) |
Death |
Jan 24 2009, 15:17
Пост
#22
|
<script ///> Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
у меня кравлятся 10 доменов из 50000 (( остальные в таймауте. -------------------- |
Algon |
Jan 24 2009, 15:40
Пост
#23
|
Ambulance Група: Trusted Members Повідомлень: 878 З нами з: 11-November 08 З: Бердянск, СИЗО ГУВД :) Користувач №: 862 Стать: Чол Парк машин: QX9650, Q8400S, Q8200S, Q6600, E6750, E4500, Xeon 5110, X2 5600+, M540, M420. |
Хез... че-то у меня тоже таймауты поперли. Может задания такие...
-------------------- (Show/Hide) |
ReMMeR |
Jan 24 2009, 22:51
Пост
#24
|
----===[ oO ]===---- Група: Team member Повідомлень: 2 910 З нами з: 20-October 05 З: Quake arena Користувач №: 135 Стать: Чол Free-DC_CPID |
При архивации были проблемы с внешним архиватором. выставил внутренний - все ущло.
При конкретных нерешаемых проблемах помогло все удалить и установить заново ( как правило версия новее уже есть) - такое было 1 раз. -------------------- (Show/Hide) |
Death |
Mar 4 2009, 23:02
Пост
#25
|
<script ///> Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
попался букет аэро забитый тупо спамом.
connect-one.aero connect-privet.aero connect-blablabla.aero и тд. сцуко весь день тупо висел, одни таймауты. а второй не лоадится параллельно ((( пришлось убить нах всю базу. не знаю как один букет можно абортнуть. зато щас попёрла Украина. 2мегабита жгут на 100% )) 75 воркеров. MJ12node : v1.6.8 Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0 Total URLs : 7 237 (100,0%) Successes : 6 062 (83,8%) Not found : 169 (2,3%) Timed out : 30 (0,4%) Disallowed : 0 (0.0%) Banned : 0 (0.0%) DNS errors : 657 (9,1%) Conn errors : 319 (4,4%) Forbidden (403): 0 (0.0%) Other : 0 (0.0%) Retries : 0 (0,0%) Uptime : 14 mins 22 secs Memory usage : 54 MB GZIP requests : 2 204 (30,4% of successes) GZIP saved data: 78 MB (35,8% of total) -------------------- |
nikelong |
Mar 5 2009, 00:08
Пост
#26
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Короче ОГО оказалось полным УГ по части ошибок.
Я сегодня на другом прове попробовал - глазам не поверил - 98.2% УДАЧНЫХ кравлеров. Я на ого и 80% то ниразу невидел.... ЗЫ: настройки ессесно одинаковые для одной и той же ширини канала ... -------------------- |
Rilian |
Mar 5 2009, 00:16
Пост
#27
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
ОГО падает на стадии резолва ДНС, или на стадии докачки страницы?
-------------------- |
Death |
Mar 5 2009, 00:33
Пост
#28
|
<script ///> Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
ого задолбало сцуко падением днс в 8 вечера
MJ12node : v1.6.8 Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0 Total URLs : 15 386 (100,0%) Successes : 14 568 (94,7%) Not found : 261 (1,7%) Timed out : 224 (1,5%) Disallowed : 179 (1,2%) Banned : 0 (0.0%) DNS errors : 13 (0,1%) Conn errors : 139 (0,9%) Forbidden (403): 0 (0.0%) Other : 2 (0,0%) Retries : 0 (0,0%) Uptime : 46 mins 8 secs Memory usage : 49 MB GZIP requests : 5 475 (35,6% of successes) GZIP saved data: 185 MB (32,5% of total) Найк, если кликнуть по этой табличке - в клиенте - там есть скопировать в клипбоард. Кинь сюда )) и логи тоже... -------------------- |
Roamer |
Mar 5 2009, 01:29
Пост
#29
|
мрію про ферму... Група: Trusted Members Повідомлень: 159 З нами з: 24-December 08 З: г.Киев Користувач №: 890 Стать: Чол Free-DC_CPID Парк машин: 1. AMD 5950X@4400, 4x16Gb G.SKILL F4-3600C14D-32GTZN, 24/7 (home) 2. X5690@3700, 3x4096Mb Kingston 1600 MHz, 24/7 (home) |
У меня, когда идет Украина, удачных - 93-95%.
Когда зарубежка - 80-90% (если меньше, то рестартую клиент.). -------------------- |
nikelong |
Mar 21 2009, 23:49
Пост
#30
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Карочи, Чудновсикй проапгрейдил стат, теперь видно у кого сколько ошибок на каждой ноде.
у заодно видно кто читерсцуко! ЗЫ: нормальным считается <15% ошибок. Все шо бОльше - подсвечивается красным (!) -------------------- |
Lo-Fi Версія | Поточний час: 23rd September 2024 - 02:14 |