 Количество ошибок |
Привіт Гість ( Вхід | Реєстрація )
| Rilian |
 Nov 2 2007, 23:55
Пост
#1
|
 interstellar  Група: Team member Повідомлень: 17 161 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера  |
Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15
В результате получил следующее: * Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день) * Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК) Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки  пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя Це повідомлення відредагував nikelong: Feb 9 2009, 11:23 |
   |
 
|
|
  |
Відповідей
| nikelong |
Nov 7 2007, 19:28
Пост
#2
|
 Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Аааа, то-то я думаю шо у меня за траблы
 Вчера и сегодня грузится только один букет, хотя можно 5. Да и тот не работает, а скорее мертвый... Даже переустановил клиента, думал может с моей стороны трабл... --------------------   |
|
|
|
| alexc |
Nov 7 2007, 20:17
Пост
#3
|
 Majestic-12 admin Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол |
Эти домены почти полностью сделаны, осталось только 13 млн из 69 млн, мы их по второму разу делаем так как есть всегда вероятность что проблема DNS не имеет к домену отношению.
Я думал сделать это на центральном сервере, но проблема это скорость - более 2 млн в день я не могу разрезолвить, таким образом дело бы заняло месяц как минимум Осталось совсем не много до нормальных данных, все эти ошибки будут использованы с пользой - они будут учтены для урлов, так что я ожидаю что новые данные будут намного более чистые чем когда либо  |
|
|
|
Повідомлення у даній Темі
Rilian Количество ошибок Nov 2 2007, 23:55
Oleg82 а почему Limit на Downloading ноль ? Nov 3 2007, 00:16 Rilian Хз. А зачем лимит ? Nov 3 2007, 00:22
Oleg82
Хз. А зачем лимит ?
Я не могу понять как он воо... Nov 3 2007, 00:43 Rilian у меня канал выставлен 512, 100% Nov 3 2007, 01:31 nikelong Отакої.
У меня, при количестве воркеров 80 штук ка... Nov 3 2007, 05:12 Rilian Поставил обратно 15 воркеров. Явно видно что пробл... Nov 3 2007, 14:40 alexc Привет всем!
Большое кол-во ошибок DNS изза т... Nov 7 2007, 18:29 Rilian Алекс, а может быть такое что пров просто не дает ... Nov 7 2007, 18:32 Rilian Это гуд.
У меня один вопрос, почему из барреля не... Nov 8 2007, 00:23 nikelong А у меня не грузится больше одного букета :(
Хотя ... Nov 8 2007, 08:42 alexc Rilian: так оно и работает, если есть Х урлов от о... Nov 9 2007, 20:11 nikelong
Пятница, вечер...уже нормальные идут! :dk: Nov 10 2007, 01:11 alexc
Пятница, вечер...уже нормальные идут! :dk:
... Nov 10 2007, 21:00 nikelong Поставил таймаут не 10 а 60 секунд
Поставил 5 буке... Nov 20 2007, 21:37 nikelong Выяснил почему сегодня накравлил аномальное количе... Dec 3 2008, 18:52 Algon Кто-нибудь сталкивался с такой проблемой: Маджести... Jan 24 2009, 11:15 Death у меня с архивацией всё нормально, не скажу...
нас... Jan 24 2009, 11:20|
|
|
2 Користувачів переглядають дану тему (2 Гостей і 0 Прихованих Користувачів)
0 Користувачів:
|
Lo-Fi Версія | Поточний час: 7th July 2025 - 15:26 |