Количество ошибок |
Привіт Гість ( Вхід | Реєстрація )
Количество ошибок |
Rilian |
Nov 2 2007, 23:55
Пост
#1
|
interstellar Група: Team member Повідомлень: 16 964 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15
В результате получил следующее: * Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день) * Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК) Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя Це повідомлення відредагував nikelong: Feb 9 2009, 11:23 |
nikelong |
Nov 8 2007, 08:42
Пост
#2
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
А у меня не грузится больше одного букета
Хотя в настройках выставлено 5 штук -------------------- |
alexc |
Nov 9 2007, 20:11
Пост
#3
|
Majestic-12 admin Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол |
Rilian: так оно и работает, если есть Х урлов от одного домена которые не может разрешится то через несколько ошибок начинается банится все урлы из этого бакета, но если у бакете много уникальных урлов (как было несколько дней назад), то это не поможет.
А у меня не грузится больше одного букета Хотя в настройках выставлено 5 штук Возможно одного бакета достаточно? Остальные бакеты грузятся если количество воркеров превышает количество уникальных доменов (а точнее IP) в бакете, может мало воркеров? Сейчас уникальные домены почти полностью завершены, и я пости подготовил списки доменов которые имею проблемы - я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут |
Lo-Fi Версія | Поточний час: 14th May 2024 - 22:17 |