Количество ошибок |
Привіт Гість ( Вхід | Реєстрація )
Количество ошибок |
Rilian |
Nov 2 2007, 23:55
Пост
#1
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15
В результате получил следующее: * Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день) * Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК) Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя Це повідомлення відредагував nikelong: Feb 9 2009, 11:23 |
Oleg82 |
Nov 3 2007, 00:16
Пост
#2
|
кранчер зі стажем Група: Trusted Members Повідомлень: 261 З нами з: 26-October 06 Користувач №: 308 Стать: Чол Парк машин: Quad Q6600 2.4GHz/3Gb |
а почему Limit на Downloading ноль ?
-------------------- |
Rilian |
Nov 3 2007, 00:22
Пост
#3
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Хз. А зачем лимит ?
-------------------- |
Oleg82 |
Nov 3 2007, 00:43
Пост
#4
|
кранчер зі стажем Група: Trusted Members Повідомлень: 261 З нами з: 26-October 06 Користувач №: 308 Стать: Чол Парк машин: Quad Q6600 2.4GHz/3Gb |
Хз. А зачем лимит ? Я не могу понять как он вообще может быть ноль, если это % выделенный тобой на твой канал (там ж 10% мин) -------------------- |
Rilian |
Nov 3 2007, 01:31
Пост
#5
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
у меня канал выставлен 512, 100%
-------------------- |
nikelong |
Nov 3 2007, 05:12
Пост
#6
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Отакої.
У меня, при количестве воркеров 80 штук картина ТАКАЯ-ЖЕ за исключением строки "тайм-аут". ТАм не 0.2% а обычно около 10%. Но я как - то думал шо это нормально - по таймауту иметь 10% ошибок. -------------------- |
Rilian |
Nov 3 2007, 14:40
Пост
#7
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Поставил обратно 15 воркеров. Явно видно что проблемы с резолвом ДНС
-------------------- |
alexc |
Nov 7 2007, 18:29
Пост
#8
|
Majestic-12 admin Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол |
Привет всем!
Большое кол-во ошибок DNS изза того что сейчас мы проверяем 70 млн доменов, те которые ведут к ошибкам будут отфильтрованы с базы, так что не надо пугаться пока - завтра таких ошибок будет меньше, а через несколько дней я надеюсь очистить базу от урлов с тех доменов, так что ошибок будет намного меньше |
Rilian |
Nov 7 2007, 18:32
Пост
#9
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Алекс, а может быть такое что пров просто не дает столько резолвов ДНС одному клиенту в короткий промежуток времени?
Может, так как баррели все равно имеют очень короткий таймаут, сделать одну ноду на главном сервере, которая будет резолвить IP сайтов и сразу выдавать их в баррелях? -------------------- |
nikelong |
Nov 7 2007, 19:28
Пост
#10
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Аааа, то-то я думаю шо у меня за траблы
Вчера и сегодня грузится только один букет, хотя можно 5. Да и тот не работает, а скорее мертвый... Даже переустановил клиента, думал может с моей стороны трабл... -------------------- |
alexc |
Nov 7 2007, 20:17
Пост
#11
|
Majestic-12 admin Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол |
Эти домены почти полностью сделаны, осталось только 13 млн из 69 млн, мы их по второму разу делаем так как есть всегда вероятность что проблема DNS не имеет к домену отношению.
Я думал сделать это на центральном сервере, но проблема это скорость - более 2 млн в день я не могу разрезолвить, таким образом дело бы заняло месяц как минимум Осталось совсем не много до нормальных данных, все эти ошибки будут использованы с пользой - они будут учтены для урлов, так что я ожидаю что новые данные будут намного более чистые чем когда либо |
Rilian |
Nov 8 2007, 00:23
Пост
#12
|
interstellar Група: Team member Повідомлень: 17 049 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера |
Это гуд.
У меня один вопрос, почему из барреля не банится сразу вся пачка урлов от одного домена, если для данного домена было например несколько ДНС ерроров? Судя по букет-вотчеру СЕЙЧАС разных доменов реально почти 99%, но вообще такое предусмотрено? мучает меня такой вопрос Кстати, всем пока рекомендую увеличить кол-во воркеров до 20-30-40-50 или больше - ошибок резолва очень много, и он не отнимает траффик у остальных воркеров -------------------- |
nikelong |
Nov 8 2007, 08:42
Пост
#13
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
А у меня не грузится больше одного букета
Хотя в настройках выставлено 5 штук -------------------- |
alexc |
Nov 9 2007, 20:11
Пост
#14
|
Majestic-12 admin Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол |
Rilian: так оно и работает, если есть Х урлов от одного домена которые не может разрешится то через несколько ошибок начинается банится все урлы из этого бакета, но если у бакете много уникальных урлов (как было несколько дней назад), то это не поможет.
А у меня не грузится больше одного букета Хотя в настройках выставлено 5 штук Возможно одного бакета достаточно? Остальные бакеты грузятся если количество воркеров превышает количество уникальных доменов (а точнее IP) в бакете, может мало воркеров? Сейчас уникальные домены почти полностью завершены, и я пости подготовил списки доменов которые имею проблемы - я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут |
nikelong |
Nov 10 2007, 01:11
Пост
#15
|
Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут Пятница, вечер...уже нормальные идут! -------------------- |
Lo-Fi Версія | Поточний час: 26th September 2024 - 23:21 |