![]() |
Привіт Гість ( Вхід | Реєстрація )
![]() |
Rilian |
![]()
Пост
#1
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 16 995 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера ![]() |
Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15
В результате получил следующее: * Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день) * Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК) Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки ![]() пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя Це повідомлення відредагував nikelong: Feb 9 2009, 11:23 |
![]() ![]() |
Oleg82 |
![]()
Пост
#2
|
![]() кранчер зі стажем ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 261 З нами з: 26-October 06 Користувач №: 308 Стать: Чол Парк машин: Quad Q6600 2.4GHz/3Gb ![]() |
а почему Limit на Downloading ноль ?
-------------------- |
Rilian |
![]()
Пост
#3
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 16 995 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера ![]() |
Хз. А зачем лимит ?
-------------------- |
Oleg82 |
![]()
Пост
#4
|
![]() кранчер зі стажем ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 261 З нами з: 26-October 06 Користувач №: 308 Стать: Чол Парк машин: Quad Q6600 2.4GHz/3Gb ![]() |
Хз. А зачем лимит ? Я не могу понять как он вообще может быть ноль, если это % выделенный тобой на твой канал (там ж 10% мин) -------------------- |
Rilian |
![]()
Пост
#5
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 16 995 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера ![]() |
у меня канал выставлен 512, 100%
-------------------- |
nikelong |
![]()
Пост
#6
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол ![]() |
Отакої.
У меня, при количестве воркеров 80 штук картина ТАКАЯ-ЖЕ за исключением строки "тайм-аут". ТАм не 0.2% а обычно около 10%. Но я как - то думал шо это нормально - по таймауту иметь 10% ошибок. -------------------- |
Rilian |
![]()
Пост
#7
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 16 995 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера ![]() |
Поставил обратно 15 воркеров. Явно видно что проблемы с резолвом ДНС
![]() -------------------- |
alexc |
![]()
Пост
#8
|
Majestic-12 admin ![]() ![]() Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол ![]() |
Привет всем!
Большое кол-во ошибок DNS изза того что сейчас мы проверяем 70 млн доменов, те которые ведут к ошибкам будут отфильтрованы с базы, так что не надо пугаться пока - завтра таких ошибок будет меньше, а через несколько дней я надеюсь очистить базу от урлов с тех доменов, так что ошибок будет намного меньше ![]() |
Rilian |
![]()
Пост
#9
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 16 995 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера ![]() |
Алекс, а может быть такое что пров просто не дает столько резолвов ДНС одному клиенту в короткий промежуток времени?
Может, так как баррели все равно имеют очень короткий таймаут, сделать одну ноду на главном сервере, которая будет резолвить IP сайтов и сразу выдавать их в баррелях? -------------------- |
nikelong |
![]()
Пост
#10
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол ![]() |
Аааа, то-то я думаю шо у меня за траблы
![]() Вчера и сегодня грузится только один букет, хотя можно 5. Да и тот не работает, а скорее мертвый... Даже переустановил клиента, думал может с моей стороны трабл... -------------------- |
alexc |
![]()
Пост
#11
|
Majestic-12 admin ![]() ![]() Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол ![]() |
Эти домены почти полностью сделаны, осталось только 13 млн из 69 млн, мы их по второму разу делаем так как есть всегда вероятность что проблема DNS не имеет к домену отношению.
Я думал сделать это на центральном сервере, но проблема это скорость - более 2 млн в день я не могу разрезолвить, таким образом дело бы заняло месяц как минимум ![]() Осталось совсем не много до нормальных данных, все эти ошибки будут использованы с пользой - они будут учтены для урлов, так что я ожидаю что новые данные будут намного более чистые чем когда либо ![]() |
Rilian |
![]()
Пост
#12
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 16 995 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: ноут и кусок сервера ![]() |
Это гуд.
У меня один вопрос, почему из барреля не банится сразу вся пачка урлов от одного домена, если для данного домена было например несколько ДНС ерроров? Судя по букет-вотчеру СЕЙЧАС разных доменов реально почти 99%, но вообще такое предусмотрено? мучает меня такой вопрос ![]() Кстати, всем пока рекомендую увеличить кол-во воркеров до 20-30-40-50 или больше - ошибок резолва очень много, и он не отнимает траффик у остальных воркеров -------------------- |
nikelong |
![]()
Пост
#13
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол ![]() |
А у меня не грузится больше одного букета
![]() Хотя в настройках выставлено 5 штук ![]() -------------------- |
alexc |
![]()
Пост
#14
|
Majestic-12 admin ![]() ![]() Група: Trusted Members Повідомлень: 24 З нами з: 20-October 07 Користувач №: 616 Стать: Чол ![]() |
Rilian: так оно и работает, если есть Х урлов от одного домена которые не может разрешится то через несколько ошибок начинается банится все урлы из этого бакета, но если у бакете много уникальных урлов (как было несколько дней назад), то это не поможет.
А у меня не грузится больше одного букета ![]() Хотя в настройках выставлено 5 штук ![]() Возможно одного бакета достаточно? Остальные бакеты грузятся если количество воркеров превышает количество уникальных доменов (а точнее IP) в бакете, может мало воркеров? Сейчас уникальные домены почти полностью завершены, и я пости подготовил списки доменов которые имею проблемы - я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут ![]() |
nikelong |
![]()
Пост
#15
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол ![]() |
я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут Пятница, вечер...уже нормальные идут! ![]() -------------------- |
![]() ![]() |
![]() |
Lo-Fi Версія | Поточний час: 13th June 2024 - 19:54 |