 Количество ошибок |
Привіт Гість ( Вхід | Реєстрація )
| Rilian |
 Nov 2 2007, 23:55
Пост
#1
|
 interstellar  Група: Team member Повідомлень: 17 171 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: 2 ноути і 4 компа  |
Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15
В результате получил следующее: * Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день) * Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК) Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки  пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя Це повідомлення відредагував nikelong: Feb 9 2009, 11:23 |
   |
 
|
|
  |
Відповідей
| nikelong |
Feb 16 2011, 14:45
Пост
#2
|
 Тера ранчер Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Hi, I am emailing you because you are a member of Majestic-12 project who crawled data in the last 2 weeks using old version of crawler. We have new version v1.7.0 that uses new more advanced buckets server that we will continue to develop. For some months we've run old buckets server in parallel but we really need to shut it down now - we plan to do it in a week time. Please upgrade your node from our downloads page: http://www.majestic12.co.uk/projects/dsearch/download.php Thank you for keeping your support of the project! Best regards, Alex Chudnovsky Managing Director Phone : (+44) (0) 121 2505765 Email : alexc@majesticseo.com Web : http://www.majesticseo.com Majestic-12 Ltd (t/a Majestic-SEO) Faraday Wharf, Holt Street Birmingham Science Park, Aston Birmingham, B7 4BB О как! Придется таки обновить клиент, раз админ меня в этом САМ попросил  --------------------   |
|
|
|
Повідомлення у даній Темі
Rilian Количество ошибок Nov 2 2007, 23:55
Oleg82 а почему Limit на Downloading ноль ? Nov 3 2007, 00:16 Rilian Хз. А зачем лимит ? Nov 3 2007, 00:22
Oleg82
Хз. А зачем лимит ?
Я не могу понять как он воо... Nov 3 2007, 00:43 Rilian у меня канал выставлен 512, 100% Nov 3 2007, 01:31 nikelong Отакої.
У меня, при количестве воркеров 80 штук ка... Nov 3 2007, 05:12 Rilian Поставил обратно 15 воркеров. Явно видно что пробл... Nov 3 2007, 14:40 alexc Привет всем!
Большое кол-во ошибок DNS изза т... Nov 7 2007, 18:29 Rilian Алекс, а может быть такое что пров просто не дает ... Nov 7 2007, 18:32 nikelong Аааа, то-то я думаю шо у меня за траблы :(
Вчера и... Nov 7 2007, 19:28 alexc Эти домены почти полностью сделаны, осталось тольк... Nov 7 2007, 20:17 Rilian Это гуд.
У меня один вопрос, почему из барреля не... Nov 8 2007, 00:23 nikelong А у меня не грузится больше одного букета :(
Хотя ... Nov 8 2007, 08:42 alexc Rilian: так оно и работает, если есть Х урлов от о... Nov 9 2007, 20:11 nikelong
Пятница, вечер...уже нормальные идут! :dk: Nov 10 2007, 01:11 alexc
Пятница, вечер...уже нормальные идут! :dk:
... Nov 10 2007, 21:00 nikelong Поставил таймаут не 10 а 60 секунд
Поставил 5 буке... Nov 20 2007, 21:37 nikelong Выяснил почему сегодня накравлил аномальное количе... Dec 3 2008, 18:52 Algon Кто-нибудь сталкивался с такой проблемой: Маджести... Jan 24 2009, 11:15 Death у меня с архивацией всё нормально, не скажу...
нас... Jan 24 2009, 11:20|
|
|
2 Користувачів переглядають дану тему (2 Гостей і 0 Прихованих Користувачів)
0 Користувачів:
|
Lo-Fi Версія | Поточний час: 14th February 2026 - 15:24 |