!ОЙjestic Налаштування

[nikelong]

Нашёл 15 ГиГ камедиКлаб.
Так что около 15-ти дней команда Украины будет недополучать ~150000 ППД

Це повідомлення відредагував nikelong: Feb 9 2009, 11:22

[Dobromyr]

Звітуюсь за добу.
Значиться параметри: 400 воркерів, 75 букетів, ДЛ-19 Мбіт, АЛ-18 Мбіт. Майже 25 робочих годин

Результат (по локальній статистиці):

MJ12node : v1.7.5
Platform : Mono build running on Unix 3.0.0.11
Total URLs : 2,092,120 (100.0%)
Successes : 1,600,917 (76.5%)
Not found : 164,943 (7.9%)
Timed out : 36,927 (1.8%)
Disallowed : 106,085 (5.1%)
Banned : 15,932 (0.8%)
DNS errors : 87,190 (4.2%)
Conn errors : 23,165 (1.1%)
Forbidden (403): 10,512 (0.5%)
Other : 54,074 (2.6%)
Retries : 0 (0.0%)
Uptime : 24 hours 57 mins 29 secs

Середня швидкість ДЛ - 4,161

На сервері: 1,827,534 (51,790) за 24 hours 31 mins 52 secs

Як на мене, то маловато буде. На старому ноді 1.7 витягував десь до 4.2 - 4.4 млн.

Основні помилки в лозі:

[09/27/2011 14:49:13] Could not execute action UploadDataBarrel - The request timed out
[09/27/2011 16:30:18] Could not execute action GetURLs - The request timed out

[09/27/2011 19:36:42] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[09/27/2011 19:37:46] Could not execute action GetURLs - The remote server returned an error: (404) Not Found.

[09/27/2011 20:42:42] Could not get banned domains: System.Exception: Bucket search was requested but it could not be found among opened ones! BuckedID=115
at Majestic12.WebCrawler.FindURLBucket (Int32 iBucketID) [0x00000] in <filename unknown>:0
at Majestic12.WebCrawler.Crawl () [0x00000] in <filename unknown>:0
[09/27/2011 20:43:53] The line above was repeated 60 more times
[09/27/2011 20:43:53] Could not execute action GetURLs - The request timed out
[09/27/2011 20:43:53] Could not connect to server to get more urls, will retry later.

Спробую зараз обновити свою убунту, розпакувати новий нод з новою назвою. Якщо не вийде, мігрую на вінду, спробую ще там