!ОЙjestic Налаштування

[nikelong]

Нашёл 15 ГиГ камедиКлаб.
Так что около 15-ти дней команда Украины будет недополучать ~150000 ППД

Це повідомлення відредагував nikelong: Feb 9 2009, 11:22

[Death]

а проверку памяти раз в минуту и максимум 300 мб?

[Rilian]

smilesvua, вылетает с какой ошибкой? пришли лог

костыль или нет, но если есть желание заюзать мощности по полной - то лучше с костылем

виртуалка очень быстро поднимается..

[Dobromyr]

Тільки рахує статистику якось незрозуміло. На локальному компі вчора було десь до 500000 урлів, а зарахувалося тільки 14000 на сайті. Не можу зрозуміти в чому причина....

[smilesvua]

Вот вам и код проблемы.
Описание:
Stopped working

Сигнатура проблемы:
Имя события проблемы: CLR20r3
Сигнатура проблемы 01: mj12node.exe
Сигнатура проблемы 02: 1.7.1.25260
Сигнатура проблемы 03: 4e11c7d9
Сигнатура проблемы 04: MJ12commonLib
Сигнатура проблемы 05: 1.7.5.25259
Сигнатура проблемы 06: 4e11c7d7
Сигнатура проблемы 07: 353
Сигнатура проблемы 08: b4
Сигнатура проблемы 09: System.Exception
Версия ОС: 6.1.7601.2.1.0.256.1
Код языка: 1049
Причем с использованием библиотеки дот.нета ошибки не было более суток, переключил на свою вылетело на 6 часе. Но с библиотекой дот нета быстрее 20-30 мбит не разгоняет.

[Rilian]

smilesvua, поставь библиотеку .NET - она явно лучше написана чем в ноде, и юзай 30 мбит

Если будет желание - потом поставишь еще виртуалку и загрузишь канал

[Dobromyr]

Запустив два ноди під лінуксом на 20 Мбіт. Один нод працює нормально. А от у другому постійно повідомлення:

[09/27/2011 12:54:04] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[09/27/2011 12:54:33] Could not execute action GetUploadTarget - The request timed out
[09/27/2011 12:54:33] Failed to get upload target due to ConnectivityProblem

Це в мене щось, чи на сервері?
Пробував наново ставити, деякий час пропрацює, потім те саме...

[Rilian]

Dobromyr, Як ти їх запускаєш ? З якими параметрами

така помилка є коли твоя нода не може закачати порахований букет на сервер ... це в тебе домашній комп або сервер ? є проблеми з інетом ?

[Dobromyr]

З нетом нема проблем. Стабільний канал 20/20 Мбіт. Стоїть роутер TP-link 740. Ноут селерок 1,6, 2 Гб оперативки. Місця вистачає

Запускаю через run.sh
Обидва ноди з параметрами 350 воркерів, 75 букетів. 90% від 20 Мбіт (поставив так, бо один нод в основному витягує десь 7-8 Мбіт). Все решта по замовчуванню

Один стабільно працює, але не загружає канал. Десь тут читав, що треба по ноду на кожні 10Мбіт. От і спробував...

[Rilian]

спробуй поставити 1 ноду, 400 воркерів, 75 букетів

[Dobromyr]

ОК. Спробую. Завтра відпишусь як результат

[Dobromyr]

Звітуюсь за добу.
Значиться параметри: 400 воркерів, 75 букетів, ДЛ-19 Мбіт, АЛ-18 Мбіт. Майже 25 робочих годин

Результат (по локальній статистиці):

MJ12node : v1.7.5
Platform : Mono build running on Unix 3.0.0.11
Total URLs : 2,092,120 (100.0%)
Successes : 1,600,917 (76.5%)
Not found : 164,943 (7.9%)
Timed out : 36,927 (1.8%)
Disallowed : 106,085 (5.1%)
Banned : 15,932 (0.8%)
DNS errors : 87,190 (4.2%)
Conn errors : 23,165 (1.1%)
Forbidden (403): 10,512 (0.5%)
Other : 54,074 (2.6%)
Retries : 0 (0.0%)
Uptime : 24 hours 57 mins 29 secs

Середня швидкість ДЛ - 4,161

На сервері: 1,827,534 (51,790) за 24 hours 31 mins 52 secs

Як на мене, то маловато буде. На старому ноді 1.7 витягував десь до 4.2 - 4.4 млн.

Основні помилки в лозі:

[09/27/2011 14:49:13] Could not execute action UploadDataBarrel - The request timed out
[09/27/2011 16:30:18] Could not execute action GetURLs - The request timed out

[09/27/2011 19:36:42] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[09/27/2011 19:37:46] Could not execute action GetURLs - The remote server returned an error: (404) Not Found.

[09/27/2011 20:42:42] Could not get banned domains: System.Exception: Bucket search was requested but it could not be found among opened ones! BuckedID=115
at Majestic12.WebCrawler.FindURLBucket (Int32 iBucketID) [0x00000] in <filename unknown>:0
at Majestic12.WebCrawler.Crawl () [0x00000] in <filename unknown>:0
[09/27/2011 20:43:53] The line above was repeated 60 more times
[09/27/2011 20:43:53] Could not execute action GetURLs - The request timed out
[09/27/2011 20:43:53] Could not connect to server to get more urls, will retry later.

Спробую зараз обновити свою убунту, розпакувати новий нод з новою назвою. Якщо не вийде, мігрую на вінду, спробую ще там

[Rilian]

Dobromyr, ошибки в логе - ничего критического (разве что их не очень много, особенно про миссинг букет)

скорость да - на 8 мегабит у меня нода за день вытягивает гдето 3 млн УРЛов

Если будешь винду в виртуалке ставить - ставь win7 - там с инетом получше чем на XPшке

Покажи все другие настройки плиз

если стартуешь сервер - клавиша s в консоли там где у тебя run.py -- http://localhost:1088/

[Dobromyr]

Які конкретніше параметри написати?
Кидаю цілий конфіг.

(Show/Hide)

<?xml version="1.0" encoding="Windows-1252"?><MJ12node xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" Version="1.0.0" NewVersionURL="http://www.majestic12.co.uk/files/mj12node/versions.txt"><WebCrawlerCfg Active="true" LastCleanUp="2011-09-27"><Common WorkingPath="data/" PreCacheBuckets="3" /><Delays URLsBatchFetchDelay="120" ArchivingDelay="50" URLBucketLoadDelay="100" UploadManagerCheckDelay="15" /><Barrels TempDir="" NewBarrels="barrels/new" OldBarrels="barrels/old" WorkBarrels="barrels/work" FileExtention=".gz" TempFileExtention=".txt" ExternalArchiverPath="" EnableBarrelSorting="false" MinimiseMemoryUsageByCrawlBuffers="false" /><Crawling MaxWorkers="400" MaxOpenBuckets="75" StartCrawlingIfUploadsLessThan="5" /><URLs NewURLs="urls/new" OldURLs="urls/old" WorkURLs="urls/work" /><Profiles><Profile Name="Snooze" Enabled="false" UpStreamUsage="0" DownStreamUsage="0" ConditionAutoExpiresAt="true" ExpiresAtTicks="634527299655604040" SnoozeArchiving="true" /><Profile Name="Snooze Uploads" Enabled="false" UpStreamUsage="0" DownStreamUsage="100" ConditionAutoExpiresAt="true" ExpiresAtTicks="634527299655605650" UseGlobalDownstreamValue="true" /><Profile Name="Snooze Downloads" Enabled="false" UpStreamUsage="100" DownStreamUsage="0" ConditionAutoExpiresAt="true" ExpiresAtTicks="634527299655607180" UseGlobalUpstreamValue="true" /><Profile Name="Full speed when Idle" Enabled="false" ConditionIdlePC="true" UpStreamUsage="100" DownStreamUsage="100" CPUIdleTime="60" /><Profile Name="Snooze Archiving" Enabled="false" UpStreamUsage="100" DownStreamUsage="100" ConditionAutoExpiresAt="true" ExpiresAtTicks="634527299655609510" SnoozeArchiving="true" UseGlobalUpstreamValue="true" UseGlobalDownstreamValue="true" /></Profiles></WebCrawlerCfg><DatabaseCfg DataBaseFileName="data/peer.db" QueryFileName="@node.sql" /><IdentityCfg EmailAddress="vartsabiuk@gmail.com" Password="77A0C9470E0D4012E4962A862A53628C" NickName="Dobromyr" NodeHash="E658A8F25AE45C41" NodeName="CENTURIY" Country="Ukraine" PrefDomains="" /><PeerNodeCfg NodeName="NODE1" ControlFilePath=""><Priorities ProcessPriority="Idle" /></PeerNodeCfg><SuperPeerNodeCfg><Nodes UpdateURL="http://www.majestic12.co.uk/projects/dsearch/superpeers.txt"><Node Address="http://crawl.majestic12.co.uk" LastSeen="" Ping="" Version="2" /><Node Address="http://majestic12.kicks-ass.org" LastSeen="" Ping="" /></Nodes></SuperPeerNodeCfg><Connection VerbalName="" DownStream="20000" UpStream="20000" UpStreamLimit="80" UseDirectConnection="false"><Proxy Address="" UserName="" Password="" MicrosoftAuth="false" /></Connection></MJ12node>

Вінда в мене теж на компі стоїть як друга ОС. ХПшка

П.С. Чомусь не можу додати файл до повідомлення...

[Rilian]

а куда у тебя в конфиге делся DownStreamLimit ?

[Dobromyr]

Опа. Не побачив. Виправляю... Вродь нічо не витирав там...