Количество ошибок Налаштування

[Rilian]

Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15

В результате получил следующее:

* Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день)
* Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК)

Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки



пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя

Це повідомлення відредагував nikelong: Feb 9 2009, 11:23

[(_KoDAk_)]

а оно ж и текущие убьет пакеты ?

т.е. это внутрення ощибка клиента?

[Roamer]

Не мог понять, почему одна нода перестала нормально работать, пока не посмотрел на адреса в bucket-е :


Это скоко мну за энто впаяют ?! (В свете последних занонопроектов Рады). Поди потом докажи, что не распространяешь !

[(_KoDAk_)]

Starvation of workers detected: you need to increase Max Open Buckets value in Options->Crawler OR reduce number of workers! Current flags: bForbidRaisingStarvation=False, IsMaxOpenBuckets()=True iSparseDomainRatioBuckets=4, MAX_LOW_UNIQUE_DOMAINS_BUCKETS=3, GetMaxWorkers()=40 GetMaxBuckets()=1 -*-
это че за шняга

[Rilian]

у тебя много качающих потоков, и мало открытых "букетов" (наборы ссылок). увеличь кол-во открытых букетов. Но учти что будет больше хавать диска

[(_KoDAk_)]

[31.08.2009 20:40:39] Could not remove upload bucket savepoint: System.Exception: Database is still locked! Could not run query: pn_remove_param Queue size: System.Collections.ArrayList
at Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByNameAndTran(String sQueryName, String sTranID, Object[] asParams)
at Majestic12.EasyDB.ExecQueryByName(String sQueryName, Object[] asParams)
at Majestic12.UploadManager.UploadBarrel(QueryResult oWorkUnit, Boolean bNewBarrel, Boolean& bServerDown)

[Roamer]

Из-за порнушных сайтов скорость упала ~ в 5 раз.

З.Ы. Смотрю, что это у всех участников проекта !

[Death]

кто нить проверьте колво ошибок на гугловском днс

8.8.8.8
8.8.4.4

по сравнению с опенднс.

[Death]

http://www.grc.com/dns/benchmark.htm

гугл днс быстрее опенднсовского. и кстати когда опенднс не может резолвить адрес он подсовывает свою страницу. отстой.

[Rilian]

и кстати когда опенднс не может резолвить адрес он подсовывает свою страницу. отстой.

да, это больше всего бесит...

[Death]

4.2.2.2-8
супербыстрые
и гугловский тоже.

опенднс отстой.

[Rilian]

а разве 4.2.2.2 не ОпенДНС?

[Death]

zomg

OrgName: Level 3 Communications, Inc.
http://ip-lookup.net/?4.2.2.2

[Rilian]

zomg

OrgName: Level 3 Communications, Inc.
http://ip-lookup.net/?4.2.2.2

у меня ДНС 4.2.2.2

asdfasdfasdfasdfasdfasdfasdfasdfasdfasdfasdfasfdsd.com

редиректит на

http://guide.opendns.com/?url=asdfasdfasdf...fasdfasfdsd.com

[Death]

значет где-то сиране опенднс затесалсо.

спрашиваем у 4222 кто такой нетнихера.ком

; <<>> DiG 9.2.3 <<>> @4.2.2.2 netnihera.com A
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 38565
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 0
;; QUESTION SECTION:
;netnihera.com. IN A
;; AUTHORITY SECTION:
com. 769 IN SOA a.gtld-servers.net. nstld.verisign-grs.com. 1265929467 1800 900 604800 86400
;; Query time: 1 msec
;; SERVER: 4.2.2.2#53(4.2.2.2)
;; WHEN: Thu Feb 11 23:07:02 2010
;; MSG SIZE rcvd: 104

не отдаёт ничего - нет нихера.



спрашиваем у опенднса

; <<>> DiG 9.2.3 <<>> @208.67.222.222 netnihera.com. IN
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 42458
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
;; QUESTION SECTION:
;netnihera.com. IN A
;; ANSWER SECTION:
netnihera.com. 0 IN A 208.67.219.132
;; Query time: 1 msec
;; SERVER: 208.67.222.222#53(208.67.222.222)
;; WHEN: Thu Feb 11 23:07:47 2010
;; MSG SIZE rcvd: 47

отдаёт 208.67.219.132 сучечько

идём на http://208.67.219.132/ и что мы видим? то же говно.

так шо где-то у тебя завелось уг. ищи и попячь его!

погоняй тесты скорости днс. гдето была тут тема на форуме.

чото я умничаю.

педивикия какгбе говорит нам

Серверы

OpenDNS предоставляет следующие адреса серверов для публичного использования, для альтернативной маршрутизации:
208.67.222.222 (resolver1.opendns.com)
208.67.220.220 (resolver2.opendns.com)

[Rilian]

Блин, я перепутал

у меня ДНС прописан "4.2.2.2, 208.67.220.220"

Я думал первый - это опен, а второй укртелекомовский