Количество ошибок Налаштування

[Rilian]

Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15

В результате получил следующее:

* Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день)
* Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК)

Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки



пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя

Це повідомлення відредагував nikelong: Feb 9 2009, 11:23

[Death]

попался букет аэро забитый тупо спамом.

connect-one.aero
connect-privet.aero
connect-blablabla.aero

и тд. сцуко весь день тупо висел, одни таймауты.
а второй не лоадится параллельно (((

пришлось убить нах всю базу. не знаю как один букет можно абортнуть.

зато щас попёрла Украина. 2мегабита жгут на 100% ))

75 воркеров.

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 7 237 (100,0%)
Successes : 6 062 (83,8%)
Not found : 169 (2,3%)
Timed out : 30 (0,4%)
Disallowed : 0 (0.0%)
Banned : 0 (0.0%)
DNS errors : 657 (9,1%)
Conn errors : 319 (4,4%)
Forbidden (403): 0 (0.0%)
Other : 0 (0.0%)
Retries : 0 (0,0%)
Uptime : 14 mins 22 secs
Memory usage : 54 MB
GZIP requests : 2 204 (30,4% of successes)
GZIP saved data: 78 MB (35,8% of total)