ЙОджестик, наши рекорды в маджестике Налаштування

[Rilian]

у меня уже ушло 20 "букетов"

Наша команда

[Rilian]

Вынес посты в отдельный топик

https://distributed.org.ua/forum/index.php?showtopic=1153

[tok098]

Мляяяяяя........Лимон я нармально нащелкал на своих 512/256, есчераз мля!

[nikelong]

Наглеть нужно вмеру, батенька

[Rilian]

Если бы таймаутные УРЛы не учитывались в рейтинге, было бы хорошо. Скачал страницу (УРЛ) - +1
Не скачал - настраивай клиент на нужный домен

[tok098]

Наглеть? Да я не наглел, если прога от маджа корявая, то кто виноват?
Мля, разработчики и виноваты, а что мы пэрэсични юзверы; кто-то писал даже про "спортивный интерес"....Мля на них есче раз....

[Rilian]

Ну можешь зарегистрироваться под другим ником и попробовать поучаствовать по-нормальному.

Вот представь что проект не маджестик, а например поиск лекарств от рака. И там была бы возможность отсылать пустые результаты. Ты бы взял на себя ответственность за такой чит?

[nikelong]

tok098,
Что значит "корявая" ?
При тарифе 512/128 ты должен ставить ну максиум 100 урлов, хотя это уже много ошибок будет, ставить нужно 40-70.
А ты? 1500! И как ты думаешь, если глянуть в статистику и увидеть у тебя 300 мегабайт, а у соседей по 40 гиг то тебе не приходило на ум что здесь что-то не так?

[Rilian]

Вы о чем, какие 100 урлов?

Я ставлю 15 МАКСИМУМ. И у меня почти нет ерроров с моей стороны.

Ник, кстати у тебя отношение трафик/урлы тоже не очень хорошее

[tok098]

Rilian: У меня подключение Вай-Фай, я заметил, что мой делинк 604Т через сутки маджа вылетает и потом начинается такая ботва, кстати я такое заметил недавно.

Ну такой результат, я считаю тоже результат! - Выпустят обновление, исправят ошибки в проге - выставление автоматом количество урлов к скорости инета. Вот на таком примере и совершенствуется ПО! А в новом обновлении будем находить новые недостатки и так - пока прога не будет идеальна, но идеального ничего не может быть Зато будет стремление - стремление сделать лучше и качественее. а не то что вот вам зубная щетка мойте площадь!

[Oleg82]

tok098 с таким подходом смотри чтоб и здесь незабанили...


edit by admin: никого не баним

[alexc]

Вообще говоря вся статистика о количестве ошибок - таймаутов, размеры и тд сохраняется и может использоваться для ранжирование - было такое предложение раньше ранжировать по размеру данных, а не грубо как сейчас по урлам - но такое предложение не прошло тогда, хотя все данные собираются и могут быть использованы.

Насчет ошибки - тут ситуация такая - процесс кроулинга сам по себе нестабильный - некоторые сайты в дауне сейчас, но будут работать через 5 минут, или временные проблемы с кабелем, или что еще - все это издержки процесса, и определенные процент ошибок кроулинга приемлем, но если его искуственно увеличить то понятно что это нехорошо и ничего полезного не будет делать.

Если сеть не выдерживает клиента то нужно либо снижать количество параллельный процессов (workers) либо вообще не пользоваться им - к сожалению не все рутеры сделаны добротно и они не могут поддержать высокую скорость кроулинга, тут ничем в софте не исправить разве что дать возможность контролировать скорость кроулинга - что и было сделано, однако это прямо не мешает кому-то поставить 1000 workers и иметь кучу ошибок - в этом случае приходится исправлять ситуацию на сервере.

Я просто не вижу альтернативы, к сожалению - почти во всех дистрибутивных проектах все завязано только на CPU, поэтому там намного проще все делать - разница только в скорость расчетов, но не в результате, однако и там бывают читеры конечно.

В общем, если много ошибок то не надо этим пользоваться - даже если это сразу не будет заметно, то уверяю вас вся статистика аккуратно сохраняется и ее можно будет проанализировать

Да, Олег, давно хотел привет передать, спасибо за поддержку проекта - очень приятно видеть флаги бывших стран СССР

[nikelong]

Ладно, люди, считайте меня вторым в команде после ток98 читером
У меня было 150 воркеров, сейчас поставил 100 (после ситуации с сами знаете кем).

Кто посоветует оптимальное количество воркеров для канала в 512/128 ?

При теперешнем 512/128 имею 40% ошибок, из них по тайм-ауту - гдето 20 ...

[alexc]

Я бы посоветовал иметь 15-20 воркеров - это более чем достаточно для такого канала - у меня на 15 Мбитах порядка 100 воркеров стабильно берут 5-6 Мб, иметь слишком много воркеров особенно не помогает, скорее наоборот.

В принципе я вот думаю наверно обсудить у нас на форуме с другими участниками такую мысль - может сменить ранжирование с полного количества урлов на размер данных или только успешные урлы, таким образом такие ошибки автоматически не будут помогать и будет причина чтобы кроулить медленно но качественно, а не быстро и не очень качественно.

[Rilian]

20 воркеров - макс

и то, советую все галочки retry выставить

также увеличь таймаут до 30-60 сек

[nikelong]

alexc,
Как Вам идея открыть у Вас на официальном форуме "русскоязычную" ветку для учасников проекта со стран бывшего СССР, которые участвуют в вашем проекте?

Мне вот приятно считать за страну Украину, и показывать что мы тоже есть на карте европы, жаль что не наберется и 10-к человек со стран бывшего союза, учавствующих в проекте...