Привіт Гість ( Вхід | Реєстрація )

> Количество ошибок
Rilian
Nov 2 2007, 23:55
Пост #1


interstellar
**********

Група: Team member
Повідомлень: 17 340
З нами з: 22-February 06
З: Ванкувер
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Сегодня для эксперимента решил полдня погонять ноду с 5 рабочими потоками, при обычных 15

В результате получил следующее:

* Скачано примерно на 40000 УРЛов меньше (при 15 рабочих обычно идет 230000 в день)
* Процент ошибок больше средних на 10% (при 15 потоках в среднем 60-70% в статусе ОК)

Следовательно количество рабочих потоков НЕ влияет на количество ошибок закачки



пс: возможно так много ошибок из-за того что у меня предпочитаются все домены кроме ком, орг и нет, и некоторые "экзотические" не резолвятся вовремя

Це повідомлення відредагував nikelong: Feb 9 2009, 11:23
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
5 Сторінки V  1 2 3 > »   
Reply to this topicStart new topic
Відповідей(1 - 14)
Oleg82
Nov 3 2007, 00:16
Пост #2


кранчер зі стажем
******

Група: Trusted Members
Повідомлень: 321
З нами з: 26-October 06
Користувач №: 308
Стать: Чол
Парк машин:
Quad Q6600 2.4GHz/3Gb



а почему Limit на Downloading ноль ?


--------------------


User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Nov 3 2007, 00:22
Пост #3


interstellar
**********

Група: Team member
Повідомлень: 17 340
З нами з: 22-February 06
З: Ванкувер
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Хз. А зачем лимит ?


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Oleg82
Nov 3 2007, 00:43
Пост #4


кранчер зі стажем
******

Група: Trusted Members
Повідомлень: 321
З нами з: 26-October 06
Користувач №: 308
Стать: Чол
Парк машин:
Quad Q6600 2.4GHz/3Gb



(Rilian @ Nov 2 2007, 06:22 PM) *

Хз. А зачем лимит ?


Я не могу понять как он вообще может быть ноль, если это % выделенный тобой на твой канал (там ж 10% мин)


--------------------


User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Nov 3 2007, 01:31
Пост #5


interstellar
**********

Група: Team member
Повідомлень: 17 340
З нами з: 22-February 06
З: Ванкувер
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



у меня канал выставлен 512, 100%


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Nov 3 2007, 05:12
Пост #6


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



Отакої.
У меня, при количестве воркеров 80 штук картина ТАКАЯ-ЖЕ за исключением строки "тайм-аут". ТАм не 0.2% а обычно около 10%.
Но я как - то думал шо это нормально - по таймауту иметь 10% ошибок.


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Nov 3 2007, 14:40
Пост #7


interstellar
**********

Група: Team member
Повідомлень: 17 340
З нами з: 22-February 06
З: Ванкувер
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Поставил обратно 15 воркеров. Явно видно что проблемы с резолвом ДНС



--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
alexc
Nov 7 2007, 18:29
Пост #8


Majestic-12 admin
**

Група: Trusted Members
Повідомлень: 24
З нами з: 20-October 07
Користувач №: 616
Стать: Чол



Привет всем!

Большое кол-во ошибок DNS изза того что сейчас мы проверяем 70 млн доменов, те которые ведут к ошибкам будут отфильтрованы с базы, так что не надо пугаться пока - завтра таких ошибок будет меньше, а через несколько дней я надеюсь очистить базу от урлов с тех доменов, так что ошибок будет намного меньше smile.gif
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Nov 7 2007, 18:32
Пост #9


interstellar
**********

Група: Team member
Повідомлень: 17 340
З нами з: 22-February 06
З: Ванкувер
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Алекс, а может быть такое что пров просто не дает столько резолвов ДНС одному клиенту в короткий промежуток времени?

Может, так как баррели все равно имеют очень короткий таймаут, сделать одну ноду на главном сервере, которая будет резолвить IP сайтов и сразу выдавать их в баррелях?


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Nov 7 2007, 19:28
Пост #10


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



Аааа, то-то я думаю шо у меня за траблы sad.gif
Вчера и сегодня грузится только один букет, хотя можно 5.
Да и тот не работает, а скорее мертвый...
Даже переустановил клиента, думал может с моей стороны трабл...


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
alexc
Nov 7 2007, 20:17
Пост #11


Majestic-12 admin
**

Група: Trusted Members
Повідомлень: 24
З нами з: 20-October 07
Користувач №: 616
Стать: Чол



Эти домены почти полностью сделаны, осталось только 13 млн из 69 млн, мы их по второму разу делаем так как есть всегда вероятность что проблема DNS не имеет к домену отношению.

Я думал сделать это на центральном сервере, но проблема это скорость - более 2 млн в день я не могу разрезолвить, таким образом дело бы заняло месяц как минимум sad.gif

Осталось совсем не много до нормальных данных, все эти ошибки будут использованы с пользой - они будут учтены для урлов, так что я ожидаю что новые данные будут намного более чистые чем когда либо smile.gif
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
Rilian
Nov 8 2007, 00:23
Пост #12


interstellar
**********

Група: Team member
Повідомлень: 17 340
З нами з: 22-February 06
З: Ванкувер
Користувач №: 184
Стать: НеСкажу
Free-DC_CPID
Парк машин:
ноут и кусок сервера



Это гуд.

У меня один вопрос, почему из барреля не банится сразу вся пачка урлов от одного домена, если для данного домена было например несколько ДНС ерроров?

Судя по букет-вотчеру СЕЙЧАС разных доменов реально почти 99%, но вообще такое предусмотрено? мучает меня такой вопрос smile.gif

Кстати, всем пока рекомендую увеличить кол-во воркеров до 20-30-40-50 или больше - ошибок резолва очень много, и он не отнимает траффик у остальных воркеров


--------------------
(Show/Hide)

Миссия проекта Help Fight Childhood Cancer (Помоги Победить Детский Рак) - подобрать белки, блокирующие некоторые виды рака. Подключайтесь!
IPB Image
IPB Image

IPB Image

IPB Image
IPB Image

общая статистика: BOINCstats * FreeDC команда: BOINC команда Ukraine

IPB Image
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Nov 8 2007, 08:42
Пост #13


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



А у меня не грузится больше одного букета sad.gif
Хотя в настройках выставлено 5 штук sad.gif


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
alexc
Nov 9 2007, 20:11
Пост #14


Majestic-12 admin
**

Група: Trusted Members
Повідомлень: 24
З нами з: 20-October 07
Користувач №: 616
Стать: Чол



Rilian: так оно и работает, если есть Х урлов от одного домена которые не может разрешится то через несколько ошибок начинается банится все урлы из этого бакета, но если у бакете много уникальных урлов (как было несколько дней назад), то это не поможет.

(nikelong @ Nov 8 2007, 08:42 AM) *

А у меня не грузится больше одного букета sad.gif
Хотя в настройках выставлено 5 штук sad.gif


Возможно одного бакета достаточно? Остальные бакеты грузятся если количество воркеров превышает количество уникальных доменов (а точнее IP) в бакете, может мало воркеров?

Сейчас уникальные домены почти полностью завершены, и я пости подготовил списки доменов которые имею проблемы - я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут smile.gif
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
nikelong
Nov 10 2007, 01:11
Пост #15


Тера ранчер
**********

Група: Trusted Members
Повідомлень: 12 443
З нами з: 19-March 05
Користувач №: 92
Стать: Чол



я их отфильтрую, думаю завтра или в воскресенье более чистые урлы пойдут

Пятница, вечер...уже нормальные идут! dk.gif


--------------------
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

5 Сторінки V  1 2 3 > » 
Reply to this topicStart new topic
1 Користувачів переглядають дану тему (1 Гостей і 0 Прихованих Користувачів)
0 Користувачів:

 



- Lo-Fi Версія Поточний час: 12th November 2019 - 19:59

Rambler's Top100 Рейтинг@Mail.ru
Invision Power Board v1.3.3 © 1996 IPS, Inc.