Привіт Гість ( Вхід | Реєстрація )
![]() ![]() |
| nikelong |
Jun 22 2007, 15:20
Пост
#91
|
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
-------------------- |
| Rilian |
Jun 28 2007, 22:53
Пост
#92
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 17 208 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: 2 ноути і 4 компа |
rilian (23:42:59 28/06/2007) *даю ссылку на форум..* Арбалет (23:43:58 28/06/2007) завтра посмотрю - у меня скорость из-за дождя сильно упала (радионет) rilian (23:44:09 28/06/2007) ок Арбалет (23:44:14 28/06/2007) нихрена не грузится, только аська кое-как пыхтит rilian (23:44:21 28/06/2007) ) rilian (23:44:28 28/06/2007) ты не знаешь что такое мадж на 100% rilian (23:44:29 28/06/2007) )))) Арбалет (23:44:42 28/06/2007) не ) ReMMeR, (28.06.2007 23:55:52:) ты не знаешь что такое мадж на 100% на 8ми мегабитах ;-) пров сказал проверится на вирусы, ибо с нас бешеный ХТТП ДДОС идёт пришлось отрубить -------------------- |
| nikelong |
Jun 29 2007, 10:32
Пост
#93
|
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Я уже подумал что ужудшение моей линии - результат работы 200 воркеров маджа.
И как прову шото объяснить? Зы: мадж на 100% - даже асько не грузиццо! -------------------- |
| Rilian |
Jun 29 2007, 10:42
Пост
#94
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 17 208 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: 2 ноути і 4 компа |
ЗАЧЕМ ставить 200 воркеров?????? Они же физически в таймаут не успеют вложиться
У меня на 512кбит стоит 20 воркеров и особых ошибок нет 1 Ukraine nikelong 265,904URLS 1,543MB 2 Ukraine RILIAN.INFO 62,395URLS 1,285MB ты "посчитал" кучу урлов, но реально правильно скачалось мало (смотри мое отношение урлы\траффик и свое). Для статистики полезно, для проекта нет -------------------- |
| nikelong |
Jun 29 2007, 11:47
Пост
#95
|
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Почему для проекта не полезно?
Мы с тобой передали на сервер одинаковое количество информации, т.е. полезность от нашего канала одинаковая. А то что по таймауту сайт не прошёл - так в следующий раз пройдёт Так что я с тобой делаю одинаковую полезность для проекта, но кроме этого ещё и приношу команде неплохой рейтинг... -------------------- |
| Rilian |
Jun 29 2007, 13:54
Пост
#96
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 17 208 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: 2 ноути і 4 компа |
да, но ты передаешь о куче урлов вместо кода страницы, TIMED OUT / DISALLOWED / NOT FOUND и так далее, а мои воркеры все успевают скачать и передают страницы по-нормальному
-------------------- |
| uNiUs |
Jul 20 2007, 19:36
Пост
#97
|
![]() Rosetta@Home капитан ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 168 З нами з: 17-June 07 З: Zp.ua Користувач №: 529 Стать: Чол Free-DC_CPID |
Не пойму, в чем фишка. На данный момент -
7 uNiUs 34,049 Url 170 MB 8 Death 10,000 Url 189 MB Собсно, вопрос - почему я намолотил в 3,5 больше урлов за меньший объем трафика? |
| Rilian |
Jul 20 2007, 19:49
Пост
#98
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 17 208 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: 2 ноути і 4 компа |
Я думаю, некоторые урлы у тебя могли заблокироваться фаерволом. Или страницы уже не существуют.
Посмотри в этом и других топиках, уже раньше обсуждалось -------------------- |
| Death |
Aug 2 2007, 13:24
Пост
#99
|
![]() <script ///> ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
vatican.va, benedettoxvi.va, mailservice.va, and pcf.va
сейчас не работает добавление урлов в базу маджа. это все адреса в зоне ватикана, но в стате у него нет ни одного домена .ва когда заработает, добавьте кто-нибудь... -------------------- |
| Death |
Aug 7 2007, 11:13
Пост
#100
|
![]() <script ///> ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
Submit URLs - submission result
5 URL(s) were ACCEPTED for crawling (1 were duplicate of previous submissions). You can check status of submitted items by clicking here. -------------------- |
| nikelong |
Aug 27 2007, 08:46
Пост
#101
|
|
Тера ранчер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Trusted Members Повідомлень: 11 909 З нами з: 19-March 05 Користувач №: 92 Стать: Чол |
Фак!
Запустил линукс-версию клиента, получил в статистике 1000 урлов и ноль мегабайт траффика. Брэндмауер в системе выключен, в настройках рутера тоже. IP сетевая получает по DHCP, ну и сижу за НАТом. Куда копать? -------------------- |
| Death |
Sep 4 2007, 14:17
Пост
#102
|
![]() <script ///> ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
# Top level domain name Total number of URLs Estimated size (GB) Issued to nodes % issued Already crawled URLS % completed 245 .ua 114,063,543 2,281 1,195,511 1.05% 111,713,232 97.94% добавил примерно 1000 доменов из .ua щас попробую нарыть ещё. клятый гугель после 20 запросов просит ввести код. пой десктопный парсер пишет ошибки ((( парсер взят с globalsquid.com -------------------- |
| Death |
Sep 4 2007, 15:06
Пост
#103
|
![]() <script ///> ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
ещё 4500 доменов из Украины
как же неудобно руками по 99 штук закидывать ((( -------------------- |
| Rilian |
Sep 4 2007, 22:12
Пост
#104
|
![]() interstellar ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Team member Повідомлень: 17 208 З нами з: 22-February 06 З: Торонто Користувач №: 184 Стать: НеСкажу Free-DC_CPID Парк машин: 2 ноути і 4 компа |
я ж тебе свой парсер присылал?!!
-------------------- |
| Death |
Sep 5 2007, 10:16
Пост
#105
|
![]() <script ///> ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Група: Moderators Повідомлень: 6 371 З нами з: 5-November 03 З: Kyiv Користувач №: 26 Стать: НеСкажу Free-DC_CPID Парк машин: гидропарк jabber:deadjdona@gmail.com |
мне понадобился десктопный парсер ))) и я его нашёл )
решил потестить заодно и маджестик покрутить. не всегда удобно с сервера работать. -------------------- |
![]() ![]() |
|
Lo-Fi Версія | Поточний час: 9th November 2026 - 13:13 |