Проект "Majestic-12"
----------------------------------------------------------------------------------------------------------
http://www.majestic12.co.uk/
http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97
http://stats.free-dc.org/stats.php?page=team&proj=maj&team=97
http://www.grc.com/dns/benchmark.htm
----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на http://www.update.microsoft.com/microsoftupdate/v6/default.aspx?ln=ru;
3. http://www.majestic12.co.uk/projects/dsearch/download.php (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - http://majestic12.co.uk/projects/dsearch/wiki/index.php?title=Manual более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку http://distributed.org.ua/forum/index.php?showuser=92 )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97 и нажмите ссылку http://majestic12.kicks-ass.org/teams/team.jhh?teamid=97&join=1
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
http://distributed.org.ua/index.php?go=Pages&in=cat&id=30
http://mj12.sonnigelichtung.de/
Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf
График производительности команды:
Добавить сайты в маджестик12 - аддурилка
http://search.majestic12.co.uk:8181/submit/
Так как у меня анлим, пытаюсь подключиться. Это особенно классно для юзеров с анлимом ЮА-ИКС и миром, потому что вы можете кравлить ОЧЕНЬ быстро юа-иксовые страницы.
тормозит шо ппц
Тамагоч, объясни нам кратко как регаться
Я уже зарегистрировался, шото считает...
Посмотрим через час что будет ;-)
Напишите в 2х словах что надо стоб начать
Нужно иметь анлим и зарегаться..
Я так понял что я со своими 128/32 пролетаю...
Там в выборе подключения - 256/64 минимум
И ещё, чё-то но у меня каждые 10 минут вылетает !?
я давно регался, потому так не скажу в чем там подробности....
вроде бы рабочий процесс очень похож на Даймс - регистрация и управление идет через клиент
насчет украинских страниц - очень быстро кончаются задания на Украину
все-таки их дают всем поголовно, аж за Родину обидно... мне вот уже свалился пакет на *.com
сам клиент очень гибкий в настройках интенсивности и времени работы, но я этим не пользуюсь
http://www.majestic12.co.uk/projects/dsearch/customise.php?userids=1535%2C1282
Интересная фича!
Добавляешь ID именно тех людей, которых ты пожелаешь, и они запоминаются в куки.
Потом когда хочешь глянуть, сколько насчитал за сегодня ты, и сколько-твой соперник - просто заходишь по этой ссылке.
Я так понял, что понятие "фермы" (в домашних условиях) в этом проекте отсутствует!?
Потому что одна нода, установленная на одном компьютере может "освоить" по максимуму канал вплоть до 2-х мегабит. А это значит что ферму можно организовать только со своими друзьями-анлимщиками, или если вы обладаете каналом пропускной способностью более 2- Мбит...
Присоеденился. Посмотрим что оно и как.
Вот оказывается как можно запутатся вступая в новый проект
Будте терпеливы к Новичкам !
я ваще не могу вкурить
скачать страницу чтобы отослать её им на сервер
они сами скачать не могут???
пароль на мыло пока так и не пришел
Зато сколько он скушал траффика!
Получается, если для ФАХ нужен мощный процессор, то для Маджестика нужен мощный канал в мир!
Сидел себе Тамагоч партизаном один в проекте месяца три наверное...
Никто об этом не знал...
Стоило мне вчера подключится к проэкту как уже сегодня команда выросла в 6 раз!
А рулити по вебу робочим компом з дому це круто
Tamagoch
Joined:
19/09/2006 07:26:00
і ти мовчав ?!?!?
Подключился... на .NET 1.1 ничего не пахало. Загрузил 2.0 - все классно
давно уже искал проэкт где можна использевать весь потенциал своего нета
вообщем принимайте в команду..
Споймал такое
Это сообщение высветилось при попытке сменить в настройках клиента скоростной профиль моего подключения
Приєднані зображення
отжиг... у меня такое тоже вылазило. но потом я выбрал что-то вроде АДСЛ 1024\512 и поставил скорость вручную
Majestic-12 : DSearch : User Info
Nickname:
Death
Country:
Ukraine
ID:
198
Team:
n/a
Web site:
http://business.ua
Joined:
06/09/2005 08:40:00
)))))))))))))
только не могу сменить свои настройки - не помню мыло, и не приходит новый пароль (((
Ну вот, короче имею следующее:
Снёс всё нафиг, поставил ТОЛЬКО нэт 2.0 + русский ленгвич
распаковал архив с клиентом под нэт 2.0 (по методу Реммера)
Стартонул...считал, только дошло до записи - вырубился
Вот полный лог, с нуля:
1/ update.microsoft.com
2/ проверь не включен ли DEP (кажется так называется)
Я себе недавно поставил "январскую" винду... Эксплорер глючит шо ппц....
также
[22:42:59] rilian: LOL
[22:43:06] rilian: я нашел способ
[22:43:10] rilian: читить в маджестике
[22:43:14] rilian: по кол-ву урлов
[22:44:00] nikelong: ну?
[22:44:16] rilian: грузишь букет, потом блочишь исходящие соединения для маждестика фаерволом, и вуаля.
[22:44:25] rilian: дофига disabled и not accessible
[22:44:39] rilian: зато счетчик УРЛов работает хорошо
[22:44:39] nikelong: теория...
[22:44:48] rilian: глянь на мою статистику
[22:45:03] rilian: я утром выкупил что у меня часть урлов блочилась
Я 44й по миру, а Украина сегодня 12
Типа Йов !
Обычно, когда количество акитвных участников проекта на этом форуме становится больше трёх, мы делаем отдельный раздел форума, посвящённый проекту.
Покрайней мере,в этом проекте Украина занимает 12 место по ППД
А вообще вчера когда игрался с настройками, отключил архивирование, и клиент забил весь мой системный диск какими-то файлами . Пришлось чистить. Но в довершении всего вчера вечером нафиг отвалился от машины звук
Чудасия короче, будетт время - засяду за машину поплотнее
вспомнил пароль и присоединился!
мой ID 198 ;-)))
мои 189 Мб пошли в кассу команды...
даёшь топ10!!!! уррряяяя! ))))))
кстати, кто нить пробовал ставить ЭТО в комп. клубах?
10 Ukraine 421,934 8,043
11 Team MacOS X 421,035 9,651
ЕСТЬ!!!!! я маладец )))))))))))))))
http://search.majestic12.co.uk/submit/
Submit URLs - status
[15/02/2007 10:36:33] Job created
Вот такая подпись маджестика, если кому нужно:
http://www.r4rw.net/mj12/avatar.php/-id~1535_bg~default.gif
Нужно только -id~1535 поменять на Ваш ИД.
Удобно тем что показывает количество скравленых ссылок
Вот здесь:
http://www.majestic12.co.uk/forum/viewtopic.php?t=2477
ответили что порблема может быть с НОД32.
У кого нормально работает мадж с нодом?
http://www.majestic12.co.uk/projects/dsearch/download.php
Качаем НОВУЮ версию клиента 1.4.7
чисто потестить
А ты только присоединился к нашей команде и всё?
Возобновлять просчёты не хочешь?
Тут скорее не "просчеты", а "прокачки"
еще, задания для домена UA быстро заканчиваются, поэтому приходится качать другие
Гм... после выгрузки НОД32 клиент проработал 7 часов...
После загрузки его обратно ;-) , клиент уже работает 5 часов...
(отменил проверку маджестика в НОДе)...
Посмотрим что будет дальше.........
ЗЫ: РеММеР, а какой скорости у тебя канал? Мегабит?
О какой смайлик имеется на форуме маджестика:
не знаю прокачан ли весь юа, но у них есть форма добавления адресов, 6 штук добавил из юа, написало что все новые ))))
добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))
Что за форма!?
Где, на сайте, или в клиенте?
берем выдачу из гугла site:ua
я этим займусь. у меня есть проги для парсинья выдач
UA - CHAMPION
Осталось добавить:
site:chernovtsy.ua
site:crimea.ua
site:cv.ua
site:if.ua
site:ivano-frankivsk.ua
site:kherson.ua
site:kiev.ua
site:km.ua
site:ks.ua
site:lutsk.ua
site:mk.ua
site:nikolaev.ua
site:od.ua
site:odessa.ua
site:pl.ua
site:poltava.ua
site:rovno.ua
site:rv.ua
site:sebastopol.ua
site:sumy.ua
site:te.ua
site:ternopil.ua
site:uz.ua
site:uzhgorod.ua
site:vinnica.ua
site:vn.ua
site:in.ua
site:gov.ua
site:com.ua
site:net.ua
site:edu.ua
site:co.ua
site:lviv.ua
site:dp.ua
site:biz.ua
site:donetsk.ua
site:dn.ua
site:lugansk.ua
site:lg.ua
site:kharkov.ua
site:kh.ua
site:kirovograd.ua
site:kr.ua
site:zaporizhzhe.ua
site:zp.ua
site:zhitomir.ua
od.ua и odessa.ua - одно и то же. с остальными, как я подозреваю, - аналогично.
пофиг. для мажестика это разные сайты
я беру 1000 выдач гугла по каждому запросу и собираю уникальные урлы. потом все собираю в одну кучу и еще раз отсеиваю уникальные.
потом буду постить в мажестик.
1629 украинских доменов ушло
осталось отпарсить все запросы из предыдущего поста
думаю, сделаю это завтра, когда меня разбанит гугл
А почему он тебя забанил? Чем плохо то, что ты делаешь?
Много запросов по 100 выдач в короткий промежуток времени
Так, проблему с вылетом Маджестика решил.
Действительно дело было в НОД32.
Я там разрешил "не проверять" сетевую активность клиента, и он уже после этого не вылетает.
Теперь ещё осталось решить проблему с ошибками записи, и всё будет ОК!
Сабмитил еще 1450 уникальных доменов в UA зоне.
остались запросы:
$q[]= 'site:ks.ua';
$q[]= 'site:lutsk.ua';
$q[]= 'site:mk.ua';
$q[]= 'site:nikolaev.ua';
$q[]= 'site:od.ua';
$q[]= 'site:odessa.ua';
$q[]= 'site:pl.ua';
$q[]= 'site:poltava.ua';
$q[]= 'site:rovno.ua';
$q[]= 'site:rv.ua';
$q[]= 'site:sebastopol.ua';
$q[]= 'site:sumy.ua';
$q[]= 'site:te.ua';
$q[]= 'site:ternopil.ua';
$q[]= 'site:uz.ua';
$q[]= 'site:uzhgorod.ua';
$q[]= 'site:vinnica.ua';
$q[]= 'site:vn.ua';
$q[]= 'site:in.ua';
$q[]= 'site:gov.ua';
$q[]= 'site:com.ua';
$q[]= 'site:net.ua';
$q[]= 'site:edu.ua';
$q[]= 'site:co.ua';
$q[]= 'site:lviv.ua';
$q[]= 'site:dp.ua';
$q[]= 'site:biz.ua';
$q[]= 'site:donetsk.ua';
$q[]= 'site:dn.ua';
$q[]= 'site:lugansk.ua';
$q[]= 'site:lg.ua';
$q[]= 'site:kharkov.ua';
$q[]= 'site:kh.ua';
$q[]= 'site:kirovograd.ua';
$q[]= 'site:kr.ua';
$q[]= 'site:zaporizhzhe.ua';
$q[]= 'site:zp.ua';
$q[]= 'site:zhitomir.ua';
$q[]= 'site:kiev.ua';
$q[]= 'site:kiev.ua inurl:z';
добавил еще 500 уников со всех предыдущих запросов
осталось отпарсить зону kiev.ua
у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач
добавил еще 894 уникальных доменов из киевской зону.
фух
DONE
На форуме ОГО! , Воли ходит такая шутка, мол безлимитные пакеты только для "закачивания интернета", "...если вы не собираетесь делать бэкап интернета..." и т.д. Мол, я не скачиваю целиком интернет, поэтому мне и 1/3/5 Гиг в мес. хватит...
Я тут подумал...
Так мы в проэкте Маджестик-12 тем и занимаемся, что скачиваем интернет!
Total known URLs: 31,850,265,782 (see breakdown)
Downloaded URLs: 38,661,532,612 (121.39%)
ты про это?
сейчас скорость скачивания 75 000 000 в день....
я про нижнюю строчку вот этого:
http://www.majestic12.co.uk/projects/dsearch/tlds.php
3 Ukraine nikelong
99,969 348
4 Ukraine Rilian
70,451 1,499
Nikelong. ты фаерволом блочишь клиент ?? типа сайты недоступны, бла бла, и возвращаешь результат на сервер??
Нет, полностью всё разрешено, и фаерволом тоже...
Незнаю почему у меня такой маленький траффик?
ЗЫ: но таки раскочегарился я неплохо
Скинь свои логи, в смысле, цифры со статуса.. ?
MJ12node : v1.4.7 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 109 (100,0%)
Successes : 89 (81,7%)
Not found : 1 (0,9%)
Timed out : 17 (15,6%)
Disallowed : 0 (0,0%)
Banned : 0 (0,0%)
DNS errors : 0 (0,0%)
Conn errors : 1 (0,9%)
Forbidden (403): 0 (0,0%)
Other : 4 (3,7%)
Retries : 0 (0,0%)
Uptime : 8 mins 52 secs
ЗЫ: просто перезагружал систему из-за отсутствия света :-)
Вот лол, только сейчас заметил...
у меня аутпост 4й
смотрю статистику заблокированных элементов:
Всплывающих окон - 97000
ActiveX - 177
Flash - 22000
Скрытых фреймов- 2500
Так как Аутпост изменяет входящий трафик, то у меня подозрение что обратно на Majestic12 отсылаются страницы без рекламы и т д
Это не есть хорошо. Изменения трафика отключил..
2 Никелонг: разберись с клиентом.. По моему ты просто убиваешь маджестиковые жабы
жыыыыыыыыыыыыыыыыыыыыыыр
у меня 256/64 за 20$
маджестик это абсолютно добровольное дело. чтобы занять анлимовый канал если он не полностью используется.
я лично не уверен что МЖ в ближайшем будущем будет конкурировать с гуглом, но я "кравлю" русскоязычные страницы чтобы они чаще появлялись в выдачах этого проекта
ваши провайдеры вас так a так хоть можна як кажуть поукраинськи "на всi грошi"
Во! Правильно! Нада выкачать всё за что сняли абонплату до последнего бита!
Пока руки не дошли до мп3-файлопомоек, сливаю трафф маджестиком (!)
Добавил к ним в базу 5970 доменов из зоны DP.UA
сколько ещё украины осталось?
a *.ua добавил? а gov.ua?
))))
хз. что гугл повыдавал в первых тысячах то я и добавил.
Вышла новая версия клиента - 1.4.8
Только сейчас решил её поставить...
Ну что-ж, первые впесатления положительные, торможение интерфейса, которое было до 1.4.7 версий пропала напрочь.
Приветствуем новичка в команде (!)
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1733
Я уже подумал что ужудшение моей линии - результат работы 200 воркеров маджа.
И как прову шото объяснить?
Зы: мадж на 100% - даже асько не грузиццо!
ЗАЧЕМ ставить 200 воркеров?????? Они же физически в таймаут не успеют вложиться
У меня на 512кбит стоит 20 воркеров и особых ошибок нет
1 Ukraine nikelong 265,904URLS 1,543MB
2 Ukraine RILIAN.INFO 62,395URLS 1,285MB
ты "посчитал" кучу урлов, но реально правильно скачалось мало (смотри мое отношение урлы\траффик и свое). Для статистики полезно, для проекта нет
Почему для проекта не полезно?
Мы с тобой передали на сервер одинаковое количество информации, т.е. полезность от нашего канала одинаковая. А то что по таймауту сайт не прошёл - так в следующий раз пройдёт
Так что я с тобой делаю одинаковую полезность для проекта, но кроме этого ещё и приношу команде неплохой рейтинг...
да, но ты передаешь о куче урлов вместо кода страницы, TIMED OUT / DISALLOWED / NOT FOUND и так далее, а мои воркеры все успевают скачать и передают страницы по-нормальному
Не пойму, в чем фишка. На данный момент -
7 uNiUs 34,049 Url 170 MB
8 Death 10,000 Url 189 MB
Собсно, вопрос - почему я намолотил в 3,5 больше урлов за меньший объем трафика?
Я думаю, некоторые урлы у тебя могли заблокироваться фаерволом. Или страницы уже не существуют.
Посмотри в этом и других топиках, уже раньше обсуждалось
vatican.va, benedettoxvi.va, mailservice.va, and pcf.va
сейчас не работает добавление урлов в базу маджа.
это все адреса в зоне ватикана, но в стате у него нет ни одного домена .ва
когда заработает, добавьте кто-нибудь...
Submit URLs - submission result
5 URL(s) were ACCEPTED for crawling (1 were duplicate of previous submissions). You can check status of submitted items by clicking here.
Фак!
Запустил линукс-версию клиента, получил в статистике 1000 урлов и ноль мегабайт траффика.
Брэндмауер в системе выключен, в настройках рутера тоже.
IP сетевая получает по DHCP, ну и сижу за НАТом.
Куда копать?
ещё 4500 доменов из Украины
как же неудобно руками по 99 штук закидывать (((
я ж тебе свой парсер присылал?!!
мне понадобился десктопный парсер ))) и я его нашёл )
решил потестить заодно и маджестик покрутить.
не всегда удобно с сервера работать.
Я его с Zend Studio запускал. Там встроенный отладчик PHP. Очень легко работать
Так эта табличка обновляется только после скачивания следующих 100% урлов..
понятно. сейчас 99.19%
но почему .va не появляется?
Мы жжом!
http://search.majestic12.co.uk/search.jhh?q=majestic12
Masquer - welcome !
Кто этот человек?
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1874
Засабмитил 6000 адресов нашего сайта/форума.
Hello, хлопцы! Вот и я решил казенного инета отдать на х (на благо команды...) , всеравно на работе жмоты и сволочи....Мадж рулит - АДСЛ 512/128 - безлимитка. Хоть это и не верно , но пусть на работе шеф смаркает сопли от траффика, уже жаловался что Айсикью не пашет -тормозит
Добро пожаловать!
Кстати, у меня тоже 512/128 от ого
Спасибо, что приняли в свою песочницу!
Вот есче свой Мак подключю к проекту с 2Мбит/512Кбит да Атлошку 2,4Mhz c 512/128 Кбит, от и + в каманде больше будет....
Да может есче парочку квадиков E6600, каждая машинка по 512/256, ехеххехехееее Но над этим надо будет поработать....Так сказать незаметно поставить MJ12Nod и дело в трунях
Хлопцы, посмотрите на ето безобразие Фины говорят с ручным тормозом даже в Инете , вот потом и верь http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=233 Вот у кого надо халявный инет брать, а он...... , он даже не за Украину...(:
В германии 16МБайт анлим в крупных городах стоит 20-30уе в месяц...
А вы гляньте, красота Ukraine 15 место, а вообщем зачете обгоняет москалив http://www.majestic12.co.uk/projects/dsearch/countries.php
tok098,
Супер! Давай заводи свою ферму!
Эх, то за украину "стоял грудью" Олег82, он был даже на 2-м месте среди кранчеров по суточному ППД, а наша команда занимала 4-е место!
Но в итоге злые дядьки из провайдера пригрозили Олегу более щадящье использовать траффик, вот олег и скотился на 100 000 в неделю
Эх, было время...давай, может ты поможешь?
20-30уе в месяц за 16Мбит анлим, хапецццц , даааа... Да одна Germany может за неделю спокойно закончить проект ....Как одна моя знакомая говорит: "Шож його казать, кагда конечно"
nikelong, как цэ понять, ты, я, и олег попали в эту каманду, или кто попал в топ 100 дня сразу входит в этот деньв эту каманду? http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=103
http://www.majestic12.co.uk/projects/dsearch/download.php
вышла новая версия клиента - 1.5.0
ЗЫ: уж часом не для борс читерами ли?
Решил помочь , у меня анлим 256/64, комп не выключается.
Блин, полный капец.
В четверг-пятницу шото у меня лагал момед, в итоге то интернет был, то нет. В мадже насобиралось ах 17 незавершенных букетов.
В субботу нэт вообще пропал.
Щас вот запустил мадж, вроде все как обычно, но вот такая фингя, шо на аттаче
Реально маджу вообще ничего не мешает, в клиенте никаких настроек не менял, а он пустышки гонит...
Может есть дэдлайн у заданий? о_0 А то как-бы 3-4 дня уже прошло...
Короче, ногами не пинать, шо за глюк словил не знаю, жду может когда сегоднязакачаный начнутся, то всё станет ОК...
Приєднані зображення
У меня тоже самое. Сделал Cleanup, скачался новый букет с COM (хотя в настройках COM запрещен!) и поехали все 100% Other
что делать?
Догадка оправдалась.
Как только я отпарвил все закешированые "просроченые" букеты, и скачал сегодняшние, новые - то процент годных вырос с 0 до 80%
вы клиенты обновили? какая то разница заметна?
разницы не заметно.
А когда старые баррели закончились, новые пошли нормально
Не знаю, я разницы между новым и старым не заметил...
где "добавить сайт" в маджестике????? задолбался искать
и кто у них на фjруме зареган, можете спросить, когда ватикан проиндексируют? домен .va
уже нашёл. спасибо гуглу )))))))))))))))))))))))))
про форум вопрос остаётся открытым
Лучше добавляй не сайт а сразу сайтмап - пачку УРЛов
А че с ватиканом? У тебя там домен?
nikelong
Всім привіт, приєднався сьогодні до команди!
нік Foyevtsov
Олександр,
Гы, 6 мегабит это даже круче чем у Олег82
Но смотри, могут позвонить с провайдера и сказать шоб на вирусы проверился
Или че хуже - скажут что у тебя сильно трафф большой!
Дело в том что клиент на 100% может загрузить канал вплоть до 100 Мбит, так что...
...ура, наша команда снова может быть в пятерке по суточной производительности!
ЗЫ: постучись ко мне в асю
Питання, а яка різниця що у мене пише Library .NET, а в попередньому пості MJ12?
І цікаво, а де решта команди, чому ми всі разом не приймаємо участі, був би великий + команді!
Я выставил другую библиотеку HTTP в настройках. Если все работает - разницы не видно
Але ж у лідера на шого Тамагоча трафік акачаний великий за рейтингом, але я його наприклад тут не бачив ще жодного разу. А на рахунок платного трафіку, так тут певно реєстряться ті хто за нього не платить (наприклад Укртелеком має ДСЛ анліміт, який досить популярний), навряд чи хтось із тих хто в команді віддавав би свої кровні мегабайто-гривні сюди
У тамагоча две линии по...забыл, то-ли по 0.5 то-ли по 2 Мбита. Но по Определенным причинам он сейчас отдает траффик на другие цели.
По поводу Укртелекома: гы, как-раз благодаря ему я и принимаю участие в этом проекте. Т.к. альтернативое ему в моей кваритре есть воля, а у нее за 150 гривен я получу не 140 гиг (как на УТК) а 30. Но при ее скорости (декларируют 38 Мбит, реально 2...10 Мбит) я эти 30 гиг ну оооочень быстро выкачаю. А дальше - за деньги
Кроме меня, из под услуги ОГО в нашей команде есть:
Рильян, алекс10, вито
ЗЫ: у меня скорость - 0.5 Мбит, это самый скоростной из домашних тарифных планов. Есть 2 мегабита с тарификацией траффика (гиг = 24 гривны) и корпоратив 2 мегабита, который 2000 гривен в мес. стоит
Ага, класно.
У мене є питання в форум: я вдома залишаю МДж12 працювати, а сам йду на роботу, так ось я помітив, що він покачає там деякий час, а потім все, трафік і УРЛ застигають. Коли я вдома, то я просто роблю рестарт йому, тоді він рестартує, завантажує УРЛ з вінчестера і пішов качати, а якщо не перезапущу - то стоїть собі, мовчить.
Звісно про мої налаштування: в preferred URL's відмітив Європу США, workers: 300; протокол змінював на .NET i MJ12 - все-одно, на харді відводив від 1 до 10 гіг, решта в принципі стандарт.
Може хтось таке зустрічав? Поділіться, бо сиджу на роботі а воно там простоює, прикро.
Налаштуй йому веб-інтерфейс та рестартуй з роботи.
Можешь еще себе поставить планировщик nncron
И настрой его так, что-бы к примеру раз в 2 часа перезапускал процесс маджестика
сбавь число воркеров на 200-250 и всё будет окей, у меня 6Мб канал и на 300 рабочих тоже зависает..
угу, дякую, ввечері спробую, але поки що поставив собі ncron, як вище радили, то ввечері спробую переставити кількітсть воркерів
Я сейчас считаю не в полную силу, т.к. изредка качаю фильмы из инета, но в скором времени подключусь в городскую локальную сеть, тогда проблема скачки фильмов исчезнет и весь канал отдам маджестику , ну и как вариант подумываю перейти на тариф 512 кбит
Всім привіт
Візьміть і мене до себе
Хух, доки все перечитав трошки не задимився
Але так і не зрозумів 2 речі.
А за яким принципом додовати нові домени, куди і як їх додавати?
Ну а программа сама наче все інше робить?
Що треба щоб прога рохувала ЮА-ІХ?
Приветствуем в команде! Выставь украинские домены в настройках. Только учти что они часто заканчиваются. Поэтому я например себе добавил большинство русскоязычных (kz, ru, be итд) и еще кучу "экзотических"
Що означаэ Errors. v.hight ?
errors = ошибки
v = very = очень
high = много
Rilian, я розумію, а це пов"язано з моїм інтернетом.
Чи це результати сканування?
Выставь поменьше рабочих потоков!
С дай скрин своих ошибок, либо картинку, либо там правой кнопкой кликни и скопируй на процентах
Я так понимаю что все кто считает Маджестик имеют анлим-инет
кому не лень поставьте в дополнение клиент Dimes, он проц не грузит и трафика много не берёт.
тем поможете поскорей команду в 20ку вытянуть...
http://distributed.ru/wiki/pro:majestic12
Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?
Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:
Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ(насколько я понял, речь о поисковиках...прим. Di) в известной степени не очень хорошая вещь.
2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным(в смысле создать поисковик прим. Di).
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.
3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.
Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).
2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)
3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.
==========================================
Вот это мой вольный перевод поста автора проекта. Может быть на сайте в категорию не процессорных проектов добавить Majectic-12, оформить его нормально?
Там, где я выделил жирным, желательно бы проверить мой перевод получше, я в терминах не очень.
По поводу фамилии автора проекта: я не вполне уверен в том, что Chudnovsky - это Чудновский... может это какой-нибудь прибалт или поляк Чудновски IMAGE
http://distributed.ru/forum/?a=topic&topic=957&page=last#l
Снова выдают задания ...
что-то жму присоединится, но уойо не запоминает что хочу в нашу команду ((
уряя я наконец вступилл и слилл )))
Поставь второй дот НЕТ
да стоит 3.5
вот опять пропал конект с сервером ((((((
Напиши что ты перед этим делал, что пишет итд
Добавил на сайт статью:
http://distributed.org.ua/index.php?go=Pages&in=view&id=146
кодак, 3.5 и 2 дотнет это разные дотнеты.
у меня стоит 1, 2 и 3.5 - и все стоят рядом ))))
мне покащалось что проблема бла втом что когда ставишь 3.5
автоматом 2.0 и 3.0 апдейтятся до SP1
----
проверено на машине где есть установленный 3.5 (атак же соответственно установились 3.0SP1 и 2.0SP1) клиент спакойно вышел через проксю с авторизацией....
после долгих мучений приблема скорей всего или таки в конекте (керио-укрелеком) или таки пара пересносить винду(
ура получилось аплоадить результаты но пока нет их в статистике(
Итак проблема решается приастановкой Download и тогда отправляется результаты.
также замечен глюк с XP SP3-RC0
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=2189
к тому же аплоадит тока через проксю
а даунлоадит через нат (((
итог толи ОГО толи я (
Народ, налетай!
Выдают задания из зоны УА!
Можно неплохо поднять свой стат
Обнаружил багу
в 3 утра винда перевела время на час вперед, и все воркеру ушли в таймаут (также добавился 1 час к uptime)
В статистике мажестика появился юзер Piriel с Украины, но он еще не вступил в нашу команду
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=2335
MJ12node : v1.6.0 RC 1 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 1 424 249 (100,0%)
Successes : 1 080 524 (75,9%)
Not found : 106 408 (7,5%)
Timed out : 31 549 (2,2%)
Disallowed : 61 615 (4,3%)
Banned : 8 228 (0,6%)
DNS errors : 70 251 (4,9%)
Conn errors : 25 264 (1,8%)
Forbidden (403): 7 015 (0,5%)
Other : 34 472 (2,4%)
Retries : 34 024 (6,5%)
Uptime : 2 days 51 mins 6 secs
Memory usage : 76 MB
GZIP requests : 408 (0,0% of successes)
GZIP saved data: 14 MB (0,0% of total)
MJ12node : v1.6.0 RC 1 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 2 975 555 (100,0%)
Successes : 2 361 686 (79,4%)
Not found : 180 941 (6,1%)
Timed out : 69 408 (2,3%)
Disallowed : 114 405 (3,8%)
Banned : 14 445 (0,5%)
DNS errors : 87 046 (2,9%)
Conn errors : 67 775 (2,3%)
Forbidden (403): 8 918 (0,3%)
Other : 73 895 (2,5%)
Retries : 50 485 (11,5%)
Uptime : 5 days 1 sec
Memory usage : 86 MB
GZIP requests : 485 (0,0% of successes)
GZIP saved data: 17 MB (0,0% of total)
Rilian,
Стоит ставить 1.6.0 ? Есть в ней какие-либо видимые улучшения?
Хз, но пишут что стабильнее и эффективнее жрет память
уже есть 1.6.1 RC1
Раз так быстро есть 1.6.1 знач шото таки не доделали в 1.6.0
1.6.0 несколько недель была в предрелизном состоянии
Уже 1.6.1 как финальный вышел (!)
да 161 рклит наконеч он сразу увидел конект
тепер осталось что бы получить задания )
кстати, наконец-то проиндексировали ватикан )))
у кого есть возможность напарсите и подобавляйте домены
.asia
.cat
.jobs
.tel
.travel
патамушта мажестик ничего про них не знает
http://search.majestic12.co.uk/submit/ добавлять здесь
и ещё для фанатов
com.ua kiev.ua
net.ua kirovograd.ua kr.ua
gov.ua lugansk.ua lg.ua
org.ua lutsk.ua
edu.ua lviv.ua
in.ua nikolaev.ua mk.ua
cherkassy.ua ck.ua odessa.ua od.ua
chernigov.ua cn.ua poltava.ua pl.ua
chernovtsy.ua cv.ua rovno.ua
crimea.ua rv.ua
sebastopol.ua sumy.ua
dnepropetrovsk.ua dp.ua ternopil.ua te.ua
donetsk.ua dn.ua uzhgorod.ua uz.ua
ivano-frankivsk.ua if.ua vinnica.ua vn.ua
kharkov.ua kh.ua zaporizhzhe.ua zp.ua
kherson.ua ks.ua zhitomir.ua zt.ua
khmelnitskiy.ua km.ua
гугл выдаёт 1000 штук максимум по запросу site:.domen
но по 1000 штук из каждого домена подобавлять можно. за Украину!
ну я вчера пока было не лень добавил по 1000 доменов из тех что не были проиндексированы.
я шоке. неужели нигде не было ссылки ни одной?
попробуйте сами поискать site:.tel например.
я раньше ваще такого не видел. то же самое и про .asia
.cat
.jobs
.travel
гугель походу их в выдачу ваще не пускает. или я не то ищу ))
Death я же в прошлом году распарсил гугл и добавил в мадж 25000 украинских доменов
хехе. как хорошо что с той поры не появилось ни одного нового сайта )))))))))))))
я говорю про то, что доменов .asia .cat .jobs .tel .travel
ВООБЩЕ не было в маджестике!
А тем временем за команду Украины НИКТО не считает
У меня крутитса дома.
Видимо резалты не часто идут.
site:.jobs <--- там точка должна быть.
я думаю что украинских сайтов в домене .jobs ваще нет.
Найк, а что там _считать_? ;-)
ReMMeR,
Видимо, не на команду резалты идут, проверь (!)
Потому как даже если поствить 5 воркеров - то за сутки один букет на 10000 очков можно сделать. А тебя я уже недели две в стате не видел (!)
добавил ещё 38 ссылок ватикана )))
приколитесь, с доменом тел всё не так просто
его анонсировали только в марте. гугл уже знает 30 страниц из этого домена. ))) ничо. скоро и маджестик узнает. ))
нифига домены новые шо я добавлял не проиндексировались (((
Вышла новая версия клиента 1.66
.NET 2.0 build (highly recommended) - works on 64-bit Vista/Longhorn
Качаем http://www.majestic12.co.uk/projects/dsearch/download.php
исправлены ошибки. рекомендовано к обновлению.
http://www.majestic12.co.uk/forum/viewtopic.php?t=3203
спросил у них на форуме. )))))
и тишина...
Posted: Sat Aug 30, 2008 7:38 pm Post subject:
--------------------------------------------------------------------------------
Yes, no definitive answer why this is the case - I am going to dig further tomorrow
кстати
Behold mortal before history of MJ12node!
Unless specifically stated all comments relate to all builds of the node.
TODO: ! Add option for Mono builds to use Linux NICE to set nice priority for external archiving
TODO: ! Add option to switch off separators in Win32 Activity grid
TODO: ! Add option to ONLY receive preferred domains
v1.6.7 19/08/08
! Changed referer set when robots.txt is requested to make it shorter and avoid potential
false positive by faulty security software that should have never checked it in the first place
v1.6.6 14/08/08
! Fixed failure to clean up some urls with session ids that were already removed (also make
session clean up process more reliable)
! Removed more unnecessary warnings
! Change in how Accept header is set for Mono builds
у меня маджестик постоянно вылетал с синим экраном. ну не один мажджестик а + боинк, днет, даймс и еон )))
щас выдул кошачью шерсть из кулера - попробую опять запустить.
новой версии пока нет. про домены новые автор на форуме молчит...
majestic12 + boinc + dimes = BSOD usb2k.sys
Death,
У меня с еще более тяжелыми для ОСи раскладами все гуд.
Мож дело в венде?
дело в маджестике.
я правда его одного не пробовал запускать. вернее не помню. кажется точно так же всё заканчивается.
что за хня usb2k.sys??? в гугле никаких упоминаний (((
на винте тоже нету.
может компонента фреймворка .НЕТ? Ты поставил нужную для мажестика версию?
все обновления с микрософт упдейта стоят. дотнеты 1 2 3 3.5 с сервиспаками.
Думаю в этом может быть проблема.. Ты юзаешь 3 и 1 дотнет? если нет, то имеет смысл оставить тока 2й для мажестика
Подскажите, какие порты этому чуду надо пробрасывать?
За фаером не может получить задания от сервера:
Хз. Посмотри на фаере куда мадж ломится - те порты и открывай
Rilian
Хм... если бы еще знать, что это он... у меня на выход открыто все, а на вход с УТК столько мусора валит, что не разгребеш...
народ, сколько воркеров ставить на 2 мб ого шоб оно не тормозило. в смысле не грузило проц, а грузило канал по полной.
ставь 50 штук и таймацт на 30 сек
стало перезапускаться каждые 10 минут.
вернул 20 кравлеров - то же самое.
мля......
Перезапускается мадж или инет?
если инет, то возможен перегрев модема (особенно если модем dlink)
сам мадж рестартится.
какое-то окно вылазит очень быстро.
галку на рестарте убрал.
модем длинк, но это не он гадит. торренты льются нормуль.
проверь лог файл
мадж рестартится если кол-во ошибок превышает норму
вроде заработало. не пашет когда 100% канала отдаёшь. 90% - чешет 250 кб\сек.
убрал галку щитать скорость аплоада в общую скорость. вроде пошло живенько.
передвинул ползунок даунлоада с 80 на 90% - опять все втікает.
23.12.2008 22:02:19] MJ12node v1.6.7 (.NET 2.0) starting up
[23.12.2008 22:02:20] Loading webserver config from: C:\Program Files\Majestic-12\MJ12node\webserver.xml
[23.12.2008 22:02:23] Node will use built-in .NET HTTP library for crawling
[23.12.2008 22:02:30] Mozilla/5.0 (compatible; MJ12bot/v1.2.3; http://www.majestic12.co.uk/bot.php?+) started with 25 worker(s)
[23.12.2008 22:03:54] 23.12.2008 22:03:54 Crawler appears to be hanging, current worker: 2 with status: WaitingForResponse, URL: http://that-camping.com/camping/es/general-news/mobile-camping-meets-environmentally-friendly-standards-easier-press-release. TimeOutAbortMark: False FlushMark: False Will attempt to abort that worker.
[23.12.2008 22:04:57] 23.12.2008 22:04:57 Crawler appears to be hanging, current worker: 10 with status: WaitingForResponse, URL: http://www.quia.com/jg/722910.html. TimeOutAbortMark: False FlushMark: False Will attempt to abort that worker.
Решил присоединиться. В двух словах, если можно, что делает клиент (как работает)
KING100N
Да все предельно просто: кушает столько интернета, сколько разрешиш. Занимается сканированием сайтов, список которых получает с сервера. Результаты (только текст) сжимает и отправляет на сервер. В общем обычный бот поисковика, только вариант для РВ.
Текст сайта сжимает?? Это все хранится у них на серваке? Неплохое же у них дисковое пространство
Хранится только ТЕКСТ страниц, без тегов оформления (ссылки хранятся тоже)
20 терабайт (где-то писали)
KING100N
2x quad Xeons 2.5 Ghz, 32 GB RAM, 24 TB disks
Как я понял процесс следующий: мы сканируем адреса данные с сервера, архивируем тексты сайтов и отправляем обратно на сервер. А чего ж тогда проект уже почти год длится? Что инет такой безразмерный?? И почему Google такое повторить не сможет? А поисковик Majestica уже есть??
ЗЫ А как настроить клиент на максимальную производительность, а то там столько много всего??
KING100N
1. Ну в общих чертах процесс правильно понял.
2. Гугль тоже не за неделю возник, никто не знает точного размера инета, поскольку все постоянно меняется
3. Может, но Гугль это коммерческая организация.
4. Поисковик есть, только пока мало что находит. На главной странице их сайта в верхнем правом углу.
5. Смотря какой у тебя канал.
Канал 512/512. Я имел ввиду галочки какие-то особо секретные нигде ставить не надо??
А вот и отличие от Гугла - некоммерческое предприятие (а может все вдруг изменится )
Я так смотрю у клиента две фазы: скачивание и отдача?? Очки за что начисляют?
Очков как таковых нет, учет ведется и по количеству отсканированных страниц, и по объему переданной на сервер информации.
Для 512/512 для начала поставь 15 workers и 5 buckets. А вообще здесь с клиентом нужно повозиться, чтобы подстроить именно под свой канал. Так что наблюдай, по ходу пробуй менять настройки и смотри что получается.
Отлично... тысячи людей работали на них бесплатно, а теперь они будут продавать собранную ими информацию.
А как насчет соответствия с заявленными целями проекта?
http://distributed.org.ua/forum/index.php?showtopic=2900
It was very, very difficult to build a large index that was close to that of Yahoo and Google. But, we built it, and early this year we launched a commercial offshoot to help us fund further R&D activities. This is what Majestic-SEO was designed for. It is the same company, but it’s our trading name that we use to position ourselves in the SEO industry.
So, what we have in Majestic-SEO is the biggest publicly available backlinks index. It allows webmasters to verify their sites and obtain extensive backlinking data for free. If you want information for your competitor websites, then you can pay to obtain reports and compare the websites. It’s essentially like Google Webmaster Tools, but you can get information on competitive sites and we show complete data.
Занялся переводом статьи, но двигается медленно, поскольку масса специфических терминов и жаргонизмов, которые приходится уточнять.
Никак не могу понять конечной цели проекта . По-моему у чувака либо какая-то личная неприязнь к гуглу (показалось из того, что прочитал), либо просто решил заработать денег на людях: "вот вы мне создадите крупнейшую базу линков, а я начну на этом зарабатывать деньги , а я вам за это (может быть) дам такой же поисковик как гугл или яху". Да и вообще
"Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?
Это сложный вопрос, так как на него нет единственного ответа"
- какой-то мутный ответ. Как итог вероятность 90% что с проектом завяжу(толком и не начав )
Вот так и Брин ходил по инвесторам а ему говорили - "не можем понять нах вам это надо, есть же яху..." ))))))
Прикол маджестика в том что вы можете написать свой алгоритм релевантности, и прикрутить его к базе. Видели сколько примеров в поисковике?
http://search.majestic12.co.uk/search.jhh?q=%D0%A3%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D1%81%D0%BA%D0%B0%D1%8F+%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%B0
Гм...
А че, ФАД, фах, ВЦГ и остальные....они че, когда получат результаты от НАШИХ компов - положат на полочку?
Нет. И вы вы сами это знаете.
Только если найдется лекарство от болезни и Виджей Панде продав патент на выробныцтво какому нибуть "Баер"у" станет миллиардером - вы это поймете, а вот этого маджерастиуса вы непонимаете.
Почему?
nikelong
Когда я некоторое время назад поднял этот вопрос - меня начали дружно бить
Вопрос не в цели, а в средствах, по крайней мере для меня. Большинство проектов РВ - проекты концептуальные или теоретические. И их стоит поддерживать хотя-бы просто потому, что теоретическая наука в мире находится в глубокой ж..
В проектах, результаты которых могут иметь непосредственное практическое (читать "коммерческое") применение лично у меня желания участвовать нет. А здесь ребята мягко говоря "умолчали" для чего все это затевали. Декларировалась альтернативная поисковая система, а получился лохотрон.
Я думаю, что они довольно быстро начнут платить за работу, поскольку после таких заявлений отток участников будет приличный. И им придется либо платить, либо заниматься сканированием сайтов с собственных каналов, что тоже значит "платить".
Поскольку с теми, кто останется бесплатно помогать "бедным бизнесменам" они Гугль никогда не догонят...
когда ты тонешь - предпочтительнее чтобы на берегу стояли продавцы спасательных кругов. это к вопросу о панде.
а мадж -
Мы начали Majestic-SEO в феврале этого года. Раньше, когда мы начинали, мы не продавали данные, потому что эффективнее и проще было начинать с теста, позволявшего веб-мастерам заходить на наш сайт и проверять свои домены, получая информацию бесплатно. Таким образом мы получали обратную связь. В июле мы запустили новую опцию, которая позволила нашим клиентам фактически покупать отчеты по тем доменам, которые им не принадлежат.
В Majestic-SEO собран самый большой публично доступный индекс бэклинков. Это позволяет веб-мастерам проверять свои сайты и бесплатно получать обширные данные о бэклинках. Если же Вы хотите получить информацию о вебсайтах своих конкурентов, то Вы можете заплатить для получения отчетов и сравнения вебсайтов
But, we built it, and early this year we launched a commercial offshoot to help us fund further R&D activities. This is what Majestic-SEO was designed for.
ну конечно, всем бы хотелось чтобы Алекс оплачивал 150 серваков и гигабитный канал в инет из своего кармана. даааа?
Death
В общем это их дело, как и у нас дело каждого - как к чему-то относиться
А серваков у них меньше 10, да и не все так радужно...
Мне все равно, я и дальше продолжаю на полных парах считать в этом проекте за команду Украины и за страну Украину (!)
А вот мне интересно следующее: кто-нибудь пробовал их поисковик? Если они утверждают, что уже приблизились к Yahoo, то он должен неплохо работать.
Я как-то попробовал, он вообще ничего не нашел по запросу, а украинская Мета (далеко не самый крупный поисковик) выдала 1,5 тысячи страниц.
Или у них поисковик вообще пока не работает, а только отчеты по доменам? Что-то я из интервью этого не понял...
поисковик нормально работает, просто охват конечно не такой как у яхи. ну и релевантность у гугла щитается по формуле со 100 параметрами а у маджа непонятно как.
в мадж кстати можно сабмиттить самому адреса. не нашло что-то - добавляй )))
Эх... с одной стороны вроде проект... ээээ... малость коммерческий, а с другой nikelong прав - команда и страна должны выглядеть прилично, раз уж принимают участие.
Да и из командной 10-ки не хочется выпадать, не так просто было туда попасть
Считаю, так как альтернативы куда деть мой скромный лишний трафик - нет.
К тому же удобной ( Снуз из теря за 1.5 секунды).
Лишний трафик тоже пока не вижу куда пристроить.
Продолжаю участвовать в проекте. А позже посмотрим на развитие событий.
Ну естественно ненужно превращать какой то проект РВ в икону.
Положительно к нему можно относится, а вот молится на него - нет.
Посему у меня мадж так работает:
а) если я за компом - мадж в 99% случаев НЕ работает, ибо я за компом = я в интернете. Не хочу себе помех.
б) если я не за компом то ситуация такая: если шото стоит на закачке - мадж не считается. Если канал простаивает - то мадж считается.
В итоге мне мадж совсем невнапряг запускать когда я сплю или не дома. И мне поф коммерческий он или нет.
Алекс Чудновский в интервью Эрика Энге - новая статья у нас на сайте:
http://distributed.org.ua/index.php?go=Pages&in=view&id=172
За перевод великое спасибо Алгону!
Всем привет!
Тоже решил помочь Команде занять достойное место в проекте!
Roamer,
Приветствуем!
Но мадж - это один из немногих проектов, гдемы действительно занимаем "свое" место - т.е. в топ-12 на статистике нас почти всегда нет .
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?win32||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?linux||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?mac||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?freebsd||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?win32&dotnet2||
все обновляемся и врубаем.
до ежедневной топ10 на фришниках не хватает децла....
v1.6.8 29/01/09
! Change robots.txt caching logic to avoid cache HTML pages without
any useful directives that could have lead to unchecked database growth.
ну не знаю, типа важный баг.
Расширил вдвое канал под Majestic и сутки провозился с новым клиентом. Не хотел DNS находить, сволочь
По первым впечатлениям вроде-бы лучше работает с Framework 3.5 SP1 а не c 2.0
Очень много ошибок DNS не смотря ни на какие
Отпишитесь пожалуйста, у кого-нибудь еще есть проблемы с DNS ?
у меня очень много таймаутов.
дотнеты стоят все.
на дотнетовской либе вообще не кравлит, а на своей библиотеке то кравлит, то таймауты. перезапуск клиента не всегда помогает.
У меня вообще позавчера мадж отвалился нах.
мешь на ярлык---прога стартует---и замирает на "нэтворк инициализинг корэ"....
Щя качну новую с сайта, мож поможет ....
Новый прикол: стартует, с полчаса работает на полную, потом все больше и больше ошибок DNS и таймаутов, и так до полной остановки.
Смотрю по трафику: полный 0 и никаких попыток даже послать DNS-запросы. При этом инет на машине работает нормально, а Мадж стоит и все подряд сваливает в DNS Error. После перезапуска клиента снова полчаса работает, потом все повторяется.
У тебя ДНС где-то кэшируется, 100%
Rilian
Хм... объясни пожалуйста, как кеширование DNS может приводить к таким результатам?
До этого все нормально работало через проксю на локалхосте (и с локальным DNS-сервером), сейчас уже чего только не пробовал: отрубание прокси заодно с фаером, перевод DNS на провайдерские и openDNS не дают абсолютно никакого эффекта. Даже модем пробовал и роутером, и бриджем, и сбрасывал аппаратно, и ставил другой. Сейчас машина висит в инете без всякой защиты и прибамбасов, результат отсутствует. У меня идей больше нет, кроме переустановки оси, но на это я не пойду, уж слишком много гемора...
Algon, попробуй вырубить библиотеку дотнета и использовать родную маджевскую.
через что выходишь в инет?
Death
Поставил родную библиотеку, результат (или его отсутствие) будет известен через примерно час.
Мадж работает на канале от УТК, ОГО-4. Модем D-Link 2640, пробовал Zyxel, та-же картина.
Короче дело дрянь
Снес старый клиент, поставил снуля 1.6.8 - та же теория:
при запуске "инитцализинг нэтворк корэ, плий уэйт" ... я уэйт уже 10 минут а оно и вус не дует
Короче, это какая-то диверсия.
nikelong
Каталог потом чистил? При сносе инсталлятором он там кучу всего оставляет.
А вообще что-то слишком много и слишком разнообразных глюков. Чем объяснить - лично я не знаю, но проблемы сразу у нескольких человек это странно.
Кстати по поводу пингов: у укртелекома сейчас такая жопа..... (с)
Так что превышение по тайм ауту потому что ОГО ковбасид ...
А вот какого хя у меняя сам клиент ковбасид - для меня загадка.
Каталог почищу но завтра. На сегодня уже хватит мороки....
nikelong
Ого уже с полгода колбасит, то одно, то другое лагает. Я уже даже привык, хоть и матерюсь, когда новый трабл обнаруживается
А Алекс так в интервью распинался про то как они реагируют на запросы пользователей...
А мой запрос на форуме про то что надо добавить 5 тлд в клиента - полгода не могут решить. уже наверное 6 - .ме добавился. и .азия. 7 получается.
и ещё - он ни разу не сказал спасибо кранчерам (( сказал "я офигел когда узнал что они запускают нашего клиента и денег не берут". у меня осталось впечатление что фразу "во лохи" просто выкинули из интервью.
Algon, Board ID: DSL-2540U
Software Version: RU_DSL-2540U_1.00_01112008
Bootloader (CFE) Version: 1.0.37-8.7
ого 2+
пока колбасит с 8 вечера без вылетов. средняя скорость 1100 на графике.
НИПАНЯТНА!
MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 138 433 (100,0%)
Successes : 117 210 (84,7%)
Not found : 3 701 (2,7%)
Timed out : 4 724 (3,4%)
Disallowed : 1 916 (1,4%)
Banned : 0 (0.0%)
DNS errors : 8 395 (6,1%)
Conn errors : 1 252 (0,9%)
Forbidden (403): 273 (0,2%)
Other : 1 036 (0,7%)
Retries : 0 (0,0%)
Uptime : 5 hours 38 mins 24 secs
Memory usage : 54 MB
GZIP requests : 47 425 (34,3% of successes)
GZIP saved data: 1 522 MB (34,5% of total)
кстати, попереключай графики... мож чё увидишь...
А может просто задания такие идут? Я смотрю у меня большинство заданий - прощупывание разных доменов на предмет robots.txt, причем по порядку, типа aaa.kz, aab.kz, aac.kz и так далее. Естественно, что большого количества их вообще в природе не существует, отсюда и ошибки DNS. На внутренней библиотеке вроде пока стабильнее работает.
З.Ы. Алекс молодец, его фунты интересуют, а не какие-то отвлеченные понятия
Там есть спасибо на форуме. И там люди не сидят на чемоданах с деньгами, дело немного сложнее чем кажется
вобщем кто знает английский, читайте оф форум
MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 413 039 (100,0%)
Successes : 266 601 (64,5%)
Not found : 7 378 (1,8%)
Timed out : 39 494 (9,6%)
Disallowed : 4 158 (1,0%)
Banned : 2 (0,0%)
DNS errors : 88 119 (21,3%)
Conn errors : 4 015 (1,0%)
Forbidden (403): 276 (0,1%)
Other : 5 303 (1,3%)
Retries : 0 (0,0%)
Uptime : 15 hours 16 mins 45 secs
Memory usage : 20 MB
GZIP requests : 101 528 (24,6% of successes)
GZIP saved data: 3 193 MB (31,4% of total)
Советую в клиенте маджа выставить кэш ДНС побольше
Rilian
Да чего-то до лампочки все настройки. На некоторых блоках ни одной DNS-ошибки, на некоторых больше половины, а на некоторых из 10 тысяч адресов только десяток удачных запросов, а остальное ошибки DNS. Видимо сейчас обрабатываются области, о которых нет данных и идет просто перебор возможных вариантов имен доменов.
Я уже выставил повторы неудачных запросов, максимальные таймауты и все остальные настройки по максимуму. В итоге канал 4 мегабита используется всего на 25%
Algon,
Max allowed workers: 100
Active workers 20-30, не больше
Maximum open URL buckets: 30
Активно целых 6...
Статистика по клиенту примерно такая-же, как у Death
Downloading overall 1083
И это что на канале в 4, что в 8 мегабит
Max allowed workers: 100 - а если 150? а если 200?
Active workers 20-30, не больше. Почему?
nikelong
Поставил 150, количество активных поднялось до 50, средняя загрузка канала 1,3 мегабита. Почему так - понятия не имею.
Если есть желание поковыряться - могу открыть доступ к интерфейсу по HTTP.
Downstream Rate (KBits)
Current: 3 971
Overall: 3 467
Limit: 4 096
Crawling
Total URLs: 33 309 (100,0%)
Successes: 30 445 (91,4%)
Not found: 1 879 (5,6%)
Timed out: 58 (0,2%)
Disallowed: (MJ12bot) 50 (0,2%) (0 (0.0%))
Banned: 1 (0,0%)
DNS errors: 19 (0,1%)
Conn errors: 162 (0,5%)
Forbidden (403): 0 (0.0%)
Other (details): 695 (2,1%)
Retries: 0 (0,0%)
Нечего не понимаю Два варианта: или у Маджестика закончились "левые" задания, или УТК наконец-то раздуплился. Посмотрим, надолго ли...
Черт. А я уже собрался выбрасывать Маджестик и ставить Даймс
И еще: подскажите пожалуйста, запросы robots.txt идут в общую статистику или нет? В клиенте они вообще не учитываются, а у меня таких 3/4.
Algon,
MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 1 091 946 (100,0%)
Successes : 723 018 (66,2%)
Not found : 39 222 (3,6%)
Timed out : 24 964 (2,3%)
Disallowed : 11 284 (1,0%)
Banned : 346 (0,0%)
DNS errors : 276 563 (25,3%)
Conn errors : 2 807 (0,3%)
Forbidden (403): 475 (0,0%)
Other : 17 321 (1,6%)
Retries : 690 (10,3%)
Uptime : 2 days 22 hours 37 mins 46 secs
Memory usage : 47 MB
GZIP requests : 322 570 (29,5% of successes)
GZIP saved data: 11 647 MB (40,9% of total)
У норвежцев появился весёлый крендель :
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1478
Кого-то он мне напоминает.
З.Ы. Интересные у него параметры канала и кол-во отправленных Mb.
кстати, советую всем в настройках поставить галку только напротив ЮА доменов.
чтобы в первую очередь получать местные домены.
если нет местных, всё равно выдаются другие, но с местными получается быстрее немного.
Парни, проверьте свои настройки в Majestic-е .
щас Украина кончается.
попёрли Афганистан и аэро домены ((((( жуть.....
кто ещё не проверил?
и да, если вы оставляете мадж кранчить без вас и без закачек, ставьте лимит на мегабит больше чем у вас реальни канал.
у меня ого2, стоит лимит 3000. средняя загрузка 1400-1600
Нике, Дес, а сколько воркеров?
Сто.
пиццот ))))))))))
полста и 8 букетов.
Заметил что должно быть Количество букетов = (количество воркеров)/10
Иначе "нехватает"
Поэтому если у тебя 150 воркеров то должно быть не 8 а 15 букетов.
полста = 50
nikelong, у тебя не пишет в логе увеличьте число букетов?
кинь лог свой....
надо на 6-7 делить имха
У меня выставлены 50 bucket-ов и 240 worker-ов, кэш на 50 bucket-ов (когда украинские урлы).
Когда идут зарубежные, тогда 20 bucket-ов и 80 worker-ов (на скорости 1Mbit) и 20 bucket-ов и 160 worker-ов (2.5 Mbit).
Я подкключен к "домовой" сети - у провайдера между домами лежит оптоволокно, а внутри домов - витая пара. Внутри сети скорость 100 Mbit, а наружу - в зависимости от пакета (у меня 5 Mbit unlim). Случайно заметил, что украинские сайты у провайдера определяются почти как внутисетевые, поэтому и выставил скорость соединения в 4 раза больше, чем указано в договоре. Как ни странно, но получилось ! Уже два дня идут наши сайты, поэтому скорость держится в пределах 6-32 Mbit ! Уже подключил комп друга (у него этот же провайдер), на днях прицеплю ещё одну машинку. Так что, кто живет на Оболони или на Харьковском - подключайтесь к IPnet - Воля и УкрТелеком отдыхают !
Ограничение на download у меня 20 480 Kbit (20 Mbit), а на upload 5 120 Kbit (5 Mbit).
Masquer!
Может стоит написать где то на оффоруме, что бы тебе восстановили пароль?
А то некошерно сливать по миллиону в день и не на страну
Маджестик глюкнул не по-детски
Развернул файл peer.db на 74 гигабайта, сожрал все свободное место на диске C, загрузил проц на 100% и в таком состоянии повис...
После убийства каталога data пока вроде работает нормально...
какието подробности еще есть? версия? ось? итд
я отпишу на оф форуме
Rilian
Версия 1.6.8 (Net 2.0)
Vista x64
Последняя запись лога:
на всякий случай, какие домены 1 уровня ты кравлил?
на оф форуме есть про это тема от 27 января - на текущей базе урлов может встречаться такая проблема... вот тут http://www.majestic12.co.uk/forum/viewtopic.php?t=3397
Rilian
Понятия не имею, что кравлилось в тот момент, у меня разрешены почти все зоны.
Ладно, черт с ним. Если повторится - отправлю им 74-гигабайтный файл, пусть разбираются
Алексей пишет что peer.db контроллируется по этому поводу в версии 1.6.8
У тебя точно новая версия?
домены юа пока закончились (( ком нет орг валят (((
Invision Power Board
© Invision Power Services