Версія даної теми для друку

Натисніть сюди для перегляду даної теми у оригінальному форматі

Розподілені обчислення в Україні _ Majestic12 _ Majestic12.co.uk

Автор: nikelong Feb 11 2007, 15:40

IPB Image

Проект "Majestic-12" IPB Image

----------------------------------------------------------------------------------------------------------
http://www.majestic12.co.uk/

http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97
http://stats.free-dc.org/stats.php?page=team&proj=maj&team=97
http://www.grc.com/dns/benchmark.htm

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на http://www.update.microsoft.com/microsoftupdate/v6/default.aspx?ln=ru;
3. http://www.majestic12.co.uk/projects/dsearch/download.php (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - http://majestic12.co.uk/projects/dsearch/wiki/index.php?title=Manual более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку http://distributed.org.ua/forum/index.php?showuser=92 )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=97 и нажмите ссылку http://majestic12.kicks-ass.org/teams/team.jhh?teamid=97&join=1
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
http://distributed.org.ua/index.php?go=Pages&in=cat&id=30

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:
IPB Image

Добавить сайты в маджестик12 - аддурилка
http://search.majestic12.co.uk:8181/submit/

QUOTE
Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.


Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

IPB Image

Автор: Rilian Feb 11 2007, 15:48

Так как у меня анлим, пытаюсь подключиться. Это особенно классно для юзеров с анлимом ЮА-ИКС и миром, потому что вы можете кравлить ОЧЕНЬ быстро юа-иксовые страницы.

Автор: Rilian Feb 11 2007, 16:14

тормозит шо ппц

Тамагоч, объясни нам кратко как регаться

Автор: nikelong Feb 11 2007, 16:35

Я уже зарегистрировался, шото считает...
Посмотрим через час что будет ;-)

Автор: ReMMeR Feb 11 2007, 17:19

Напишите в 2х словах что надо стоб начать

Автор: Rilian Feb 11 2007, 18:16

Нужно иметь анлим и зарегаться..

Автор: nikelong Feb 12 2007, 00:40

Я так понял что я со своими 128/32 пролетаю...
Там в выборе подключения - 256/64 минимум sad.gif
И ещё, чё-то но у меня каждые 10 минут вылетает !?

Автор: Tamagoch Feb 12 2007, 01:00

я давно регался, потому так не скажу в чем там подробности....
вроде бы рабочий процесс очень похож на Даймс - регистрация и управление идет через клиент

насчет украинских страниц - очень быстро кончаются задания на Украину sad.gif
все-таки их дают всем поголовно, аж за Родину обидно... мне вот уже свалился пакет на *.com

сам клиент очень гибкий в настройках интенсивности и времени работы, но я этим не пользуюсь

Автор: Rilian Feb 12 2007, 01:02

(nikelong @ Feb 12 2007, 12:40 AM) *

Я так понял что я со своими 128/32 пролетаю...
Там в выборе подключения - 256/64 минимум sad.gif
И ещё, чё-то но у меня каждые 10 минут вылетает !?

ставь 256/64 и проценты использования на < 50% crazy_pilot.gif vis.gif

Автор: nikelong Feb 12 2007, 10:19

http://www.majestic12.co.uk/projects/dsearch/customise.php?userids=1535%2C1282
Интересная фича!

Добавляешь ID именно тех людей, которых ты пожелаешь, и они запоминаются в куки.

Потом когда хочешь глянуть, сколько насчитал за сегодня ты, и сколько-твой соперник - просто заходишь по этой ссылке.

Автор: nikelong Feb 12 2007, 13:06

Я так понял, что понятие "фермы" (в домашних условиях) в этом проекте отсутствует!?
Потому что одна нода, установленная на одном компьютере может "освоить" по максимуму канал вплоть до 2-х мегабит. А это значит что ферму можно организовать только со своими друзьями-анлимщиками, или если вы обладаете каналом пропускной способностью более 2- Мбит...

Автор: Tamagoch Feb 12 2007, 13:08

(nikelong @ Feb 12 2007, 01:06 PM) *
Я так понял, что понятие "фермы" (в домашних условиях) в этом проекте отсутствует!?
Потому что одна нода, установленная на одном компьютере может "освоить" по максимуму канал вплоть до 2-х мегабит. А это значит что ферму можно организовать только со своими друзьями-анлимщиками, или если вы обладаете каналом пропускной способностью более 2- Мбит...

да, это проект сетевых ресурсов, а не процессорных или виртуально-процессорных smile.gif

Автор: ReMMeR Feb 12 2007, 14:43

Присоеденился. Посмотрим что оно и как.
Вот оказывается как можно запутатся вступая в новый проект smile.gif
Будте терпеливы к Новичкам !

Автор: Death Feb 12 2007, 15:51

я ваще не могу вкурить
скачать страницу чтобы отослать её им на сервер
они сами скачать не могут???

пароль на мыло пока так и не пришел

Автор: ReMMeR Feb 12 2007, 17:10

(Death @ Feb 12 2007, 03:51 PM) *

пароль на мыло пока так и не пришел

А я мыло просто ввёл и ничего не ждал.

пс. Я уже в статистике yahoo.gif ! (гдето 4-5 часов поюзал)
за 5 часов клиент скушал аж 70 секунд процессорного времени smile.gif

Автор: nikelong Feb 12 2007, 17:15

Зато сколько он скушал траффика!

Получается, если для ФАХ нужен мощный процессор, то для Маджестика нужен мощный канал в мир!

Автор: Tamagoch Feb 12 2007, 20:07

(nikelong @ Feb 12 2007, 05:15 PM) *
Получается, если для ФАХ нужен мощный процессор, то для Маджестика нужен мощный канал в мир!

как я 200 гиг прокачал несколько месяцев назад, даже не знаю biggrin.gif

Автор: Rilian Feb 12 2007, 20:28

(Death @ Feb 12 2007, 03:51 PM) *

я ваще не могу вкурить
скачать страницу чтобы отослать её им на сервер
они сами скачать не могут???

пароль на мыло пока так и не пришел

твой комп ее "индексирует", то есть слова передаются в специальном виде который ускоряет их поиск......
индексирование и кушает процессор

Автор: nikelong Feb 12 2007, 20:47

Сидел себе Тамагоч партизаном один в проекте месяца три наверное...
Никто об этом не знал...
Стоило мне вчера подключится к проэкту wink2.gif как уже сегодня команда выросла в 6 раз! lol.gif drinks2.gif 1.gif

Автор: ReMMeR Feb 12 2007, 21:04

А рулити по вебу робочим компом з дому це круто smile.gif

Tamagoch
Joined:
19/09/2006 07:26:00

і ти мовчав ?!?!?

Автор: Tamagoch Feb 12 2007, 21:21

(ReMMeR @ Feb 12 2007, 09:04 PM) *
Tamagoch
Joined:
19/09/2006 07:26:00

і ти мовчав ?!?!?

да я не мог создать команду - какие-то глюки были у них на сайте sad.gif
"поругался" на эту тему с аффтором MJ12, потом обиделся и ушел оттуда....

теперь надо будет поговорить по поводу перевода моих 10 млн. в зачет команды worthy.gif


зы. по сути я и собирался анонсировать этот проект, как только он пройдет все этапы "тестирования", а он тогда не прошел thumbdown.gif


(Rilian @ Feb 12 2007, 08:28 PM) *
твой комп ее "индексирует", то есть слова передаются в специальном виде который ускоряет их поиск......
индексирование и кушает процессор

мне кажется что клиентский комп все-таки нифига не делает, он только собирает их в кучу и архивирует
таким образом за счет алгоритма LZMA существенно снижается нагрузка на канал поискового сервера, если бы он делал это сам

тем более около 20% ссылок содержат разного рода ошибки - от ДНС и 404 до элементарного запрета в robots.txt
на проверку этих ошибок тоже уходит время, этим как раз и занимаются клиенты, а сервер получает хоть и чистый, но необработанный результат

это я не прочитал где-то, а просто как-то заглянул в архив, готовящийся к отправке...
у меня когда-то накапливались очереди по 100-200 МБ таких архивов cool.gif

Автор: nikelong Feb 12 2007, 21:38

Базовое соединение закрыто: Соединение, которое должно было работать, было разорвано сервером.


И так пару раз за день thumbdown.gif
В итоге клиент вылетает нафиг... vis.gif
И какого х..? mad2.gif st.gif

[12.02.2007 18:26:44] Unhandled exception caught: System.AccessViolationException: Попытка чтения или записи в защищенную память. Это часто свидетельствует о том, что другая память повреждена.


Гм, а это ещё с какого дива? blink.gif

ЗЫ: ингода полезно читать лог biggrin.gif но если-бы и понимать о чём там речь... shuffle.gif

ЗЗЫ: worthy.gif

Автор: Rilian Feb 12 2007, 22:25

Подключился... на .NET 1.1 ничего не пахало. Загрузил 2.0 - все классно smile.gif

Автор: ReMMeR Feb 12 2007, 22:27

(Rilian @ Feb 12 2007, 10:25 PM) *

Подключился... на .NET 1.1 ничего не пахало. Загрузил 2.0 - все классно smile.gif

Я .NET 1 ёщё сервис пак 1 поставил. (если это и есть .NET 1.1 smile.gif )

Автор: Oleg82 Feb 12 2007, 22:43

давно уже искал проэкт где можна использевать весь потенциал своего нета smile.gif yahoo.gif
вообщем принимайте в команду.. wink2.gif

Автор: nikelong Feb 12 2007, 22:47

(Oleg82 @ Feb 12 2007, 10:43 PM) *

вообщем принимайте в команду.. wink2.gif

Приветствую! drinks2.gif

Автор: nikelong Feb 12 2007, 23:40

Споймал такое nike.gif
Это сообщение высветилось при попытке сменить в настройках клиента скоростной профиль моего подключения


Приєднані зображення
Приєднане зображення

Автор: Rilian Feb 12 2007, 23:45

отжиг... у меня такое тоже вылазило. но потом я выбрал что-то вроде АДСЛ 1024\512 и поставил скорость вручную

Автор: Death Feb 13 2007, 11:17

Majestic-12 : DSearch : User Info

Nickname:
Death

Country:
Ukraine

ID:
198

Team:
n/a

Web site:
http://business.ua

Joined:
06/09/2005 08:40:00


)))))))))))))

только не могу сменить свои настройки - не помню мыло, и не приходит новый пароль (((

Автор: nikelong Feb 13 2007, 13:07

Ну вот, короче имею следующее:
Снёс всё нафиг, поставил ТОЛЬКО нэт 2.0 + русский ленгвич
распаковал архив с клиентом под нэт 2.0 (по методу Реммера)
Стартонул...считал, только дошло до записи - вырубился nike.gif
Вот полный лог, с нуля:

[13.02.2007 12:46:18] MJ12node v1.4.6 (.NET 2.0) starting up
[13.02.2007 12:46:18] Loading webserver config from: F:\majestic\client\webserver.xml
[13.02.2007 12:46:19] Node will use built-in .NET HTTP library for crawling
[13.02.2007 12:46:21] MJ12bot/v1.2.0 (http://majestic12.co.uk/bot.php?+) started with 15 worker(s)
[13.02.2007 12:56:37] SaveWorkerData can't operate on oItem that is null!
[13.02.2007 12:56:37] Worker #1 failed to save its data. Original BID=1 Original URL=http://www.shopping-abc.com.ar/AA-primitive-rug-hooking.html
[13.02.2007 13:03:13] Unhandled exception caught: System.AccessViolationException: Попытка чтения или записи в защищенную память. Это часто свидетельствует о том, что другая память повреждена.
   в System.Net.UnsafeNclNativeMethods.OSSOCK.WSAGetOverlappedResult(SafeCloseSocket socketHandle, IntPtr overlapped, UInt32& bytesTransferred, Boolean wait, IntPtr ignored)
   в System.Net.Sockets.BaseOverlappedAsyncResult.CompletionPortCallback(UInt32 errorCode, UInt32 numBytes, NativeOverlapped* nativeOverlapped)
   в System.Threading._IOCompletionCallback.PerformIOCompletionCallback(UInt32 errorCode, UInt32 numBytes, NativeOverlapped* pOVERLAP)

Автор: Death Feb 13 2007, 14:40

1/ update.microsoft.com

2/ проверь не включен ли DEP (кажется так называется)

Автор: Tamagoch Feb 13 2007, 15:27

(Death @ Feb 13 2007, 02:40 PM) *
1/ update.microsoft.com

2/ проверь не включен ли DEP (кажется так называется)

DEP включен "на основных программах и службах виндовс" - все работает...

Автор: Rilian Feb 13 2007, 23:00

Я себе недавно поставил "январскую" винду... Эксплорер глючит шо ппц....


также


[22:42:59] rilian: LOL
[22:43:06] rilian: я нашел способ
[22:43:10] rilian: читить в маджестике
[22:43:14] rilian: по кол-ву урлов
[22:44:00] nikelong: ну?
[22:44:16] rilian: грузишь букет, потом блочишь исходящие соединения для маждестика фаерволом, и вуаля.
[22:44:25] rilian: дофига disabled и not accessible
[22:44:39] rilian: зато счетчик УРЛов работает хорошо
[22:44:39] nikelong: теория...
[22:44:48] rilian: глянь на мою статистику
[22:45:03] rilian: я утром выкупил что у меня часть урлов блочилась

Автор: ReMMeR Feb 14 2007, 10:35

Я 44й по миру, а Украина сегодня 12 excl.gif
Типа Йов ! smile.gif

Автор: nikelong Feb 14 2007, 11:10

Обычно, когда количество акитвных участников проекта на этом форуме становится больше трёх, мы делаем отдельный раздел форума, посвящённый проекту.
wink.gif wink.gif wink.gif

Автор: ReMMeR Feb 14 2007, 12:51

(nikelong @ Feb 14 2007, 11:10 AM) *

Обычно, когда количество акитвных участников проекта на этом форуме стет больше трёх, мы делаем отдельный раздел форума, посвящённый проекту.
wink.gif wink.gif wink.gif

Давай базовое описание в шапку - и перенесу. А вообще, по моему, под этот проект достаточно одной ветки smile.gif

Автор: Rilian Feb 14 2007, 13:26

(Tamagoch @ Feb 14 2007, 08:59 AM) *

(Rilian @ Feb 13 2007, 11:00 PM) *
Я себе недавно поставил "январскую" винду... Эксплорер глючит шо ппц....

надо уже делать свою февральскую smile.gif
до сих пор ставлю всем октябрьскую и обновляю со своего сервера, пока самая стабильная версия...

дай ссылку... ph34r2.gif

2 Реммер: ты еще скажи что лучше с веткой ДАЙМС соединить rofl.gif

Автор: nikelong Feb 14 2007, 13:45

Покрайней мере,в этом проекте Украина занимает 12 место по ППД clap_1.gif
А вообще вчера когда игрался с настройками, отключил архивирование, и клиент забил весь мой системный диск какими-то файлами blink.gif . Пришлось чистить. mad2.gif Но в довершении всего вчера вечером нафиг отвалился от машины звук nike.gif
Чудасия короче, будетт время - засяду за машину поплотнее 1.gif ph34r2.gif

Автор: Tamagoch Feb 14 2007, 17:25

(Rilian @ Feb 14 2007, 01:26 PM) *
дай ссылку... ph34r2.gif

вроде как http://infostore.org/info/1969532


(nikelong @ Feb 14 2007, 01:45 PM) *
Чудасия короче, будетт время - засяду за машину поплотнее 1.gif ph34r2.gif

да меняй уже... или ей надо глобальное ТО делать smile.gif

Автор: Death Feb 15 2007, 12:39

вспомнил пароль и присоединился!

мой ID 198 ;-)))

мои 189 Мб пошли в кассу команды...

даёшь топ10!!!! уррряяяяexcl.gif! ))))))

кстати, кто нить пробовал ставить ЭТО в комп. клубах?

10 Ukraine 421,934 8,043
11 Team MacOS X 421,035 9,651


ЕСТЬexcl.gif!!!!! я маладец )))))))))))))))

http://search.majestic12.co.uk/submit/

Submit URLs - status
[15/02/2007 10:36:33] Job created

Автор: nikelong Feb 15 2007, 12:46

Вот такая подпись маджестика, если кому нужно:
http://www.r4rw.net/mj12/avatar.php/-id~1535_bg~default.gif

Нужно только -id~1535 поменять на Ваш ИД.

Удобно тем что показывает количество скравленых ссылок


Автор: nikelong Feb 15 2007, 22:14

Вот здесь:
http://www.majestic12.co.uk/forum/viewtopic.php?t=2477
ответили что порблема может быть с НОД32.
У кого нормально работает мадж с нодом?

Автор: Rilian Feb 15 2007, 23:26

http://www.majestic12.co.uk/projects/dsearch/download.php

Качаем НОВУЮ версию клиента 1.4.7

Автор: Death Feb 16 2007, 10:58



чисто потестить

Автор: nikelong Feb 16 2007, 11:42

А ты только присоединился к нашей команде и всё?
Возобновлять просчёты не хочешь?

Автор: Rilian Feb 16 2007, 12:00

Тут скорее не "просчеты", а "прокачки"

еще, задания для домена UA быстро заканчиваются, поэтому приходится качать другие sad.gif

Автор: Tamagoch Feb 16 2007, 13:56

(Rilian @ Feb 16 2007, 12:00 PM) *
еще, задания для домена UA быстро заканчиваются, поэтому приходится качать другие sad.gif

домен UA уже давно прокачан... ждем следующего цикла sad.gif

Автор: nikelong Feb 16 2007, 14:19

Гм... после выгрузки НОД32 клиент проработал 7 часов...
После загрузки его обратно ;-) , клиент уже работает 5 часов...
(отменил проверку маджестика в НОДе)...
Посмотрим что будет дальше.........
ЗЫ: РеММеР, а какой скорости у тебя канал? Мегабит?

Автор: nikelong Feb 16 2007, 15:01

О какой смайлик имеется на форуме маджестика:

Автор: Death Feb 16 2007, 15:10

не знаю прокачан ли весь юа, но у них есть форма добавления адресов, 6 штук добавил из юа, написало что все новые ))))

добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))

Автор: nikelong Feb 16 2007, 15:27

Что за форма!? blink.gif
Где, на сайте, или в клиенте? blink.gif

Автор: ReMMeR Feb 16 2007, 16:53

(nikelong @ Feb 16 2007, 02:19 PM) *
ЗЫ: РеММеР, а какой скорости у тебя канал? Мегабит?

8

Автор: Rilian Feb 16 2007, 18:04

берем выдачу из гугла site:ua

я этим займусь. у меня есть проги для парсинья выдач
smile.gif

UA - CHAMPION smile.gif

Автор: Rilian Feb 16 2007, 22:03

Осталось добавить:
site:chernovtsy.ua
site:crimea.ua
site:cv.ua
site:if.ua
site:ivano-frankivsk.ua
site:kherson.ua
site:kiev.ua
site:km.ua
site:ks.ua
site:lutsk.ua
site:mk.ua
site:nikolaev.ua
site:od.ua
site:odessa.ua
site:pl.ua
site:poltava.ua
site:rovno.ua
site:rv.ua
site:sebastopol.ua
site:sumy.ua
site:te.ua
site:ternopil.ua
site:uz.ua
site:uzhgorod.ua
site:vinnica.ua
site:vn.ua
site:in.ua
site:gov.ua
site:com.ua
site:net.ua
site:edu.ua
site:co.ua
site:lviv.ua
site:dp.ua
site:biz.ua
site:donetsk.ua
site:dn.ua
site:lugansk.ua
site:lg.ua
site:kharkov.ua
site:kh.ua
site:kirovograd.ua
site:kr.ua
site:zaporizhzhe.ua
site:zp.ua
site:zhitomir.ua

Автор: YuRi Feb 17 2007, 00:40

od.ua и odessa.ua - одно и то же. с остальными, как я подозреваю, - аналогично.

Автор: Rilian Feb 17 2007, 01:01

пофиг. для мажестика это разные сайты

я беру 1000 выдач гугла по каждому запросу и собираю уникальные урлы. потом все собираю в одну кучу и еще раз отсеиваю уникальные.
потом буду постить в мажестик.

Автор: Rilian Feb 17 2007, 02:32

1629 украинских доменов ушло smile.gif

осталось отпарсить все запросы из предыдущего поста

думаю, сделаю это завтра, когда меня разбанит гугл smile.gif

Автор: nikelong Feb 17 2007, 11:27

А почему он тебя забанил? Чем плохо то, что ты делаешь?

Автор: swabber Feb 17 2007, 14:20

Много запросов по 100 выдач в короткий промежуток времени

Автор: nikelong Feb 17 2007, 18:15

Так, проблему с вылетом Маджестика решил.
Действительно дело было в НОД32.
Я там разрешил "не проверять" сетевую активность клиента, и он уже после этого не вылетает.
Теперь ещё осталось решить проблему с ошибками записи, и всё будет ОК!

Автор: Rilian Feb 18 2007, 04:37

Сабмитил еще 1450 уникальных доменов в UA зоне.


остались запросы:

$q[]= 'site:ks.ua';
$q[]= 'site:lutsk.ua';
$q[]= 'site:mk.ua';
$q[]= 'site:nikolaev.ua';
$q[]= 'site:od.ua';
$q[]= 'site:odessa.ua';
$q[]= 'site:pl.ua';
$q[]= 'site:poltava.ua';
$q[]= 'site:rovno.ua';
$q[]= 'site:rv.ua';
$q[]= 'site:sebastopol.ua';
$q[]= 'site:sumy.ua';
$q[]= 'site:te.ua';
$q[]= 'site:ternopil.ua';
$q[]= 'site:uz.ua';
$q[]= 'site:uzhgorod.ua';
$q[]= 'site:vinnica.ua';
$q[]= 'site:vn.ua';
$q[]= 'site:in.ua';
$q[]= 'site:gov.ua';
$q[]= 'site:com.ua';
$q[]= 'site:net.ua';
$q[]= 'site:edu.ua';
$q[]= 'site:co.ua';
$q[]= 'site:lviv.ua';
$q[]= 'site:dp.ua';
$q[]= 'site:biz.ua';
$q[]= 'site:donetsk.ua';
$q[]= 'site:dn.ua';
$q[]= 'site:lugansk.ua';
$q[]= 'site:lg.ua';
$q[]= 'site:kharkov.ua';
$q[]= 'site:kh.ua';
$q[]= 'site:kirovograd.ua';
$q[]= 'site:kr.ua';
$q[]= 'site:zaporizhzhe.ua';
$q[]= 'site:zp.ua';
$q[]= 'site:zhitomir.ua';
$q[]= 'site:kiev.ua';
$q[]= 'site:kiev.ua inurl:z';

Автор: Tamagoch Feb 18 2007, 10:04

(Death @ Feb 16 2007, 03:10 PM) *
добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))

все равно придется ждать следующего цикла, когда обновится база урлов...

Автор: Rilian Feb 18 2007, 14:37

добавил еще 500 уников со всех предыдущих запросов

осталось отпарсить зону kiev.ua

у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач

Автор: Rilian Feb 18 2007, 14:45

добавил еще 894 уникальных доменов из киевской зону.
фух

DONE

Автор: Rilian Feb 18 2007, 17:47

(Tamagoch @ Feb 18 2007, 10:04 AM) *

(Death @ Feb 16 2007, 03:10 PM) *
добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))

все равно придется ждать следующего цикла, когда обновится база урлов...

Это сколько дней? ph34r2.gif

Автор: nikelong Feb 18 2007, 18:35

На форуме ОГО! , Воли ходит такая шутка, мол безлимитные пакеты только для "закачивания интернета", "...если вы не собираетесь делать бэкап интернета..." и т.д. Мол, я не скачиваю целиком интернет, поэтому мне и 1/3/5 Гиг в мес. хватит...

Я тут подумал...

Так мы в проэкте Маджестик-12 тем и занимаемся, что скачиваем интернет!

lol.gif lol.gif lol.gif lol.gif lol.gif lol.gif lol.gif lol.gif lol.gif lol.gif

Автор: Tamagoch Feb 18 2007, 23:55

(Rilian @ Feb 18 2007, 05:47 PM) *
Это сколько дней? ph34r2.gif

да что-то медленно продвигается к 100% - как бы это еще на пару месяцев не затянулось...

Автор: Rilian Feb 19 2007, 00:10

Total known URLs: 31,850,265,782 (see breakdown)
Downloaded URLs: 38,661,532,612 (121.39%)

ты про это?

сейчас скорость скачивания 75 000 000 в день.... sad.gif

Автор: Death Feb 19 2007, 11:36

(Rilian @ Feb 16 2007, 06:04 PM) *

берем выдачу из гугла site:ua

я этим займусь. у меня есть проги для парсинья выдач
smile.gif

UA - CHAMPION smile.gif


а подробнее? что за проги? )))

(Rilian @ Feb 18 2007, 02:37 PM) *

добавил еще 500 уников со всех предыдущих запросов

осталось отпарсить зону kiev.ua

у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач


попробуй по ключевикам типа music video powered www
по любому будут выдачи отличаться )))

ты про gov.ua на забыл? )))))))

Автор: Tamagoch Feb 19 2007, 14:33

я про нижнюю строчку вот этого:
http://www.majestic12.co.uk/projects/dsearch/tlds.php

Автор: Rilian Feb 20 2007, 18:07

3 Ukraine nikelong
99,969 348
4 Ukraine Rilian
70,451 1,499

Nikelong. ты фаерволом блочишь клиент ?? типа сайты недоступны, бла бла, и возвращаешь результат на сервер??

Автор: nikelong Feb 20 2007, 18:41

Нет, полностью всё разрешено, и фаерволом тоже...
Незнаю почему у меня такой маленький траффик? idontno.gif

ЗЫ: но таки раскочегарился я неплохо devil_2.gif

Автор: Rilian Feb 20 2007, 19:11

Скинь свои логи, в смысле, цифры со статуса.. ?

Автор: nikelong Feb 20 2007, 21:02

MJ12node : v1.4.7 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 109 (100,0%)
Successes : 89 (81,7%)
Not found : 1 (0,9%)
Timed out : 17 (15,6%)
Disallowed : 0 (0,0%)
Banned : 0 (0,0%)
DNS errors : 0 (0,0%)
Conn errors : 1 (0,9%)
Forbidden (403): 0 (0,0%)
Other : 4 (3,7%)
Retries : 0 (0,0%)
Uptime : 8 mins 52 secs

ЗЫ: просто перезагружал систему из-за отсутствия света :-)

Автор: Rilian Feb 21 2007, 04:06

Вот лол, только сейчас заметил... devil_2.gif

у меня аутпост 4й

смотрю статистику заблокированных элементов:

Всплывающих окон - 97000 rtfm.gif
ActiveX - 177 rtfm.gif
Flash - 22000 rtfm.gif
Скрытых фреймов- 2500 rtfm.gif

Так как Аутпост изменяет входящий трафик, то у меня подозрение что обратно на Majestic12 отсылаются страницы без рекламы и т д rofl.gif

Это не есть хорошо. Изменения трафика отключил.. 1.gif


2 Никелонг: разберись с клиентом.. helpsmilie.gif По моему ты просто amo006.gif убиваешь suicide.gif маджестиковые fear.gif жабы bunny.gif vis.gif

Автор: Rilian Feb 23 2007, 22:13

жыыыыыыыыыыыыыыыыыыыыыыр

у меня 256/64 за 20$

Автор: Oleg82 Feb 23 2007, 22:42

(Rilian @ Feb 23 2007, 03:13 PM) *

жыыыыыыыыыыыыыыыыыыыыыыр

у меня 256/64 за 20$


как говорил мой друг: живём как боги... new_russian.gif

Автор: YuRi Feb 23 2007, 23:52

(Rilian @ Feb 23 2007, 10:13 PM) *
жыыыыыыыыыыыыыыыыыыыыыыр

у меня 256/64 за 20$
У меня 512/512 за $26,5. Можно взять 1024/1024 за $35, но пока не вижу зачем. smile.gif

Автор: Oleg82 Feb 24 2007, 00:15

у меня 256/64 за 20$
У меня 512/512 за $26,5. Можно взять 1024/1024 за $35, но пока не вижу зачем. smile.gif


запрошуем до команды worthy.gif

Автор: YuRi Feb 24 2007, 00:27

(Oleg82) *
запрошуем до команды
Я думал об этом, но пока не могу понять смысла мажестика. idontno.gif

Автор: Rilian Feb 24 2007, 00:32

(YuRi @ Feb 23 2007, 11:52 PM) *

У меня 512/512 за $26,5. Можно взять 1024/1024 за $35, но пока не вижу зачем. smile.gif

ты еще не в команде? thinklamo.gif thinklamo.gif thinklamo.gif thinklamo.gif thinklamo.gif thinklamo.gif

Автор: YuRi Feb 24 2007, 00:53

(Rilian) *
ты еще не в команде? thinklamo.gif thinklamo.gif thinklamo.gif thinklamo.gif thinklamo.gif thinklamo.gif
Дяденька, не бейте! fear.gif worthy.gif Лучше конфетку предложите. blush2.gif
Действительно, в чем "конфетка" мажестика? Кроме того, что он жрет мало процессорного времени, но много трафика?
Только давайте вынесем этот разговор из "йо-майо" куда-нибудь в более другое место. Ы?

Автор: Rilian Feb 24 2007, 03:25

маджестик это абсолютно добровольное дело. чтобы занять анлимовый канал если он не полностью используется.
я лично не уверен что МЖ в ближайшем будущем будет конкурировать с гуглом, но я "кравлю" русскоязычные страницы чтобы они чаще появлялись в выдачах этого проекта

Автор: Oleg82 Feb 24 2007, 04:05

ваши провайдеры вас так love.gif a так хоть можна як кажуть поукраинськи "на всi грошi" lol.gif

Автор: nikelong Feb 25 2007, 17:36

Во! Правильно! Нада выкачать всё за что сняли абонплату до последнего бита!
Пока руки не дошли до мп3-файлопомоек, сливаю трафф маджестиком (!)

Автор: Rilian Mar 5 2007, 20:26

Добавил к ним в базу 5970 доменов из зоны DP.UA

Автор: Death Mar 6 2007, 10:35

сколько ещё украины осталось?

a *.ua добавил? а gov.ua?

))))

Автор: Rilian Mar 6 2007, 15:33

хз. что гугл повыдавал в первых тысячах то я и добавил.

Автор: nikelong Apr 26 2007, 00:36

Вышла новая версия клиента - 1.4.8
excl.gif excl.gif excl.gif excl.gif excl.gif excl.gif excl.gif excl.gif excl.gif excl.gif

Автор: nikelong May 5 2007, 12:04

Только сейчас решил её поставить...
Ну что-ж, первые впесатления положительные, торможение интерфейса, которое было до 1.4.7 версий пропала напрочь.

Автор: nikelong Jun 22 2007, 15:20

Приветствуем новичка в команде (!)

http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1733

Автор: Rilian Jun 28 2007, 22:53


rilian (23:42:59 28/06/2007)
*даю ссылку на форум..*

Арбалет (23:43:58 28/06/2007)
завтра посмотрю - у меня скорость из-за дождя сильно упала (радионет)

rilian (23:44:09 28/06/2007)
ок

Арбалет (23:44:14 28/06/2007)
нихрена не грузится, только аська кое-как пыхтит

rilian (23:44:21 28/06/2007)
)

rilian (23:44:28 28/06/2007)
ты не знаешь что такое мадж на 100%

rilian (23:44:29 28/06/2007)
))))

Арбалет (23:44:42 28/06/2007)
не )

ReMMeR, (28.06.2007 23:55:52:)
ты не знаешь что такое мадж на 100%
на 8ми мегабитах ;-)

пров сказал проверится на вирусы, ибо с нас бешеный ХТТП ДДОС идёт smile.gif

пришлось отрубить

Автор: nikelong Jun 29 2007, 10:32

Я уже подумал что ужудшение моей линии - результат работы 200 воркеров маджа.
И как прову шото объяснить?

Зы: мадж на 100% - даже асько не грузиццо! swoon.gif

Автор: Rilian Jun 29 2007, 10:42

ЗАЧЕМ ставить 200 воркеров?????? Они же физически в таймаут не успеют вложиться

У меня на 512кбит стоит 20 воркеров и особых ошибок нет

1 Ukraine nikelong 265,904URLS 1,543MB
2 Ukraine RILIAN.INFO 62,395URLS 1,285MB

ты "посчитал" кучу урлов, но реально правильно скачалось мало (смотри мое отношение урлы\траффик и свое). Для статистики полезно, для проекта нет

Автор: nikelong Jun 29 2007, 11:47

Почему для проекта не полезно?
Мы с тобой передали на сервер одинаковое количество информации, т.е. полезность от нашего канала одинаковая. А то что по таймауту сайт не прошёл - так в следующий раз пройдёт wink.gif
Так что я с тобой делаю одинаковую полезность для проекта, но кроме этого ещё и приношу команде неплохой рейтинг...

Автор: Rilian Jun 29 2007, 13:54

да, но ты передаешь о куче урлов вместо кода страницы, TIMED OUT / DISALLOWED / NOT FOUND и так далее, а мои воркеры все успевают скачать и передают страницы по-нормальному

Автор: uNiUs Jul 20 2007, 19:36

Не пойму, в чем фишка. На данный момент -
7 uNiUs 34,049 Url 170 MB
8 Death 10,000 Url 189 MB

Собсно, вопрос - почему я намолотил в 3,5 больше урлов за меньший объем трафика?

Автор: Rilian Jul 20 2007, 19:49

Я думаю, некоторые урлы у тебя могли заблокироваться фаерволом. Или страницы уже не существуют.

Посмотри в этом и других топиках, уже раньше обсуждалось

Автор: Death Aug 2 2007, 13:24

vatican.va, benedettoxvi.va, mailservice.va, and pcf.va

сейчас не работает добавление урлов в базу маджа.

это все адреса в зоне ватикана, но в стате у него нет ни одного домена .ва

когда заработает, добавьте кто-нибудь...

Автор: Death Aug 7 2007, 11:13

Submit URLs - submission result


5 URL(s) were ACCEPTED for crawling (1 were duplicate of previous submissions). You can check status of submitted items by clicking here.

Автор: nikelong Aug 27 2007, 08:46

Фак!
Запустил линукс-версию клиента, получил в статистике 1000 урлов и ноль мегабайт траффика.
Брэндмауер в системе выключен, в настройках рутера тоже.
IP сетевая получает по DHCP, ну и сижу за НАТом.
Куда копать? st.gif

Автор: Death Sep 4 2007, 14:17

# Top level domain name Total number of URLs Estimated size (GB) Issued to nodes % issued Already crawled URLS % completed
245 .ua 114,063,543 2,281 1,195,511 1.05% 111,713,232 97.94%


добавил примерно 1000 доменов из .ua

щас попробую нарыть ещё.

клятый гугель после 20 запросов просит ввести код.
пой десктопный парсер пишет ошибки (((
парсер взят с globalsquid.com

Автор: Death Sep 4 2007, 15:06

ещё 4500 доменов из Украины

как же неудобно руками по 99 штук закидывать (((

Автор: Rilian Sep 4 2007, 22:12

я ж тебе свой парсер присылал?!!

Автор: Death Sep 5 2007, 10:16

мне понадобился десктопный парсер ))) и я его нашёл )
решил потестить заодно и маджестик покрутить.
не всегда удобно с сервера работать.

Автор: Rilian Sep 5 2007, 15:21

Я его с Zend Studio запускал. Там встроенный отладчик PHP. Очень легко работать

Автор: Death Sep 12 2007, 09:20


#    TLD Total number of URLs Estimated size (GB) Issued to nodes % issued Already crawled URLS % completed
245 .ua  114,063,543          2,281             1,195,511          1.05%    111,713,232       97.94%
245 .ua  114,063,543          2,281                25,511          0.81%    112,923,232       99.00%


шо-то добавлял добалял - всё без толку (((

и домен .va ватикан не появился.

Автор: Rilian Sep 12 2007, 10:23

Так эта табличка обновляется только после скачивания следующих 100% урлов..

Автор: Death Sep 19 2007, 13:56

понятно. сейчас 99.19%

но почему .va не появляется?

Автор: Rilian Oct 8 2007, 23:55

Мы жжом!

http://search.majestic12.co.uk/search.jhh?q=majestic12

smile.gif

Masquer - welcome !

Автор: nikelong Oct 9 2007, 05:29

Кто этот человек?
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1874

Автор: ReMMeR Oct 9 2007, 07:36

Засабмитил 6000 адресов нашего сайта/форума.

Автор: tok098 Oct 9 2007, 21:34

Hello, хлопцы! Вот и я решил казенного инета отдать на х (на благо команды...) , всеравно на работе жмоты и сволочи....Мадж рулит - АДСЛ 512/128 - безлимитка. Хоть это и не верно , но пусть на работе шеф смаркает сопли от траффика, уже жаловался что Айсикью не пашет -тормозит

Автор: nikelong Oct 9 2007, 22:09

Добро пожаловать!
Кстати, у меня тоже 512/128 от ого wink.gif

Автор: Rilian Oct 9 2007, 22:29

(tok098 @ Oct 9 2007, 09:34 PM) *

Hello, хлопцы! Вот и я решил казенного инета отдать на х (на благо команды...) , всеравно на работе жмоты и сволочи....Мадж рулит - АДСЛ 512/128 - безлимитка. Хоть это и не верно , но пусть на работе шеф смаркает сопли от траффика, уже жаловался что Айсикью не пашет -тормозит

Поставь на ботов 90%

тогда аська и браузер нормально работают!

Преведствуем в команде! Не фолдингом единым жив кранчер )

Автор: tok098 Oct 9 2007, 22:45

Спасибо, что приняли в свою песочницу!
Вот есче свой Мак подключю к проекту с 2Мбит/512Кбит smile.gif да Атлошку 2,4Mhz c 512/128 Кбит, от и + в каманде больше будет....
Да может есче парочку квадиков E6600, каждая машинка по 512/256, ехеххехехееее smile.gif Но над этим надо будет поработать....Так сказать незаметно поставить MJ12Nod и дело в трунях smile.gif

Хлопцы, посмотрите на ето безобразие blink.gif vis.gif Фины говорят с ручным тормозом даже в Инете biggrin.gif , вот потом и верь fool.gif http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=233 Вот у кого надо халявный инет брать, а он...... amo006.gif , он даже не за Украину...(:

Автор: Rilian Oct 9 2007, 22:51

В германии 16МБайт анлим в крупных городах стоит 20-30уе в месяц...

Автор: tok098 Oct 9 2007, 22:58

А вы гляньте, красота Ukraine 15 место, а вообщем зачете обгоняет москалив http://www.majestic12.co.uk/projects/dsearch/countries.php

Автор: nikelong Oct 9 2007, 22:59

tok098,
Супер! Давай заводи свою ферму!

Эх, то за украину "стоял грудью" Олег82, он был даже на 2-м месте среди кранчеров по суточному ППД, а наша команда занимала 4-е место!

Но в итоге злые дядьки из провайдера пригрозили Олегу более щадящье использовать траффик, вот олег и скотился на 100 000 в неделю sad.gif

Эх, было время...давай, может ты поможешь? wink.gif

Автор: tok098 Oct 9 2007, 23:02

20-30уе в месяц за 16Мбит анлим, хапецццц , даааа... Да одна Germany может за неделю спокойно закончить проект ....Как одна моя знакомая говорит: "Шож його казать, кагда конечно"

Автор: tok098 Oct 10 2007, 00:16

nikelong, как цэ понять, ты, я, и олег попали в эту каманду, или кто попал в топ 100 дня сразу входит в этот деньв эту каманду? http://www.majestic12.co.uk/projects/dsearch/teaminfo.php?id=103

Автор: Rilian Oct 23 2007, 00:57


Автор: nikelong Oct 30 2007, 00:34

http://www.majestic12.co.uk/projects/dsearch/download.php

вышла новая версия клиента - 1.5.0


ЗЫ: уж часом не для борс читерами ли? wink.gif

Автор: alx10 Nov 3 2007, 14:13

Решил помочь smile.gif , у меня анлим 256/64, комп не выключается.

Автор: nikelong Nov 4 2007, 17:44

(alx10 @ Nov 3 2007, 02:13 PM) *

Решил помочь smile.gif , у меня анлим 256/64, комп не выключается.


Приветствуем в нашей команде! drinks2.gif

ЗЫ: эх, если-бы ты еще решил и своими компами в фолдинге помочь команде Украины.... worthy.gif

Автор: nikelong Nov 4 2007, 23:06

Блин, полный капец.
В четверг-пятницу шото у меня лагал момед, в итоге то интернет был, то нет. В мадже насобиралось ах 17 незавершенных букетов.
В субботу нэт вообще пропал.
Щас вот запустил мадж, вроде все как обычно, но вот такая фингя, шо на аттаче nike.gif
Реально маджу вообще ничего не мешает, в клиенте никаких настроек не менял, а он пустышки гонит...

Может есть дэдлайн у заданий? о_0 А то как-бы 3-4 дня уже прошло...

Короче, ногами не пинать, шо за глюк словил не знаю, жду может когда сегоднязакачаный начнутся, то всё станет ОК... idontno.gif


Приєднані зображення
Приєднане зображення

Автор: Rilian Nov 4 2007, 23:44

У меня тоже самое. Сделал Cleanup, скачался новый букет с COM (хотя в настройках COM запрещен!) и поехали все 100% Other

что делать?

Автор: nikelong Nov 4 2007, 23:57

Догадка оправдалась.
Как только я отпарвил все закешированые "просроченые" букеты, и скачал сегодняшние, новые - то процент годных вырос с 0 до 80% wink.gif

Автор: Oleg82 Nov 5 2007, 02:04

вы клиенты обновили? какая то разница заметна?

Автор: Rilian Nov 5 2007, 02:33

разницы не заметно.

А когда старые баррели закончились, новые пошли нормально

Автор: nikelong Nov 5 2007, 08:28

Не знаю, я разницы между новым и старым не заметил...

Автор: Death Nov 6 2007, 17:41

где "добавить сайт" в маджестике????? задолбался искатьexcl.gif

и кто у них на фjруме зареган, можете спросить, когда ватикан проиндексируют? домен .va

уже нашёл. спасибо гуглу )))))))))))))))))))))))))

про форум вопрос остаётся открытым

Автор: Rilian Nov 6 2007, 18:09

Лучше добавляй не сайт а сразу сайтмап - пачку УРЛов

А че с ватиканом? У тебя там домен? smile.gif

Автор: alx10 Nov 13 2007, 11:47

nikelong

Приветствуем в нашей команде!

Пасиб drinks2.gif
На счет фолдинга не обсуждается, 2 лимона с собой не заберешь, да и в другой команде мне неплохо живется smile.gif
ЗЫ Я уже "посчитал" свой первый лимон урлов

Автор: Oleg82 Nov 13 2007, 22:20

ЗЫ Я уже "посчитал" свой первый лимон урлов

хорошый старт.. drinks2.gif dk.gif

Автор: Олександр Nov 15 2007, 12:33

Всім привіт, приєднався сьогодні до команди!
нік Foyevtsov

Автор: Rilian Nov 15 2007, 12:49

(Олександр @ Nov 15 2007, 12:33 PM) *

Всім привіт, приєднався сьогодні до команди!
нік Foyevtsov

Приветствуем! dk.gif

Хороший старт!

Автор: nikelong Nov 15 2007, 13:59

(Олександр @ Nov 15 2007, 12:33 PM) *

Всім привіт, приєднався сьогодні до команди!
нік Foyevtsov


Приветствуем! winner.gif

Какой у тебя канал?




ЗЫ: а кто это:
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1961

Если с нашего форума - отзовись! ph34r2.gif

Автор: Олександр Nov 15 2007, 14:10

(nikelong @ Nov 15 2007, 02:59 PM) *

Какой у тебя канал?


Привіт, канал у мене 6Мбіт/640Кбіт, але я так розумію чомусь він весь не юзається (налаштування в клієнті стоять ручні на 6/0.64 Мбіти та по 100%). Я зараз на роботі, ввечері перевірю в чім справи, може НОД32 дружити не хоче, тре фаєрвол посмикати, мабуть щось типове
Командо, чекайте на поінти!

Автор: nikelong Nov 15 2007, 15:12

Олександр,
Гы, 6 мегабит это даже круче чем у Олег82 wink.gif

Но смотри, могут позвонить с провайдера и сказать шоб на вирусы проверился wink.gif

Или че хуже - скажут что у тебя сильно трафф большой!

Дело в том что клиент на 100% может загрузить канал вплоть до 100 Мбит, так что...

...ура, наша команда снова может быть в пятерке по суточной производительности!

ЗЫ: постучись ко мне в асю

Автор: Rilian Nov 17 2007, 01:18


Автор: Олександр Nov 18 2007, 01:39

Питання, а яка різниця що у мене пише Library .NET, а в попередньому пості MJ12?
І цікаво, а де решта команди, чому ми всі разом не приймаємо участі, був би великий + команді!

Автор: Rilian Nov 18 2007, 01:54

Я выставил другую библиотеку HTTP в настройках. Если все работает - разницы не видно

Автор: nikelong Nov 18 2007, 09:11

(Олександр @ Nov 18 2007, 01:39 AM) *

І цікаво, а де решта команди, чому ми всі разом не приймаємо участі, був би великий + команді!

Потому что в отличии от цивилизованной европы у нас тут почти еще все платят за траффик. Это раз, во вторых народ только дорывается до "широкого" интернета - сразу начинает массово качать музыку, фильмы...тут уж не до маджестика.

Так что если для фолдинга и находятся "свободные мегагерцы", то маджестик - совсем уже экзотика для Украины...

Автор: Олександр Nov 18 2007, 10:52

Але ж у лідера на шого Тамагоча трафік акачаний великий за рейтингом, але я його наприклад тут не бачив ще жодного разу. А на рахунок платного трафіку, так тут певно реєстряться ті хто за нього не платить (наприклад Укртелеком має ДСЛ анліміт, який досить популярний), навряд чи хтось із тих хто в команді віддавав би свої кровні мегабайто-гривні сюди

Автор: nikelong Nov 18 2007, 11:30

У тамагоча две линии по...забыл, то-ли по 0.5 то-ли по 2 Мбита. Но по Определенным причинам он сейчас отдает траффик на другие цели.

По поводу Укртелекома: гы, как-раз благодаря ему я и принимаю участие в этом проекте. Т.к. альтернативое ему в моей кваритре есть воля, а у нее за 150 гривен я получу не 140 гиг (как на УТК) а 30. Но при ее скорости (декларируют 38 Мбит, реально 2...10 Мбит) я эти 30 гиг ну оооочень быстро выкачаю. А дальше - за деньги sad.gif

Кроме меня, из под услуги ОГО в нашей команде есть:
Рильян, алекс10, вито

ЗЫ: у меня скорость - 0.5 Мбит, это самый скоростной из домашних тарифных планов. Есть 2 мегабита с тарификацией траффика (гиг = 24 гривны) и корпоратив 2 мегабита, который 2000 гривен в мес. стоит

Автор: Олександр Nov 19 2007, 14:27

Ага, класно.
У мене є питання в форум: я вдома залишаю МДж12 працювати, а сам йду на роботу, так ось я помітив, що він покачає там деякий час, а потім все, трафік і УРЛ застигають. Коли я вдома, то я просто роблю рестарт йому, тоді він рестартує, завантажує УРЛ з вінчестера і пішов качати, а якщо не перезапущу - то стоїть собі, мовчить.
Звісно про мої налаштування: в preferred URL's відмітив Європу США, workers: 300; протокол змінював на .NET i MJ12 - все-одно, на харді відводив від 1 до 10 гіг, решта в принципі стандарт.
Може хтось таке зустрічав? Поділіться, бо сиджу на роботі а воно там простоює, прикро.

Автор: ReMMeR Nov 19 2007, 14:33

Налаштуй йому веб-інтерфейс та рестартуй з роботи.

Автор: nikelong Nov 19 2007, 15:32

Можешь еще себе поставить планировщик nncron

И настрой его так, что-бы к примеру раз в 2 часа перезапускал процесс маджестика wink.gif

Автор: Oleg82 Nov 19 2007, 17:42

сбавь число воркеров на 200-250 и всё будет окей, у меня 6Мб канал и на 300 рабочих тоже зависает.. mellow.gif

Автор: Олександр Nov 20 2007, 11:07

угу, дякую, ввечері спробую, але поки що поставив собі ncron, як вище радили, то ввечері спробую переставити кількітсть воркерів

Автор: alx10 Nov 21 2007, 15:29

Я сейчас считаю не в полную силу, т.к. изредка качаю фильмы из инета, но в скором времени подключусь в городскую локальную сеть, тогда проблема скачки фильмов исчезнет и весь канал отдам маджестику biggrin.gif , ну и как вариант подумываю перейти на тариф 512 кбит smile.gif

Автор: Oasis Nov 22 2007, 14:20

Всім привіт smile.gif
Візьміть і мене до себе smile.gif

Хух, доки все перечитав трошки не задимився smile.gif
Але так і не зрозумів 2 речі.
А за яким принципом додовати нові домени, куди і як їх додавати?
Ну а программа сама наче все інше робить?

Що треба щоб прога рохувала ЮА-ІХ?

Автор: Rilian Nov 22 2007, 14:34

Приветствуем в команде! Выставь украинские домены в настройках. Только учти что они часто заканчиваются. Поэтому я например себе добавил большинство русскоязычных (kz, ru, be итд) и еще кучу "экзотических"

Автор: Oasis Nov 22 2007, 15:41

Що означаэ Errors. v.hight ?

Автор: Rilian Nov 22 2007, 16:30

errors = ошибки
v = very = очень
high = много

Автор: Oasis Nov 22 2007, 17:54

Rilian, я розумію, а це пов"язано з моїм інтернетом.
Чи це результати сканування?

Автор: Rilian Nov 22 2007, 18:48

Выставь поменьше рабочих потоков!

С дай скрин своих ошибок, либо картинку, либо там правой кнопкой кликни и скопируй на процентах

Автор: Oleg82 Nov 26 2007, 04:17

Я так понимаю что все кто считает Маджестик имеют анлим-инет
кому не лень поставьте в дополнение клиент Dimes, он проц не грузит и трафика много не берёт.
тем поможете поскорей команду в 20ку вытянуть... worthy.gif

Автор: alx10 Nov 26 2007, 09:37

кому не лень поставьте в дополнение клиент Dimes, он проц не грузит и трафика много не берёт.

долго мучался с даймсом, так и не смог его нормально заставить работать sad.gif

Автор: nikelong Nov 27 2007, 00:33

http://distributed.ru/wiki/pro:majestic12

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ(насколько я понял, речь о поисковиках...прим. Di) в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным(в смысле создать поисковик прим. Di).
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.
==========================================

Вот это мой вольный перевод поста автора проекта. Может быть на сайте в категорию не процессорных проектов добавить Majectic-12, оформить его нормально?
Там, где я выделил жирным, желательно бы проверить мой перевод получше, я в терминах не очень.

По поводу фамилии автора проекта: я не вполне уверен в том, что Chudnovsky - это Чудновский... может это какой-нибудь прибалт или поляк Чудновски IMAGE

http://distributed.ru/forum/?a=topic&topic=957&page=last#l

Автор: nikelong Dec 6 2007, 03:01

Снова выдают задания ...

Автор: KoDAk Jan 7 2008, 03:47

что-то жму присоединится, но уойо не запоминает что хочу в нашу команду ((

Автор: fingus Jan 7 2008, 23:12

(KoDAk @ Jan 7 2008, 03:47 AM) *

что-то жму присоединится, но уойо не запоминает что хочу в нашу команду ((

сьогодні були глюки, зараз ніби все гаразд

Автор: KoDAk Jan 7 2008, 23:52

blush2.gif уряя я наконец вступилл и слилл )))

Автор: KoDAk Jan 8 2008, 19:40

(Oleg82 @ Nov 26 2007, 04:17 AM) *

кому не лень поставьте в дополнение клиент Dimes, он проц не грузит и трафика много не берёт.

да он кривой (или мне так везет) он долго незакрывает октрытые конекты (и он бытро (1-3 часа ) выходит за мой предел в 110 конектов ((( )
+както зажирается иногда ((

Автор: Rilian Jan 8 2008, 22:16

Поставь второй дот НЕТ

Автор: KoDAk Jan 8 2008, 23:11

да стоит 3.5
вот опять пропал конект с сервером ((((((

Автор: Rilian Jan 9 2008, 21:34

Напиши что ты перед этим делал, что пишет итд

Автор: nikelong Jan 10 2008, 00:55

Добавил на сайт статью:

http://distributed.org.ua/index.php?go=Pages&in=view&id=146

Автор: Death Jan 10 2008, 10:07

кодак, 3.5 и 2 дотнет это разные дотнеты.

у меня стоит 1, 2 и 3.5 - и все стоят рядом ))))

Автор: KoDAk Jan 10 2008, 20:25

мне покащалось что проблема бла втом что когда ставишь 3.5
автоматом 2.0 и 3.0 апдейтятся до SP1
----
проверено на машине где есть установленный 3.5 (атак же соответственно установились 3.0SP1 и 2.0SP1) клиент спакойно вышел через проксю с авторизацией....
после долгих мучений приблема скорей всего или таки в конекте (керио-укрелеком) или таки пара пересносить винду(

ура получилось аплоадить результаты но пока нет их в статистике(

Автор: KoDAk Jan 13 2008, 17:44

Итак проблема решается приастановкой Download и тогда отправляется результаты.
также замечен глюк с XP SP3-RC0
http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=2189
к тому же аплоадит тока через проксю
а даунлоадит через нат (((
итог толи ОГО толи я (

Автор: nikelong Jan 29 2008, 09:03

Народ, налетай!

Выдают задания из зоны УА!

Можно неплохо поднять свой стат wink.gif

Автор: Rilian Mar 30 2008, 03:08

Обнаружил багу

в 3 утра винда перевела время на час вперед, и все воркеру ушли в таймаут (также добавился 1 час к uptime)

Автор: Rilian Apr 9 2008, 12:50

В статистике мажестика появился юзер Piriel с Украины, но он еще не вступил в нашу команду

http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=2335

Автор: Rilian Apr 9 2008, 21:43

MJ12node : v1.6.0 RC 1 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 1 424 249 (100,0%)
Successes : 1 080 524 (75,9%)
Not found : 106 408 (7,5%)
Timed out : 31 549 (2,2%)
Disallowed : 61 615 (4,3%)
Banned : 8 228 (0,6%)
DNS errors : 70 251 (4,9%)
Conn errors : 25 264 (1,8%)
Forbidden (403): 7 015 (0,5%)
Other : 34 472 (2,4%)
Retries : 34 024 (6,5%)
Uptime : 2 days 51 mins 6 secs
Memory usage : 76 MB
GZIP requests : 408 (0,0% of successes)
GZIP saved data: 14 MB (0,0% of total)

Автор: Rilian Apr 12 2008, 20:51

MJ12node : v1.6.0 RC 1 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 2 975 555 (100,0%)
Successes : 2 361 686 (79,4%)
Not found : 180 941 (6,1%)
Timed out : 69 408 (2,3%)
Disallowed : 114 405 (3,8%)
Banned : 14 445 (0,5%)
DNS errors : 87 046 (2,9%)
Conn errors : 67 775 (2,3%)
Forbidden (403): 8 918 (0,3%)
Other : 73 895 (2,5%)
Retries : 50 485 (11,5%)
Uptime : 5 days 1 sec
Memory usage : 86 MB
GZIP requests : 485 (0,0% of successes)
GZIP saved data: 17 MB (0,0% of total)

Автор: nikelong Apr 18 2008, 07:44

Rilian,
Стоит ставить 1.6.0 ? Есть в ней какие-либо видимые улучшения?

Автор: Rilian Apr 18 2008, 09:16

Хз, но пишут что стабильнее и эффективнее жрет память

уже есть 1.6.1 RC1

Автор: nikelong Apr 18 2008, 11:01

Раз так быстро есть 1.6.1 знач шото таки не доделали в 1.6.0 smile.gif

Автор: Rilian Apr 19 2008, 10:53

1.6.0 несколько недель была в предрелизном состоянии

Автор: nikelong Apr 25 2008, 21:51

Уже 1.6.1 как финальный вышел (!)

Автор: KoDAk Apr 26 2008, 09:59

да 161 рклит наконеч он сразу увидел конект
тепер осталось что бы получить задания )

Автор: Death May 25 2008, 09:44

кстати, наконец-то проиндексировали ватикан )))

у кого есть возможность напарсите и подобавляйте домены

.asia
.cat
.jobs
.tel
.travel

патамушта мажестик ничего про них не знает

http://search.majestic12.co.uk/submit/ добавлять здесь

и ещё для фанатов

com.ua kiev.ua
net.ua kirovograd.ua kr.ua
gov.ua lugansk.ua lg.ua
org.ua lutsk.ua
edu.ua lviv.ua
in.ua nikolaev.ua mk.ua
cherkassy.ua ck.ua odessa.ua od.ua
chernigov.ua cn.ua poltava.ua pl.ua
chernovtsy.ua cv.ua rovno.ua
crimea.ua rv.ua
sebastopol.ua sumy.ua
dnepropetrovsk.ua dp.ua ternopil.ua te.ua
donetsk.ua dn.ua uzhgorod.ua uz.ua
ivano-frankivsk.ua if.ua vinnica.ua vn.ua
kharkov.ua kh.ua zaporizhzhe.ua zp.ua
kherson.ua ks.ua zhitomir.ua zt.ua
khmelnitskiy.ua km.ua

гугл выдаёт 1000 штук максимум по запросу site:.domen

но по 1000 штук из каждого домена подобавлять можно. за Украину!

Автор: Death May 26 2008, 11:11

ну я вчера пока было не лень добавил по 1000 доменов из тех что не были проиндексированы.

я шоке. неужели нигде не было ссылки ни одной?
попробуйте сами поискать site:.tel например.

я раньше ваще такого не видел. то же самое и про .asia
.cat
.jobs
.travel

гугель походу их в выдачу ваще не пускает. или я не то ищу ))

Автор: Rilian May 26 2008, 11:20

Death я же в прошлом году распарсил гугл и добавил в мадж 25000 украинских доменов

Автор: Death May 26 2008, 11:57

хехе. как хорошо что с той поры не появилось ни одного нового сайта )))))))))))))

я говорю про то, что доменов .asia .cat .jobs .tel .travel
ВООБЩЕ не было в маджестике!

Автор: Rilian May 26 2008, 13:01

(Death @ May 26 2008, 11:57 AM) *

хехе. как хорошо что с той поры не появилось ни одного нового сайта )))))))))))))

я говорю про то, что доменов .asia .cat .jobs .tel .travel
ВООБЩЕ не было в маджестике!


Результати 1 - 3 з 3 сторінок українська на запит site:jobs
no.gif

Автор: nikelong May 26 2008, 13:04

А тем временем за команду Украины НИКТО не считает sad.gif

Автор: ReMMeR May 26 2008, 13:55

У меня крутитса дома.
Видимо резалты не часто идут.

Автор: Death May 26 2008, 15:58

site:.jobs <--- там точка должна быть.
я думаю что украинских сайтов в домене .jobs ваще нет.

Найк, а что там _считать_? ;-)

Автор: nikelong May 26 2008, 16:09

ReMMeR,
Видимо, не на команду резалты идут, проверь (!)

Потому как даже если поствить 5 воркеров - то за сутки один букет на 10000 очков можно сделать. А тебя я уже недели две в стате не видел (!)

Автор: Death May 30 2008, 16:45

добавил ещё 38 ссылок ватикана )))

Автор: Death Jun 2 2008, 13:35

приколитесь, с доменом тел всё не так просто

его анонсировали только в марте. гугл уже знает 30 страниц из этого домена. ))) ничо. скоро и маджестик узнает. ))

Автор: Death Jul 31 2008, 21:08

нифига домены новые шо я добавлял не проиндексировались (((

Автор: ReMMeR Aug 14 2008, 22:09

Вышла новая версия клиента 1.66

.NET 2.0 build (highly recommended) - works on 64-bit Vista/Longhorn

Качаем http://www.majestic12.co.uk/projects/dsearch/download.php
исправлены ошибки. рекомендовано к обновлению.

Автор: Death Aug 30 2008, 01:21

http://www.majestic12.co.uk/forum/viewtopic.php?t=3203

спросил у них на форуме. )))))

Автор: Death Sep 10 2008, 01:48

и тишина...

Posted: Sat Aug 30, 2008 7:38 pm Post subject:

--------------------------------------------------------------------------------

Yes, no definitive answer why this is the case - I am going to dig further tomorrow

Автор: Death Sep 10 2008, 02:00

кстати

Behold mortal before history of MJ12node!

Unless specifically stated all comments relate to all builds of the node.

TODO: ! Add option for Mono builds to use Linux NICE to set nice priority for external archiving
TODO: ! Add option to switch off separators in Win32 Activity grid
TODO: ! Add option to ONLY receive preferred domains

v1.6.7 19/08/08
! Changed referer set when robots.txt is requested to make it shorter and avoid potential
false positive by faulty security software that should have never checked it in the first place

v1.6.6 14/08/08
! Fixed failure to clean up some urls with session ids that were already removed (also make
session clean up process more reliable)
! Removed more unnecessary warnings
! Change in how Accept header is set for Mono builds

Автор: Death Oct 13 2008, 22:17

у меня маджестик постоянно вылетал с синим экраном. ну не один мажджестик а + боинк, днет, даймс и еон )))

щас выдул кошачью шерсть из кулера - попробую опять запустить.

новой версии пока нет. про домены новые автор на форуме молчит...

Автор: Death Oct 13 2008, 23:17

majestic12 + boinc + dimes = BSOD usb2k.sys

Автор: nikelong Oct 13 2008, 23:50

Death,
У меня с еще более тяжелыми для ОСи раскладами все гуд.
Мож дело в венде?

Автор: Death Oct 14 2008, 21:21

дело в маджестике.
я правда его одного не пробовал запускать. вернее не помню. кажется точно так же всё заканчивается.

что за хня usb2k.sys??? в гугле никаких упоминаний (((
на винте тоже нету.

Автор: Rilian Oct 14 2008, 21:48

может компонента фреймворка .НЕТ? Ты поставил нужную для мажестика версию?

Автор: Death Oct 15 2008, 08:39

все обновления с микрософт упдейта стоят. дотнеты 1 2 3 3.5 с сервиспаками.

Автор: Rilian Oct 15 2008, 13:11

Думаю в этом может быть проблема.. Ты юзаешь 3 и 1 дотнет? если нет, то имеет смысл оставить тока 2й для мажестика

Автор: Algon Dec 5 2008, 04:52

Подскажите, какие порты этому чуду надо пробрасывать?
За фаером не может получить задания от сервера:


[05.12.2008 3:42:57] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 3:46:09] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 3:49:22] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 3:52:34] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 3:55:46] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 3:58:59] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 4:02:12] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 4:05:25] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 4:08:37] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 4:11:49] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[05.12.2008 4:15:01] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs

С выключенным фаером все ОК.

P.S. Фаер не отслеживает активность приложений, а только рубит входящие на все порты, кроме разрешенных. Закономерный вопрос: нафига ему вообще входящие при индексировании страниц?

Автор: Rilian Dec 5 2008, 04:57

Хз. Посмотри на фаере куда мадж ломится - те порты и открывай

Автор: Algon Dec 5 2008, 05:07

Rilian
Хм... если бы еще знать, что это он... у меня на выход открыто все, а на вход с УТК столько мусора валит, что не разгребеш...

Автор: Death Dec 22 2008, 02:21

народ, сколько воркеров ставить на 2 мб ого шоб оно не тормозило. в смысле не грузило проц, а грузило канал по полной.

Автор: Rilian Dec 22 2008, 02:37

ставь 50 штук и таймацт на 30 сек

Автор: Death Dec 23 2008, 16:18

стало перезапускаться каждые 10 минут.
вернул 20 кравлеров - то же самое.

мля......

Автор: Rilian Dec 23 2008, 16:41

Перезапускается мадж или инет?

если инет, то возможен перегрев модема (особенно если модем dlink)

Автор: Death Dec 23 2008, 17:51

сам мадж рестартится.
какое-то окно вылазит очень быстро.

галку на рестарте убрал.
модем длинк, но это не он гадит. торренты льются нормуль.

Автор: Rilian Dec 23 2008, 18:05

проверь лог файл

мадж рестартится если кол-во ошибок превышает норму

Автор: Death Dec 23 2008, 20:24

вроде заработало. не пашет когда 100% канала отдаёшь. 90% - чешет 250 кб\сек.

Автор: Death Dec 23 2008, 21:57

убрал галку щитать скорость аплоада в общую скорость. вроде пошло живенько.

передвинул ползунок даунлоада с 80 на 90% - опять все втікает.

Автор: Death Dec 23 2008, 22:06

23.12.2008 22:02:19] MJ12node v1.6.7 (.NET 2.0) starting up
[23.12.2008 22:02:20] Loading webserver config from: C:\Program Files\Majestic-12\MJ12node\webserver.xml
[23.12.2008 22:02:23] Node will use built-in .NET HTTP library for crawling
[23.12.2008 22:02:30] Mozilla/5.0 (compatible; MJ12bot/v1.2.3; http://www.majestic12.co.uk/bot.php?+) started with 25 worker(s)
[23.12.2008 22:03:54] 23.12.2008 22:03:54 Crawler appears to be hanging, current worker: 2 with status: WaitingForResponse, URL: http://that-camping.com/camping/es/general-news/mobile-camping-meets-environmentally-friendly-standards-easier-press-release. TimeOutAbortMark: False FlushMark: False Will attempt to abort that worker.
[23.12.2008 22:04:57] 23.12.2008 22:04:57 Crawler appears to be hanging, current worker: 10 with status: WaitingForResponse, URL: http://www.quia.com/jg/722910.html. TimeOutAbortMark: False FlushMark: False Will attempt to abort that worker.


Автор: KING100N Jan 8 2009, 19:36

Решил присоединиться. В двух словах, если можно, что делает клиент (как работает)

Автор: Algon Jan 8 2009, 19:43

KING100N
Да все предельно просто: кушает столько интернета, сколько разрешиш. Занимается сканированием сайтов, список которых получает с сервера. Результаты (только текст) сжимает и отправляет на сервер. В общем обычный бот поисковика, только вариант для РВ.

Автор: KING100N Jan 8 2009, 22:51

Текст сайта сжимает?? Это все хранится у них на серваке? Неплохое же у них дисковое пространство

Автор: Rilian Jan 8 2009, 23:10

Хранится только ТЕКСТ страниц, без тегов оформления (ссылки хранятся тоже)

20 терабайт (где-то писали)

Автор: Algon Jan 8 2009, 23:10

KING100N
2x quad Xeons 2.5 Ghz, 32 GB RAM, 24 TB disks

Автор: Rilian Jan 8 2009, 23:13

QUOTE(Algon @ Jan 8 2009, 23:10) *

KING100N
2x quad Xeons 2.5 Ghz, 32 GB RAM, 24 TB disks

на самом деле там 150 машин (как пишет Алекс в интервью (в очереди на переводъ))

Автор: KING100N Jan 8 2009, 23:36

Как я понял процесс следующий: мы сканируем адреса данные с сервера, архивируем тексты сайтов и отправляем обратно на сервер. А чего ж тогда проект уже почти год длится? Что инет такой безразмерный?? И почему Google такое повторить не сможет? А поисковик Majestica уже есть??
ЗЫ А как настроить клиент на максимальную производительность, а то там столько много всего??

Автор: Algon Jan 8 2009, 23:45

KING100N
1. Ну в общих чертах процесс правильно понял.
2. Гугль тоже не за неделю возник, никто не знает точного размера инета, поскольку все постоянно меняется smile.gif
3. Может, но Гугль это коммерческая организация.
4. Поисковик есть, только пока мало что находит. На главной странице их сайта в верхнем правом углу.
5. Смотря какой у тебя канал.

Автор: KING100N Jan 8 2009, 23:51

Канал 512/512. Я имел ввиду галочки какие-то особо секретные нигде ставить не надо??
А вот и отличие от Гугла - некоммерческое предприятие (а может все вдруг изменится )

Я так смотрю у клиента две фазы: скачивание и отдача?? Очки за что начисляют?

Автор: Algon Jan 9 2009, 00:07

Очков как таковых нет, учет ведется и по количеству отсканированных страниц, и по объему переданной на сервер информации.
Для 512/512 для начала поставь 15 workers и 5 buckets. А вообще здесь с клиентом нужно повозиться, чтобы подстроить именно под свой канал. Так что наблюдай, по ходу пробуй менять настройки и смотри что получается.

Автор: Rilian Jan 9 2009, 01:20

QUOTE(KING100N @ Jan 8 2009, 23:51) *

Канал 512/512. Я имел ввиду галочки какие-то особо секретные нигде ставить не надо??
А вот и отличие от Гугла - некоммерческое предприятие (а может все вдруг изменится )


уже коммерческое. подробнее будет в переводе интервью

Автор: Algon Jan 9 2009, 01:47

Отлично... тысячи людей работали на них бесплатно, а теперь они будут продавать собранную ими информацию.

А как насчет соответствия с заявленными целями проекта?

QUOTE
By running a Majestic-12 Node you will achieve a number of worthy goals:
help the Internet community to create the search engine they control
use your otherwise idle computer and broadband connection - you paid for it, why not use it?
help science to understand the Web better
be part of the growing community that will help shape the Internet the way we want!
prove that one man counts: your contribution to the effort will be visible

So if you're interested in the starting the Distributed Search Engine Revolution... then follow me! smile.gif


И с тем, что написано в шапке этой темы?

Автор: KING100N Jan 9 2009, 23:26

QUOTE(Rilian @ Jan 9 2009, 01:20) *

QUOTE(KING100N @ Jan 8 2009, 23:51) *

Канал 512/512. Я имел ввиду галочки какие-то особо секретные нигде ставить не надо??
А вот и отличие от Гугла - некоммерческое предприятие (а может все вдруг изменится )


уже коммерческое. подробнее будет в переводе интервью


А когда будут подробности. Если это действительно все уже коммерческое amo006.gif, то я, наверное, разворот на 180

Автор: Rilian Jan 9 2009, 23:29

http://distributed.org.ua/forum/index.php?showtopic=2900

Автор: Death Jan 10 2009, 00:02

It was very, very difficult to build a large index that was close to that of Yahoo and Google. But, we built it, and early this year we launched a commercial offshoot to help us fund further R&D activities. This is what Majestic-SEO was designed for. It is the same company, but it’s our trading name that we use to position ourselves in the SEO industry.

So, what we have in Majestic-SEO is the biggest publicly available backlinks index. It allows webmasters to verify their sites and obtain extensive backlinking data for free. If you want information for your competitor websites, then you can pay to obtain reports and compare the websites. It’s essentially like Google Webmaster Tools, but you can get information on competitive sites and we show complete data.


Автор: Algon Jan 10 2009, 00:21

Занялся переводом статьи, но двигается медленно, поскольку масса специфических терминов и жаргонизмов, которые приходится уточнять.

Автор: KING100N Jan 10 2009, 00:56

Никак не могу понять конечной цели проекта st.gif . По-моему у чувака либо какая-то личная неприязнь к гуглу (показалось из того, что прочитал), либо просто решил заработать денег на людях: "вот вы мне создадите крупнейшую базу линков, а я начну на этом зарабатывать деньги devil_2.gif , а я вам за это (может быть) дам такой же поисковик как гугл или яху". Да и вообще

"Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?
Это сложный вопрос, так как на него нет единственного ответа"

- какой-то мутный ответ. Как итог вероятность 90% что с проектом завяжу(толком и не начав rolleyes.gif )

Автор: Death Jan 10 2009, 01:07

Вот так и Брин ходил по инвесторам а ему говорили - "не можем понять нах вам это надо, есть же яху..." ))))))

Автор: Rilian Jan 10 2009, 01:19

Прикол маджестика в том что вы можете написать свой алгоритм релевантности, и прикрутить его к базе. Видели сколько примеров в поисковике?

http://search.majestic12.co.uk/search.jhh?q=%D0%A3%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D1%81%D0%BA%D0%B0%D1%8F+%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%B0

Автор: Algon Jan 10 2009, 03:01

QUOTE
Alex Chudnovsky: Мы начали Majestic-SEO в феврале этого года. Раньше, когда мы начинали, мы не продавали данные, потому что эффективнее и проще было начинать с теста, позволявшего веб-мастерам заходить на наш сайт и проверять свои домены, получая информацию бесплатно. Таким образом мы получали обратную связь. В июле мы запустили новую опцию, которая позволила нашим клиентам фактически покупать отчеты по тем доменам, которые им не принадлежат. С коммерческой точки зрения мы начали деятельность в июле 2008.


В общем они сначала всем рассказывали, что проект некоммерческий, поэтому "помогите, люди добрые", а когда поняли, что именно можно продавать - тут-же решили подзаработать. Или с самого начала знали, на чем и как будут зарабатывать. Гугль по крайней мере поступил честно, не собирал с миру по нитке, а искал инвесторов. И с самого начала не скрывал, что основная цель "make money".

Автор: nikelong Jan 10 2009, 03:10

Гм...
А че, ФАД, фах, ВЦГ и остальные....они че, когда получат результаты от НАШИХ компов - положат на полочку?
Нет. И вы вы сами это знаете.

Только если найдется лекарство от болезни и Виджей Панде продав патент на выробныцтво какому нибуть "Баер"у" станет миллиардером - вы это поймете, а вот этого маджерастиуса вы непонимаете.

Почему?

Автор: Algon Jan 10 2009, 03:26

nikelong
Когда я некоторое время назад поднял этот вопрос - меня начали дружно бить smile.gif
Вопрос не в цели, а в средствах, по крайней мере для меня. Большинство проектов РВ - проекты концептуальные или теоретические. И их стоит поддерживать хотя-бы просто потому, что теоретическая наука в мире находится в глубокой ж.. censoree.gif
В проектах, результаты которых могут иметь непосредственное практическое (читать "коммерческое") применение лично у меня желания участвовать нет. А здесь ребята мягко говоря "умолчали" для чего все это затевали. Декларировалась альтернативная поисковая система, а получился лохотрон.

Я думаю, что они довольно быстро начнут платить за работу, поскольку после таких заявлений отток участников будет приличный. И им придется либо платить, либо заниматься сканированием сайтов с собственных каналов, что тоже значит "платить".
Поскольку с теми, кто останется бесплатно помогать "бедным бизнесменам" они Гугль никогда не догонят...

Автор: Death Jan 10 2009, 13:15

когда ты тонешь - предпочтительнее чтобы на берегу стояли продавцы спасательных кругов. это к вопросу о панде.

а мадж -

Мы начали Majestic-SEO в феврале этого года. Раньше, когда мы начинали, мы не продавали данные, потому что эффективнее и проще было начинать с теста, позволявшего веб-мастерам заходить на наш сайт и проверять свои домены, получая информацию бесплатно. Таким образом мы получали обратную связь. В июле мы запустили новую опцию, которая позволила нашим клиентам фактически покупать отчеты по тем доменам, которые им не принадлежат.


В Majestic-SEO собран самый большой публично доступный индекс бэклинков. Это позволяет веб-мастерам проверять свои сайты и бесплатно получать обширные данные о бэклинках. Если же Вы хотите получить информацию о вебсайтах своих конкурентов, то Вы можете заплатить для получения отчетов и сравнения вебсайтов


But, we built it, and early this year we launched a commercial offshoot to help us fund further R&D activities. This is what Majestic-SEO was designed for.

ну конечно, всем бы хотелось чтобы Алекс оплачивал 150 серваков и гигабитный канал в инет из своего кармана. даааа?

Автор: Algon Jan 10 2009, 14:54

Death
В общем это их дело, как и у нас дело каждого - как к чему-то относиться smile.gif
А серваков у них меньше 10, да и не все так радужно...

QUOTE
Вы попытались получить доступ к адресу http://search.majestic12.co.uk/search.jhh?q=distributed.net.ua, который сейчас недоступен.

Автор: nikelong Jan 10 2009, 15:12

Мне все равно, я и дальше продолжаю на полных парах считать в этом проекте за команду Украины и за страну Украину (!)

Автор: Algon Jan 10 2009, 15:24

А вот мне интересно следующее: кто-нибудь пробовал их поисковик? Если они утверждают, что уже приблизились к Yahoo, то он должен неплохо работать.
Я как-то попробовал, он вообще ничего не нашел по запросу, а украинская Мета (далеко не самый крупный поисковик) выдала 1,5 тысячи страниц.
Или у них поисковик вообще пока не работает, а только отчеты по доменам? Что-то я из интервью этого не понял...

Автор: Death Jan 10 2009, 16:01

поисковик нормально работает, просто охват конечно не такой как у яхи. ну и релевантность у гугла щитается по формуле со 100 параметрами а у маджа непонятно как.

в мадж кстати можно сабмиттить самому адреса. не нашло что-то - добавляй )))

Автор: Algon Jan 10 2009, 16:11

Эх... с одной стороны вроде проект... ээээ... малость коммерческий, а с другой nikelong прав - команда и страна должны выглядеть прилично, раз уж принимают участие.
Да и из командной 10-ки не хочется выпадать, не так просто было туда попасть smile.gif

Автор: ReMMeR Jan 10 2009, 21:24

Считаю, так как альтернативы куда деть мой скромный лишний трафик - нет.

К тому же удобной ( Снуз из теря за 1.5 секунды).

Автор: SAngel Jan 10 2009, 21:44

Лишний трафик тоже пока не вижу куда пристроить.
Продолжаю участвовать в проекте. А позже посмотрим на развитие событий.

Автор: KING100N Jan 10 2009, 23:24

QUOTE(Algon @ Jan 10 2009, 16:11) *

Эх... с одной стороны вроде проект... ээээ... малость коммерческий, а с другой nikelong прав - команда и страна должны выглядеть прилично, раз уж принимают участие.
Да и из командной 10-ки не хочется выпадать, не так просто было туда попасть smile.gif


Я тоже так подумал, поэтому когда ничего не качаю, буду запускать. Нас тут не так уж много участвует, и главное не потерять уже занятую позицию в стате.

Автор: nikelong Jan 11 2009, 18:23

Ну естественно ненужно превращать какой то проект РВ в икону.
Положительно к нему можно относится, а вот молится на него - нет.

Посему у меня мадж так работает:
а) если я за компом - мадж в 99% случаев НЕ работает, ибо я за компом = я в интернете. Не хочу себе помех.
б) если я не за компом то ситуация такая: если шото стоит на закачке - мадж не считается. Если канал простаивает - то мадж считается.

В итоге мне мадж совсем невнапряг запускать когда я сплю или не дома. И мне поф коммерческий он или нет.

Автор: nikelong Jan 12 2009, 00:43

Алекс Чудновский в интервью Эрика Энге - новая статья у нас на сайте:
http://distributed.org.ua/index.php?go=Pages&in=view&id=172

За перевод великое спасибо Алгону!

Автор: Roamer Jan 25 2009, 21:44

Всем привет!
Тоже решил помочь Команде занять достойное место в проекте! wink.gif

Автор: nikelong Jan 25 2009, 21:58

Roamer,
Приветствуем!

Но мадж - это один из немногих проектов, гдемы действительно занимаем "свое" место - т.е. в топ-12 на статистике нас почти всегда нет sad.gif.

Автор: Death Jan 30 2009, 16:47

1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?win32||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?linux||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?mac||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?freebsd||
1.6.8|Bug fix release - recommended to upgrade!||http://www.majestic12.co.uk/projects/dsearch/download.php?win32&dotnet2||


все обновляемся и врубаем.

до ежедневной топ10 на фришниках не хватает децла....

v1.6.8 29/01/09
! Change robots.txt caching logic to avoid cache HTML pages without
any useful directives that could have lead to unchecked database growth.

ну не знаю, типа важный баг.

Автор: Algon Jan 30 2009, 18:08

Расширил вдвое канал под Majestic и сутки провозился с новым клиентом. Не хотел DNS находить, сволочь sad.gif
По первым впечатлениям вроде-бы лучше работает с Framework 3.5 SP1 а не c 2.0
Очень много ошибок DNS не смотря ни на какие buben.gif

Отпишитесь пожалуйста, у кого-нибудь еще есть проблемы с DNS ?

Автор: Death Jan 30 2009, 20:34

у меня очень много таймаутов.
дотнеты стоят все.
на дотнетовской либе вообще не кравлит, а на своей библиотеке то кравлит, то таймауты. перезапуск клиента не всегда помогает.

Автор: nikelong Jan 30 2009, 22:27

У меня вообще позавчера мадж отвалился нах.

мешь на ярлык---прога стартует---и замирает на "нэтворк инициализинг корэ"....

Щя качну новую с сайта, мож поможет ....

Автор: Algon Jan 31 2009, 00:28

Новый прикол: стартует, с полчаса работает на полную, потом все больше и больше ошибок DNS и таймаутов, и так до полной остановки.
Смотрю по трафику: полный 0 и никаких попыток даже послать DNS-запросы. При этом инет на машине работает нормально, а Мадж стоит и все подряд сваливает в DNS Error. После перезапуска клиента снова полчаса работает, потом все повторяется.

Автор: Rilian Jan 31 2009, 00:37

У тебя ДНС где-то кэшируется, 100%

Автор: Algon Jan 31 2009, 00:47

Rilian
Хм... объясни пожалуйста, как кеширование DNS может приводить к таким результатам?

До этого все нормально работало через проксю на локалхосте (и с локальным DNS-сервером), сейчас уже чего только не пробовал: отрубание прокси заодно с фаером, перевод DNS на провайдерские и openDNS не дают абсолютно никакого эффекта. Даже модем пробовал и роутером, и бриджем, и сбрасывал аппаратно, и ставил другой. Сейчас машина висит в инете без всякой защиты и прибамбасов, результат отсутствует. У меня идей больше нет, кроме переустановки оси, но на это я не пойду, уж слишком много гемора... idontno.gif

Автор: Death Jan 31 2009, 00:53

Algon, попробуй вырубить библиотеку дотнета и использовать родную маджевскую.
через что выходишь в инет?

Автор: Algon Jan 31 2009, 00:58

Death
Поставил родную библиотеку, результат (или его отсутствие) будет известен через примерно час.
Мадж работает на канале от УТК, ОГО-4. Модем D-Link 2640, пробовал Zyxel, та-же картина.

Автор: nikelong Jan 31 2009, 01:08

Короче дело дрянь nike.gif

Снес старый клиент, поставил снуля 1.6.8 - та же теория:
при запуске "инитцализинг нэтворк корэ, плий уэйт" ... я уэйт уже 10 минут а оно и вус не дует nike.gif

Короче, это какая-то диверсия. nike.gif

Автор: Algon Jan 31 2009, 01:14

nikelong
Каталог потом чистил? При сносе инсталлятором он там кучу всего оставляет.
А вообще что-то слишком много и слишком разнообразных глюков. Чем объяснить - лично я не знаю, но проблемы сразу у нескольких человек это странно.

Автор: nikelong Jan 31 2009, 01:31

Кстати по поводу пингов: у укртелекома сейчас такая жопа..... (с)
Так что превышение по тайм ауту потому что ОГО ковбасид ...
А вот какого хя у меняя сам клиент ковбасид - для меня загадка.

Каталог почищу но завтра. На сегодня уже хватит мороки....

Автор: Algon Jan 31 2009, 01:50

nikelong
Ого уже с полгода колбасит, то одно, то другое лагает. Я уже даже привык, хоть и матерюсь, когда новый трабл обнаруживается smile.gif

Автор: Death Jan 31 2009, 02:15

А Алекс так в интервью распинался про то как они реагируют на запросы пользователей...

А мой запрос на форуме про то что надо добавить 5 тлд в клиента - полгода не могут решить. уже наверное 6 - .ме добавился. и .азия. 7 получается.

и ещё - он ни разу не сказал спасибо кранчерам (( сказал "я офигел когда узнал что они запускают нашего клиента и денег не берут". у меня осталось впечатление что фразу "во лохи" просто выкинули из интервью.

Algon, Board ID: DSL-2540U
Software Version: RU_DSL-2540U_1.00_01112008
Bootloader (CFE) Version: 1.0.37-8.7

ого 2+

пока колбасит с 8 вечера без вылетов. средняя скорость 1100 на графике.

НИПАНЯТНА!

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 138 433 (100,0%)
Successes : 117 210 (84,7%)
Not found : 3 701 (2,7%)
Timed out : 4 724 (3,4%)
Disallowed : 1 916 (1,4%)
Banned : 0 (0.0%)
DNS errors : 8 395 (6,1%)
Conn errors : 1 252 (0,9%)
Forbidden (403): 273 (0,2%)
Other : 1 036 (0,7%)
Retries : 0 (0,0%)
Uptime : 5 hours 38 mins 24 secs
Memory usage : 54 MB
GZIP requests : 47 425 (34,3% of successes)
GZIP saved data: 1 522 MB (34,5% of total)

кстати, попереключай графики... мож чё увидишь...

Автор: Algon Jan 31 2009, 02:27

А может просто задания такие идут? Я смотрю у меня большинство заданий - прощупывание разных доменов на предмет robots.txt, причем по порядку, типа aaa.kz, aab.kz, aac.kz и так далее. Естественно, что большого количества их вообще в природе не существует, отсюда и ошибки DNS. На внутренней библиотеке вроде пока стабильнее работает.

З.Ы. Алекс молодец, его фунты интересуют, а не какие-то отвлеченные понятия spiteful.gif

Автор: Rilian Jan 31 2009, 10:22

Там есть спасибо на форуме. И там люди не сидят на чемоданах с деньгами, дело немного сложнее чем кажется

вобщем кто знает английский, читайте оф форум

Автор: Death Jan 31 2009, 11:54

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 413 039 (100,0%)
Successes : 266 601 (64,5%)
Not found : 7 378 (1,8%)
Timed out : 39 494 (9,6%)
Disallowed : 4 158 (1,0%)
Banned : 2 (0,0%)
DNS errors : 88 119 (21,3%)
Conn errors : 4 015 (1,0%)
Forbidden (403): 276 (0,1%)
Other : 5 303 (1,3%)
Retries : 0 (0,0%)
Uptime : 15 hours 16 mins 45 secs
Memory usage : 20 MB
GZIP requests : 101 528 (24,6% of successes)
GZIP saved data: 3 193 MB (31,4% of total)

Автор: Rilian Jan 31 2009, 11:58

Советую в клиенте маджа выставить кэш ДНС побольше

Автор: Algon Jan 31 2009, 12:41

Rilian
Да чего-то до лампочки все настройки. На некоторых блоках ни одной DNS-ошибки, на некоторых больше половины, а на некоторых из 10 тысяч адресов только десяток удачных запросов, а остальное ошибки DNS. Видимо сейчас обрабатываются области, о которых нет данных и идет просто перебор возможных вариантов имен доменов.
Я уже выставил повторы неудачных запросов, максимальные таймауты и все остальные настройки по максимуму. В итоге канал 4 мегабита используется всего на 25% sad.gif

Автор: nikelong Jan 31 2009, 12:51

Algon,

В итоге канал 4 мегабита используется всего на 25% sad.gif

Увеличь в 4 раза количество воркеров (ну и в 2 раза - букетов).

Автор: Algon Jan 31 2009, 13:07

Max allowed workers: 100
Active workers 20-30, не больше

Maximum open URL buckets: 30
Активно целых 6...

Статистика по клиенту примерно такая-же, как у Death

Downloading overall 1083

И это что на канале в 4, что в 8 мегабит sad.gif



Автор: nikelong Jan 31 2009, 13:54

Max allowed workers: 100 - а если 150? а если 200?
Active workers 20-30, не больше. Почему?

Автор: Algon Jan 31 2009, 14:54

nikelong
Поставил 150, количество активных поднялось до 50, средняя загрузка канала 1,3 мегабита. Почему так - понятия не имею.
Если есть желание поковыряться - могу открыть доступ к интерфейсу по HTTP.

Автор: Algon Feb 2 2009, 04:19

Downstream Rate (KBits)
Current: 3 971
Overall: 3 467
Limit: 4 096

Crawling
Total URLs: 33 309 (100,0%)
Successes: 30 445 (91,4%)
Not found: 1 879 (5,6%)
Timed out: 58 (0,2%)
Disallowed: (MJ12bot) 50 (0,2%) (0 (0.0%))
Banned: 1 (0,0%)
DNS errors: 19 (0,1%)
Conn errors: 162 (0,5%)
Forbidden (403): 0 (0.0%)
Other (details): 695 (2,1%)
Retries: 0 (0,0%)

Нечего не понимаю idontno.gif fool.gif mad2.gif st.gif Два варианта: или у Маджестика закончились "левые" задания, или УТК наконец-то раздуплился. Посмотрим, надолго ли...
Черт. А я уже собрался выбрасывать Маджестик и ставить Даймс sad.gif

И еще: подскажите пожалуйста, запросы robots.txt идут в общую статистику или нет? В клиенте они вообще не учитываются, а у меня таких 3/4.

Автор: nikelong Feb 2 2009, 11:31

Algon,


Черт. А я уже собрался выбрасывать Маджестик и ставить Даймс


Вполне себе одновременно работают на одном компе и не конфликтуют!

ЗЫ: моя проблема таки решилась полной переустановкой клиента

Автор: Death Feb 2 2009, 15:22

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 1 091 946 (100,0%)
Successes : 723 018 (66,2%)
Not found : 39 222 (3,6%)
Timed out : 24 964 (2,3%)
Disallowed : 11 284 (1,0%)
Banned : 346 (0,0%)
DNS errors : 276 563 (25,3%)
Conn errors : 2 807 (0,3%)
Forbidden (403): 475 (0,0%)
Other : 17 321 (1,6%)
Retries : 690 (10,3%)
Uptime : 2 days 22 hours 37 mins 46 secs
Memory usage : 47 MB
GZIP requests : 322 570 (29,5% of successes)
GZIP saved data: 11 647 MB (40,9% of total)

Автор: Roamer Feb 14 2009, 04:56

У норвежцев появился весёлый крендель :

http://www.majestic12.co.uk/projects/dsearch/userinfo.php?id=1478

Кого-то он мне напоминает. wink.gif

З.Ы. Интересные у него параметры канала и кол-во отправленных Mb.

Автор: Death Feb 14 2009, 14:13

кстати, советую всем в настройках поставить галку только напротив ЮА доменов.

чтобы в первую очередь получать местные домены.
если нет местных, всё равно выдаются другие, но с местными получается быстрее немного.

Автор: Roamer Mar 3 2009, 13:37

Парни, проверьте свои настройки в Majestic-е .

советую всем в настройках поставить галку только напротив ЮА доменов.

Death абсолютно прав !
У меня провайдер рубит канал до 1Mbit или 2.5Mbit, если урлы зарубежные,
но когда идут украинские сайты то канал становится 6-12Mbit ! (при оплаченных по договору 5Mbit unlim) shuffle.gif

nikelong и nick4eva - у вас не очень хорошая статистика, посмотрите что с клинтом на машинах.
Состояние на 03 Mar 2009 10:00:09:733 GMT :

32 nikelong 671,136 3,482
33 TTT 633,589 19,126
34 phertl 612,223 17,378
35 Vallu 609,121 16,742
36 lomovoi 581,448 19,587
37 neo 578,677 4,313
38 kadidle 547,874 15,327
39 Morked 516,517 15,969
40 opyrt 515,557 9,029
41 Venty 468,172 11,751
42 Elrond[NL] 440,580 12,572
43 PaladinRPG 437,996 11,110
44 nick4eva 433,225 4

Автор: Death Mar 3 2009, 14:06

щас Украина кончается.

попёрли Афганистан и аэро домены ((((( жуть.....

кто ещё не проверил?

и да, если вы оставляете мадж кранчить без вас и без закачек, ставьте лимит на мегабит больше чем у вас реальни канал.
у меня ого2, стоит лимит 3000. средняя загрузка 1400-1600

Автор: nikelong Mar 3 2009, 16:33

Death абсолютно прав !
У меня провайдер рубит канал до 1Mbit или 2.5Mbit, если урлы зарубежные,
но когда идут украинские сайты то канал становится 6-12Mbit ! (при оплаченных по договору 5Mbit unlim)


Я на ОГО, так шо мне пофигу зарубеж или Украина.
Но ок, поставлю тока УА домена...

nikelong и nick4eva - у вас не очень хорошая статистика, посмотрите что с клинтом на машинах.

А я ипу? Вопервых я щЯс немогу посмотреть, во вторых настройки не менялись. Оно две недели краничт норм, потом за что на свете, уважаемыек - и отакой стат выдает. Глянь на статистику моих сливовв, поймешь о чем я.

у меня ого2, стоит лимит 3000. средняя загрузка 1400-1600

А у меня ого2, стоит лимит 17хх. средняя загрузка 1400-1600 rofl.gif

Автор: Rilian Mar 3 2009, 16:35

Нике, Дес, а сколько воркеров?

Автор: nikelong Mar 3 2009, 16:38

Сто.

Автор: Death Mar 3 2009, 20:57

пиццот ))))))))))


полста и 8 букетов.

Автор: nikelong Mar 3 2009, 21:20

Заметил что должно быть Количество букетов = (количество воркеров)/10
Иначе "нехватает"
Поэтому если у тебя 150 воркеров то должно быть не 8 а 15 букетов.

Автор: Death Mar 3 2009, 22:26

полста = 50



nikelong, у тебя не пишет в логе увеличьте число букетов?
кинь лог свой....

надо на 6-7 делить имха

Автор: Roamer Mar 3 2009, 22:53

У меня выставлены 50 bucket-ов и 240 worker-ов, кэш на 50 bucket-ов (когда украинские урлы).
Когда идут зарубежные, тогда 20 bucket-ов и 80 worker-ов (на скорости 1Mbit) и 20 bucket-ов и 160 worker-ов (2.5 Mbit).
Я подкключен к "домовой" сети - у провайдера между домами лежит оптоволокно, а внутри домов - витая пара. Внутри сети скорость 100 Mbit, а наружу - в зависимости от пакета (у меня 5 Mbit unlim). Случайно заметил, что украинские сайты у провайдера определяются почти как внутисетевые, поэтому и выставил скорость соединения в 4 раза больше, чем указано в договоре. Как ни странно, но получилось ! Уже два дня идут наши сайты, поэтому скорость держится в пределах 6-32 Mbit ! Уже подключил комп друга (у него этот же провайдер), на днях прицеплю ещё одну машинку. Так что, кто живет на Оболони или на Харьковском - подключайтесь к IPnet - Воля и УкрТелеком отдыхают !
Ограничение на download у меня 20 480 Kbit (20 Mbit), а на upload 5 120 Kbit (5 Mbit). sarcastic.gif

Автор: nikelong Mar 9 2009, 19:15

Masquer!

Может стоит написать где то на оффоруме, что бы тебе восстановили пароль?

А то некошерно сливать по миллиону в день и не на страну sad.gif

Автор: Algon Mar 17 2009, 07:36

Маджестик глюкнул не по-детски sad.gif
Развернул файл peer.db на 74 гигабайта, сожрал все свободное место на диске C, загрузил проц на 100% и в таком состоянии повис...
После убийства каталога data пока вроде работает нормально...

Автор: Rilian Mar 17 2009, 11:35

какието подробности еще есть? версия? ось? итд

я отпишу на оф форуме

Автор: Algon Mar 17 2009, 13:27

Rilian
Версия 1.6.8 (Net 2.0)
Vista x64
Последняя запись лога:

(Show/Hide)

[16.03.2009 17:36:44] Exception inside main crawl loop (Worker #64): BucketID=0 URL: Status: StarvingSystem.Exception: System.Exception: Can't execute query 'pn_select_urlbuckets_by_status_and_order_by': database disk image is malformed - - SQL:
в Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, Object[] asParams)
в Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
в Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
в Majestic12.EasyDB.ExecQueryByNameAndTran(String sQueryName, String sTranID, Object[] asParams)
в Majestic12.EasyDB.ExecQueryByName(String sQueryName, Object[] asParams)
в Majestic12.p_SQL.SelectURLbucketsByStatusAndOrderBy(EasyDB oEasyDB, PeerNodeURLbucketStatus oStatus, String sOrderSQL)
в Majestic12.WebCrawler.GetNextURL(WebCrawlerWorker p_oWorker, Hashtable oDomainsToIgnore, Hashtable oIPsToIgnore, Hashtable oBucketWorkers, Int32 iRecursionLevel)
в Majestic12.WebCrawler.GetNextURL(WebCrawlerWorker p_oWorker)
в Majestic12.WebCrawler.CrawlHandleStatus_Starving(WebCrawlerWorker oWorker)
в Majestic12.WebCrawler.Crawl()

Автор: Rilian Mar 17 2009, 13:37

на всякий случай, какие домены 1 уровня ты кравлил?

Автор: Rilian Mar 17 2009, 13:46

на оф форуме есть про это тема от 27 января - на текущей базе урлов может встречаться такая проблема... вот тут http://www.majestic12.co.uk/forum/viewtopic.php?t=3397

Автор: Algon Mar 17 2009, 14:06

Rilian
Понятия не имею, что кравлилось в тот момент, у меня разрешены почти все зоны.
Ладно, черт с ним. Если повторится - отправлю им 74-гигабайтный файл, пусть разбираются wink.gif

Автор: Rilian Mar 17 2009, 14:08

Алексей пишет что peer.db контроллируется по этому поводу в версии 1.6.8

У тебя точно новая версия?

Автор: Death Mar 17 2009, 15:38

домены юа пока закончились (( ком нет орг валят (((

Invision Power Board
© Invision Power Services