Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[CryAngel]

CryAngel,
добро пожаловать в Команду !

Спс. Буду помогать по мере возможности =). Паралельно перебираю процессорные проекты - пока остановился на Rosetta@home.

[(_KoDAk_)]

наткнулся что минимальным требованием является 1000 Мб на диске где он лежит

[Rilian]

наткнулся что минимальным требованием является 1000 Мб на диске где он лежит

это настраивается

[nikelong]

Какие порекоммендуете выставить задержки для оптимальной работы маджестика (ну и ДАЙМСа) ?

По дэфолту в роутере стоят такие:

[Death]

Behold mortal before history of MJ12node!

Unless specifically stated all comments relate to all builds of the node.

TODO: ! Add option for Mono builds to use Linux NICE to set nice priority for external archiving
TODO: ! Add option to ONLY receive preferred domains

v1.6.9 02/06/09

+ Added ability to Bucket Watcher to return "bad buckets" that will be temporarily taken out of crawl until review
+ Added Worker Statuses back to charts
! Fixed case when high number of workers can't get urls to crawl and trying to do so will use a lot of CPU
! Updated Open DNS IP for failed DNS lookups bad servers: this will show up as increase in DNS errors but it is inconsequential
! Bucket hash can now be copied to clipboard easily from Bucket Watcher
! Fixed visual artefact for IP addresses in Buckets watcher
! Windows GUI now saves/restores last viewed Tab and chart view params
! Maximum reserve buckets increased to 500
! Ctrl-P now brings up Profiles screen on Win nodes
! Web GUI now clarifies options changing which requires restart for them to take effect
! Reduced default barrel crawling buffer (per bucket) to 1 MB
! Removed unnecessary warning about inability to save cached urls (auto retried)
! Comboboxes on Windows client now have disabled user-editing
! Windows node Opened buckets Grid now uses plain numbers to enable correct sorting
! Adjusted space for Traffic figures on Windows nodes to accomodate more numbers
! Changed crawler's version to v1.2.5
! Decreased period after which new list of banned sites is checked

[nikelong]

Хозяйке на заметку: маджестик не может загрузить на 100% канал ОГО 8мбит.

Дело в том что мегабит на отдачу не успевает отправлять то что скачало 8 Мбит на прием. Поэтому размер неотправленых букетов с каждым часом только растет.

На глаз максимально с чем справляется мегабит на отдачу - это 5 Мбит на прием. А то и 4 мбита ...

[Death]

а что, в 8 раз не жмёт?

[Freesom]

один мегабит аплоада кушается при 20 мегабитах даунлоада, так что тут либо сайты попадаются несжимаемые, либо проблема не в этом...

[nikelong]

http://mj12.sonnigelichtung.de/

[Death]

вішла бета 1.7.0

ищите на оффоруме.

[Roamer]

SinISt, ekonomist ,
приветствуем в Команде !

З.Ы. Наконец-то перевалили за посотни мемберов !

[EKONOMIST]

Решил оказать посильную помощь команде, пустил параллельно торрентам, причем сумма их скоростей превышает оговоренный контрактом лимит на ~15-20 а то и 30%, как я и предвидел

[Death]

а дома так сцуко и не заработал ((((((

а дома так сцуко и не заработал ((((((

[(_KoDAk_)]

Death, спс 170 опять работает
ато 169 все испортила

[nikelong]

Вот, некропостю, зато интересно чуваг написал:

Я не могу участвовать в проекте потому, что Корбина блокирует инет примерно через час работы клиента.
Любые объяснения саппорту о том, что я считаю, бесполезны, так как это работа какой-то автоматической программы и исключений они сделать не могут.
Сейчас пока стоит Стрим, в нём не блокируют, но у меня скорость небольшая. Жду подключения OnLime.

По поводу проекта что скажу:
С момента последнего обсуждения в этой теме сделано довольно-таки прилично.
1. Скорость индексации у проекта сейчас составляет примерно 500мбит/с (полная статистика здесь http://mj12.sonnigelichtung.de)
2. Проект проиндексировал около 350 миллиардов урлов, что уже в 2 раза больше бд яху
http://www.majestic12.co.uk/forum/viewtopic.php?t=3332
3. Открыт проект majesticseo.com , который на платной основе предоставляет вэбмастерам работу с базой данных проекта и выдаёт полный анализ сайта(можно изучать конкурентов). Свой сайт можно анализировать бесплатно. Этим проект зарабатывает деньги на свои нужны.
4. Почти завершён переход проекта в юридическое русло, создание юр. лица, выпуса акций и распределения акций между участниками проекта, чтобы они могли получать дивиденды и принимать решения по дальнейшему развитию проекта.
К слову сказать, есть определённая скорость индексации, при достижении которой проект закроет доступ новым участникам, так как если скорость индексиции будет слишком высока, вэбмастеры могут начать жаловаться на слишком частые посещения их сайта ботом и повышение трафика. Правда, этот предел где-то в 20 раз быстроее, чем индексируется сейчас.
5. Проект теперь имеет свой офис вот здесь: http://www.astonsciencepark.co.uk/
6. Проектом заинтересовалась какая-то компания. Сейчас она помогла новым сервером и жёсткими дисками для хранения бд. Ещё она поможет в разработке более современных алгоритмов поиска для самой поисковой системы прокта. К сожалению, не помню точно что там об этом Алекс писал и на каких условиях всё это делается, как найду - напишу.
7. Было сделано очень много в написании клиента. С последнего обсуждения в этом топике было реализовано где-то 4 новые версии клиента + вовсю собираются предложения на будущую.

В общем о проекте лично свои ощущения:
Есть много вопросов по возможности реализации нормальной поисковой система, по алгоритмам поиска, ранжированию сайтов, возможностям для вэбмастеров, коммерческой стороны вопроса и т.п но всё это нивелируется личностью автора проекта, если честно. Человек работает каждый день, ведёт дневник, отчитывается о любом изменении, общается с пользователями - чего стоять его 18000 сообщений на форуме. И когда видишь такое трудолюбие, как-то сразу начинает казаться, что все проблемы всё равно будут решеныIMAGE + автор наш соотечественник, что лично у меня вызывает к проекту ещё больший интерес.

И интересно было бы посмотреть на тандем проектов маджестик12 и интелледженс реалм в создании интеллектуальной поисковой системы IMAGE