Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[rrappee]

+1
расказывай

[masquer]

дык все уже рассказал ) те, кто посмелее, уже написали в приват и получили патченую длл-ку ) открыто выкладывать не буду - надо же команде какое-то преимущество иметь

[SlavaAltus]

masquer, сенкс

[nikelong]

masquer,
Да, спасибо. Вечером попробую и посмотрю стоит ли овчинка вычинки (!)

[Death]

http://torrents.net.ua/forum/viewtopic.php?p=1982965#1982965 бдыщ!

кто на тну зареган - давайте комментируйте ))))

[masquer]

может я ошибаюсь, но я пришел к выводу, что для высокоскоростного соединения (выше 20 мбит), клиент в нынешнем виде не подходит - от одной копии в лучшем случае можно получить 20-30 мбит, от двух и больше - канал загрузить-то можно, но при этом полчаса мы что-то там качаем, остальные полчаса ничего не качается а только архивируется и отсылается. Что хотелось бы - все (или почти все) делать в памяти - сейчас 4 гига оперативы совсем не экзотика, накачали 200-300 мб, проиндексировали, сжали-отправили, пока идет фаза сжатия отправки - качаем остальные 200-300 мб, какой-то объем памяти идет на сжатие и индексация, итого занято порядка одного гига. При бОльшем объеме памяти увеличиваем порции. Либо, что еще лучше, сжимаем, складируем, по достижении какого-то лимита потоков в 20-30 (в зависимости от скорости аплоада) отгружаем.

[Roamer]

Появилась новая стабильная версия : MJ12node v1.7 (релиз - 5 февраля )

[Death]

masquer, там есть НАСТРОЙКИ )))

выставь сколько надо.....

[Death]

не можете получить больше ведёрок? значит у вас проблема!

Алекс токошо написал

Posted: Tue Feb 08, 2011 10:35 pm Post subject: NotMoreURLsAvailable - can mean different thing Reply with quote
I just dealt with one issue related to node getting NotMoreURLsAvailable when there were plenty of buckets, the reason was this:

1) node was issued max allowed buckets - 200

2) there was a crash on PC and data directory was deleted, so node was empty

3) new server remembered what was issued and refused to issue more - in such cases these buckets would expire and get issued to other nodes (improvement compared to old server), however for normal non-priority recrawl buckets this expiry period is 7 days - this is to give good time for crawl to complete.

We are going to think tomorrow what we can do about those situations - for now if you deleted data directory and get this message then please tell me and I'll force buckets manually for you.

[Death]

ночью качайте новую версию 1.7.1

С улучшенным отчётом об ошибках. Достало сообщение номореурлс?

Сегодня!

[Death]

впс это не только ценный ппд

это ещё и 2-3 миллиона урлов в маджестике

MJ12node : v1.7.0
Platform : Mono build running on Unix 2.6.35.22
Total URLs : 2,628,019 (100.0%)
Successes : 2,029,364 (77.2%)
Not found : 97,469 (3.7%)
Timed out : 25,422 (1.0%)
Disallowed : 49,682 (1.9%)
Banned : 10,244 (0.4%)
DNS errors : 213,145 (8.1%)
Conn errors : 101,356 (3.9%)
Forbidden (403): 57,750 (2.2%)
Other : 44,783 (1.7%)
Retries : 0 (0.0%)
Uptime : 4 days 4 hours 34 mins 12 secs

[Death]

5k get! PWND!!!!!!!



Итак, мои дорогие линуксоиды, вы всё-таки созрели чтобы подрубить корпоративный почтовик\инет\прокси\файервол к этому замечательноему проекту.

Что нам надо для этого?

1. моно - библиотека заменяющая дотнет на линупсах.

2. wget http://refic.psimerion.org/bundle.tar

3. tar xf bundle.tar

Do _not_ extract it over a previous node, use a clean directory!

4. ./run.py

WOOHOO!!

[Death]

Маджестик платит участникам!

http://www.majestic12.co.uk/dcp.php

введите свой ид и узнайте сколько денег вам причитается!

[Rilian]

If it happens (totally speculative, completely theoretical not-guaranteed in any way Majestic-12 Ltd payout (dividends/sale)): £20,000,000 (GBP)
User share of theoretical payout: £360 (GBP)

[Rilian]

Ладно, поставлю кравлиться

На маке завелось за 3 минуты