Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[Rilian]

Нике, Дес, а сколько воркеров?

[nikelong]

Сто.

[Death]

пиццот ))))))))))


полста и 8 букетов.

[nikelong]

Заметил что должно быть Количество букетов = (количество воркеров)/10
Иначе "нехватает"
Поэтому если у тебя 150 воркеров то должно быть не 8 а 15 букетов.

[Death]

полста = 50



nikelong, у тебя не пишет в логе увеличьте число букетов?
кинь лог свой....

надо на 6-7 делить имха

[Roamer]

У меня выставлены 50 bucket-ов и 240 worker-ов, кэш на 50 bucket-ов (когда украинские урлы).
Когда идут зарубежные, тогда 20 bucket-ов и 80 worker-ов (на скорости 1Mbit) и 20 bucket-ов и 160 worker-ов (2.5 Mbit).
Я подкключен к "домовой" сети - у провайдера между домами лежит оптоволокно, а внутри домов - витая пара. Внутри сети скорость 100 Mbit, а наружу - в зависимости от пакета (у меня 5 Mbit unlim). Случайно заметил, что украинские сайты у провайдера определяются почти как внутисетевые, поэтому и выставил скорость соединения в 4 раза больше, чем указано в договоре. Как ни странно, но получилось ! Уже два дня идут наши сайты, поэтому скорость держится в пределах 6-32 Mbit ! Уже подключил комп друга (у него этот же провайдер), на днях прицеплю ещё одну машинку. Так что, кто живет на Оболони или на Харьковском - подключайтесь к IPnet - Воля и УкрТелеком отдыхают !
Ограничение на download у меня 20 480 Kbit (20 Mbit), а на upload 5 120 Kbit (5 Mbit).

[nikelong]

Masquer!

Может стоит написать где то на оффоруме, что бы тебе восстановили пароль?

А то некошерно сливать по миллиону в день и не на страну

[Algon]

Маджестик глюкнул не по-детски
Развернул файл peer.db на 74 гигабайта, сожрал все свободное место на диске C, загрузил проц на 100% и в таком состоянии повис...
После убийства каталога data пока вроде работает нормально...

[Rilian]

какието подробности еще есть? версия? ось? итд

я отпишу на оф форуме

[Algon]

Rilian
Версия 1.6.8 (Net 2.0)
Vista x64
Последняя запись лога:

(Show/Hide)

[16.03.2009 17:36:44] Exception inside main crawl loop (Worker #64): BucketID=0 URL: Status: StarvingSystem.Exception: System.Exception: Can't execute query 'pn_select_urlbuckets_by_status_and_order_by': database disk image is malformed - - SQL:
в Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, Object[] asParams)
в Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
в Majestic12.EasyDB.intExecQuery(String sQueryName, ArrayList oQueries, String sTranID, Object[] asParams)
в Majestic12.EasyDB.ExecQueryByNameAndTran(String sQueryName, String sTranID, Object[] asParams)
в Majestic12.EasyDB.ExecQueryByName(String sQueryName, Object[] asParams)
в Majestic12.p_SQL.SelectURLbucketsByStatusAndOrderBy(EasyDB oEasyDB, PeerNodeURLbucketStatus oStatus, String sOrderSQL)
в Majestic12.WebCrawler.GetNextURL(WebCrawlerWorker p_oWorker, Hashtable oDomainsToIgnore, Hashtable oIPsToIgnore, Hashtable oBucketWorkers, Int32 iRecursionLevel)
в Majestic12.WebCrawler.GetNextURL(WebCrawlerWorker p_oWorker)
в Majestic12.WebCrawler.CrawlHandleStatus_Starving(WebCrawlerWorker oWorker)
в Majestic12.WebCrawler.Crawl()

[Rilian]

на всякий случай, какие домены 1 уровня ты кравлил?

[Rilian]

на оф форуме есть про это тема от 27 января - на текущей базе урлов может встречаться такая проблема... вот тут http://www.majestic12.co.uk/forum/viewtopic.php?t=3397

[Algon]

Rilian
Понятия не имею, что кравлилось в тот момент, у меня разрешены почти все зоны.
Ладно, черт с ним. Если повторится - отправлю им 74-гигабайтный файл, пусть разбираются

[Rilian]

Алексей пишет что peer.db контроллируется по этому поводу в версии 1.6.8

У тебя точно новая версия?

[Death]

домены юа пока закончились (( ком нет орг валят (((