Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[Death]

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 413 039 (100,0%)
Successes : 266 601 (64,5%)
Not found : 7 378 (1,8%)
Timed out : 39 494 (9,6%)
Disallowed : 4 158 (1,0%)
Banned : 2 (0,0%)
DNS errors : 88 119 (21,3%)
Conn errors : 4 015 (1,0%)
Forbidden (403): 276 (0,1%)
Other : 5 303 (1,3%)
Retries : 0 (0,0%)
Uptime : 15 hours 16 mins 45 secs
Memory usage : 20 MB
GZIP requests : 101 528 (24,6% of successes)
GZIP saved data: 3 193 MB (31,4% of total)

[Rilian]

Советую в клиенте маджа выставить кэш ДНС побольше

[Algon]

Rilian
Да чего-то до лампочки все настройки. На некоторых блоках ни одной DNS-ошибки, на некоторых больше половины, а на некоторых из 10 тысяч адресов только десяток удачных запросов, а остальное ошибки DNS. Видимо сейчас обрабатываются области, о которых нет данных и идет просто перебор возможных вариантов имен доменов.
Я уже выставил повторы неудачных запросов, максимальные таймауты и все остальные настройки по максимуму. В итоге канал 4 мегабита используется всего на 25%

[nikelong]

Algon,

В итоге канал 4 мегабита используется всего на 25% sad.gif

Увеличь в 4 раза количество воркеров (ну и в 2 раза - букетов).

[Algon]

Max allowed workers: 100
Active workers 20-30, не больше

Maximum open URL buckets: 30
Активно целых 6...

Статистика по клиенту примерно такая-же, как у Death

Downloading overall 1083

И это что на канале в 4, что в 8 мегабит

[nikelong]

Max allowed workers: 100 - а если 150? а если 200?
Active workers 20-30, не больше. Почему?

[Algon]

nikelong
Поставил 150, количество активных поднялось до 50, средняя загрузка канала 1,3 мегабита. Почему так - понятия не имею.
Если есть желание поковыряться - могу открыть доступ к интерфейсу по HTTP.

[Algon]

Downstream Rate (KBits)
Current: 3 971
Overall: 3 467
Limit: 4 096

Crawling
Total URLs: 33 309 (100,0%)
Successes: 30 445 (91,4%)
Not found: 1 879 (5,6%)
Timed out: 58 (0,2%)
Disallowed: (MJ12bot) 50 (0,2%) (0 (0.0%))
Banned: 1 (0,0%)
DNS errors: 19 (0,1%)
Conn errors: 162 (0,5%)
Forbidden (403): 0 (0.0%)
Other (details): 695 (2,1%)
Retries: 0 (0,0%)

Нечего не понимаю Два варианта: или у Маджестика закончились "левые" задания, или УТК наконец-то раздуплился. Посмотрим, надолго ли...
Черт. А я уже собрался выбрасывать Маджестик и ставить Даймс

И еще: подскажите пожалуйста, запросы robots.txt идут в общую статистику или нет? В клиенте они вообще не учитываются, а у меня таких 3/4.

[nikelong]

Algon,

Черт. А я уже собрался выбрасывать Маджестик и ставить Даймс

Вполне себе одновременно работают на одном компе и не конфликтуют!

ЗЫ: моя проблема таки решилась полной переустановкой клиента

[Death]

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 1 091 946 (100,0%)
Successes : 723 018 (66,2%)
Not found : 39 222 (3,6%)
Timed out : 24 964 (2,3%)
Disallowed : 11 284 (1,0%)
Banned : 346 (0,0%)
DNS errors : 276 563 (25,3%)
Conn errors : 2 807 (0,3%)
Forbidden (403): 475 (0,0%)
Other : 17 321 (1,6%)
Retries : 690 (10,3%)
Uptime : 2 days 22 hours 37 mins 46 secs
Memory usage : 47 MB
GZIP requests : 322 570 (29,5% of successes)
GZIP saved data: 11 647 MB (40,9% of total)

[Roamer]

У норвежцев появился весёлый крендель :

http://www.majestic12.co.uk/projects/dsear...nfo.php?id=1478

Кого-то он мне напоминает.

З.Ы. Интересные у него параметры канала и кол-во отправленных Mb.

[Death]

кстати, советую всем в настройках поставить галку только напротив ЮА доменов.

чтобы в первую очередь получать местные домены.
если нет местных, всё равно выдаются другие, но с местными получается быстрее немного.

[Roamer]

Парни, проверьте свои настройки в Majestic-е .

советую всем в настройках поставить галку только напротив ЮА доменов.

Death абсолютно прав !
У меня провайдер рубит канал до 1Mbit или 2.5Mbit, если урлы зарубежные,
но когда идут украинские сайты то канал становится 6-12Mbit ! (при оплаченных по договору 5Mbit unlim)

nikelong и nick4eva - у вас не очень хорошая статистика, посмотрите что с клинтом на машинах.
Состояние на 03 Mar 2009 10:00:09:733 GMT :

32 nikelong 671,136 3,482
33 TTT 633,589 19,126
34 phertl 612,223 17,378
35 Vallu 609,121 16,742
36 lomovoi 581,448 19,587
37 neo 578,677 4,313
38 kadidle 547,874 15,327
39 Morked 516,517 15,969
40 opyrt 515,557 9,029
41 Venty 468,172 11,751
42 Elrond[NL] 440,580 12,572
43 PaladinRPG 437,996 11,110
44 nick4eva 433,225 4

[Death]

щас Украина кончается.

попёрли Афганистан и аэро домены ((((( жуть.....

кто ещё не проверил?

и да, если вы оставляете мадж кранчить без вас и без закачек, ставьте лимит на мегабит больше чем у вас реальни канал.
у меня ого2, стоит лимит 3000. средняя загрузка 1400-1600

[nikelong]

Death абсолютно прав !
У меня провайдер рубит канал до 1Mbit или 2.5Mbit, если урлы зарубежные,
но когда идут украинские сайты то канал становится 6-12Mbit ! (при оплаченных по договору 5Mbit unlim)

Я на ОГО, так шо мне пофигу зарубеж или Украина.
Но ок, поставлю тока УА домена...

nikelong и nick4eva - у вас не очень хорошая статистика, посмотрите что с клинтом на машинах.

А я ипу? Вопервых я щЯс немогу посмотреть, во вторых настройки не менялись. Оно две недели краничт норм, потом за что на свете, уважаемыек - и отакой стат выдает. Глянь на статистику моих сливовв, поймешь о чем я.

у меня ого2, стоит лимит 3000. средняя загрузка 1400-1600

А у меня ого2, стоит лимит 17хх. средняя загрузка 1400-1600