Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[Algon]

Расширил вдвое канал под Majestic и сутки провозился с новым клиентом. Не хотел DNS находить, сволочь
По первым впечатлениям вроде-бы лучше работает с Framework 3.5 SP1 а не c 2.0
Очень много ошибок DNS не смотря ни на какие

Отпишитесь пожалуйста, у кого-нибудь еще есть проблемы с DNS ?

[Death]

у меня очень много таймаутов.
дотнеты стоят все.
на дотнетовской либе вообще не кравлит, а на своей библиотеке то кравлит, то таймауты. перезапуск клиента не всегда помогает.

[nikelong]

У меня вообще позавчера мадж отвалился нах.

мешь на ярлык---прога стартует---и замирает на "нэтворк инициализинг корэ"....

Щя качну новую с сайта, мож поможет ....

[Algon]

Новый прикол: стартует, с полчаса работает на полную, потом все больше и больше ошибок DNS и таймаутов, и так до полной остановки.
Смотрю по трафику: полный 0 и никаких попыток даже послать DNS-запросы. При этом инет на машине работает нормально, а Мадж стоит и все подряд сваливает в DNS Error. После перезапуска клиента снова полчаса работает, потом все повторяется.

[Rilian]

У тебя ДНС где-то кэшируется, 100%

[Algon]

Rilian
Хм... объясни пожалуйста, как кеширование DNS может приводить к таким результатам?

До этого все нормально работало через проксю на локалхосте (и с локальным DNS-сервером), сейчас уже чего только не пробовал: отрубание прокси заодно с фаером, перевод DNS на провайдерские и openDNS не дают абсолютно никакого эффекта. Даже модем пробовал и роутером, и бриджем, и сбрасывал аппаратно, и ставил другой. Сейчас машина висит в инете без всякой защиты и прибамбасов, результат отсутствует. У меня идей больше нет, кроме переустановки оси, но на это я не пойду, уж слишком много гемора...

[Death]

Algon, попробуй вырубить библиотеку дотнета и использовать родную маджевскую.
через что выходишь в инет?

[Algon]

Death
Поставил родную библиотеку, результат (или его отсутствие) будет известен через примерно час.
Мадж работает на канале от УТК, ОГО-4. Модем D-Link 2640, пробовал Zyxel, та-же картина.

[nikelong]

Короче дело дрянь

Снес старый клиент, поставил снуля 1.6.8 - та же теория:
при запуске "инитцализинг нэтворк корэ, плий уэйт" ... я уэйт уже 10 минут а оно и вус не дует

Короче, это какая-то диверсия.

[Algon]

nikelong
Каталог потом чистил? При сносе инсталлятором он там кучу всего оставляет.
А вообще что-то слишком много и слишком разнообразных глюков. Чем объяснить - лично я не знаю, но проблемы сразу у нескольких человек это странно.

[nikelong]

Кстати по поводу пингов: у укртелекома сейчас такая жопа..... (с)
Так что превышение по тайм ауту потому что ОГО ковбасид ...
А вот какого хя у меняя сам клиент ковбасид - для меня загадка.

Каталог почищу но завтра. На сегодня уже хватит мороки....

[Algon]

nikelong
Ого уже с полгода колбасит, то одно, то другое лагает. Я уже даже привык, хоть и матерюсь, когда новый трабл обнаруживается

[Death]

А Алекс так в интервью распинался про то как они реагируют на запросы пользователей...

А мой запрос на форуме про то что надо добавить 5 тлд в клиента - полгода не могут решить. уже наверное 6 - .ме добавился. и .азия. 7 получается.

и ещё - он ни разу не сказал спасибо кранчерам (( сказал "я офигел когда узнал что они запускают нашего клиента и денег не берут". у меня осталось впечатление что фразу "во лохи" просто выкинули из интервью.

Algon, Board ID: DSL-2540U
Software Version: RU_DSL-2540U_1.00_01112008
Bootloader (CFE) Version: 1.0.37-8.7

ого 2+

пока колбасит с 8 вечера без вылетов. средняя скорость 1100 на графике.

НИПАНЯТНА!

MJ12node : v1.6.8
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600.0
Total URLs : 138 433 (100,0%)
Successes : 117 210 (84,7%)
Not found : 3 701 (2,7%)
Timed out : 4 724 (3,4%)
Disallowed : 1 916 (1,4%)
Banned : 0 (0.0%)
DNS errors : 8 395 (6,1%)
Conn errors : 1 252 (0,9%)
Forbidden (403): 273 (0,2%)
Other : 1 036 (0,7%)
Retries : 0 (0,0%)
Uptime : 5 hours 38 mins 24 secs
Memory usage : 54 MB
GZIP requests : 47 425 (34,3% of successes)
GZIP saved data: 1 522 MB (34,5% of total)

кстати, попереключай графики... мож чё увидишь...

[Algon]

А может просто задания такие идут? Я смотрю у меня большинство заданий - прощупывание разных доменов на предмет robots.txt, причем по порядку, типа aaa.kz, aab.kz, aac.kz и так далее. Естественно, что большого количества их вообще в природе не существует, отсюда и ошибки DNS. На внутренней библиотеке вроде пока стабильнее работает.

З.Ы. Алекс молодец, его фунты интересуют, а не какие-то отвлеченные понятия

[Rilian]

Там есть спасибо на форуме. И там люди не сидят на чемоданах с деньгами, дело немного сложнее чем кажется

вобщем кто знает английский, читайте оф форум