Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[Rilian]

Сабмитил еще 1450 уникальных доменов в UA зоне.


остались запросы:

$q[]= 'site:ks.ua';
$q[]= 'site:lutsk.ua';
$q[]= 'site:mk.ua';
$q[]= 'site:nikolaev.ua';
$q[]= 'site:od.ua';
$q[]= 'site:odessa.ua';
$q[]= 'site:pl.ua';
$q[]= 'site:poltava.ua';
$q[]= 'site:rovno.ua';
$q[]= 'site:rv.ua';
$q[]= 'site:sebastopol.ua';
$q[]= 'site:sumy.ua';
$q[]= 'site:te.ua';
$q[]= 'site:ternopil.ua';
$q[]= 'site:uz.ua';
$q[]= 'site:uzhgorod.ua';
$q[]= 'site:vinnica.ua';
$q[]= 'site:vn.ua';
$q[]= 'site:in.ua';
$q[]= 'site:gov.ua';
$q[]= 'site:com.ua';
$q[]= 'site:net.ua';
$q[]= 'site:edu.ua';
$q[]= 'site:co.ua';
$q[]= 'site:lviv.ua';
$q[]= 'site:dp.ua';
$q[]= 'site:biz.ua';
$q[]= 'site:donetsk.ua';
$q[]= 'site:dn.ua';
$q[]= 'site:lugansk.ua';
$q[]= 'site:lg.ua';
$q[]= 'site:kharkov.ua';
$q[]= 'site:kh.ua';
$q[]= 'site:kirovograd.ua';
$q[]= 'site:kr.ua';
$q[]= 'site:zaporizhzhe.ua';
$q[]= 'site:zp.ua';
$q[]= 'site:zhitomir.ua';
$q[]= 'site:kiev.ua';
$q[]= 'site:kiev.ua inurl:z';

[Tamagoch]

добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))

все равно придется ждать следующего цикла, когда обновится база урлов...

[Rilian]

добавил еще 500 уников со всех предыдущих запросов

осталось отпарсить зону kiev.ua

у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач

[Rilian]

добавил еще 894 уникальных доменов из киевской зону.
фух

DONE

[Rilian]

добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))

все равно придется ждать следующего цикла, когда обновится база урлов...

Это сколько дней?

[nikelong]

На форуме ОГО! , Воли ходит такая шутка, мол безлимитные пакеты только для "закачивания интернета", "...если вы не собираетесь делать бэкап интернета..." и т.д. Мол, я не скачиваю целиком интернет, поэтому мне и 1/3/5 Гиг в мес. хватит...

Я тут подумал...

Так мы в проэкте Маджестик-12 тем и занимаемся, что скачиваем интернет!

[Tamagoch]

Это сколько дней?

да что-то медленно продвигается к 100% - как бы это еще на пару месяцев не затянулось...

[Rilian]

Total known URLs: 31,850,265,782 (see breakdown)
Downloaded URLs: 38,661,532,612 (121.39%)

ты про это?

сейчас скорость скачивания 75 000 000 в день....

[Death]

берем выдачу из гугла site:ua

я этим займусь. у меня есть проги для парсинья выдач


UA - CHAMPION

а подробнее? что за проги? )))

добавил еще 500 уников со всех предыдущих запросов

осталось отпарсить зону kiev.ua

у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач

попробуй по ключевикам типа music video powered www
по любому будут выдачи отличаться )))

ты про gov.ua на забыл? )))))))

[Tamagoch]

я про нижнюю строчку вот этого:
http://www.majestic12.co.uk/projects/dsearch/tlds.php

[Rilian]

3 Ukraine nikelong
99,969 348
4 Ukraine Rilian
70,451 1,499

Nikelong. ты фаерволом блочишь клиент ?? типа сайты недоступны, бла бла, и возвращаешь результат на сервер??

[nikelong]

Нет, полностью всё разрешено, и фаерволом тоже...
Незнаю почему у меня такой маленький траффик?

ЗЫ: но таки раскочегарился я неплохо

[Rilian]

Скинь свои логи, в смысле, цифры со статуса.. ?

[nikelong]

MJ12node : v1.4.7 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 109 (100,0%)
Successes : 89 (81,7%)
Not found : 1 (0,9%)
Timed out : 17 (15,6%)
Disallowed : 0 (0,0%)
Banned : 0 (0,0%)
DNS errors : 0 (0,0%)
Conn errors : 1 (0,9%)
Forbidden (403): 0 (0,0%)
Other : 4 (3,7%)
Retries : 0 (0,0%)
Uptime : 8 mins 52 secs

ЗЫ: просто перезагружал систему из-за отсутствия света :-)

[Rilian]

Вот лол, только сейчас заметил...

у меня аутпост 4й

смотрю статистику заблокированных элементов:

Всплывающих окон - 97000
ActiveX - 177
Flash - 22000
Скрытых фреймов- 2500

Так как Аутпост изменяет входящий трафик, то у меня подозрение что обратно на Majestic12 отсылаются страницы без рекламы и т д

Это не есть хорошо. Изменения трафика отключил..


2 Никелонг: разберись с клиентом.. По моему ты просто убиваешь маджестиковые жабы