Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[nikelong]

Приветствуем новичка в команде (!)

torrents.net.ua

[Rilian]

rilian (23:42:59 28/06/2007)
*даю ссылку на форум..*

Арбалет (23:43:58 28/06/2007)
завтра посмотрю - у меня скорость из-за дождя сильно упала (радионет)

rilian (23:44:09 28/06/2007)
ок

Арбалет (23:44:14 28/06/2007)
нихрена не грузится, только аська кое-как пыхтит

rilian (23:44:21 28/06/2007)
)

rilian (23:44:28 28/06/2007)
ты не знаешь что такое мадж на 100%

rilian (23:44:29 28/06/2007)
))))

Арбалет (23:44:42 28/06/2007)
не )

ReMMeR, (28.06.2007 23:55:52:)
ты не знаешь что такое мадж на 100%
на 8ми мегабитах ;-)

пров сказал проверится на вирусы, ибо с нас бешеный ХТТП ДДОС идёт

пришлось отрубить

[nikelong]

Я уже подумал что ужудшение моей линии - результат работы 200 воркеров маджа.
И как прову шото объяснить?

Зы: мадж на 100% - даже асько не грузиццо!

[Rilian]

ЗАЧЕМ ставить 200 воркеров?????? Они же физически в таймаут не успеют вложиться

У меня на 512кбит стоит 20 воркеров и особых ошибок нет

1 Ukraine nikelong 265,904URLS 1,543MB
2 Ukraine RILIAN.INFO 62,395URLS 1,285MB

ты "посчитал" кучу урлов, но реально правильно скачалось мало (смотри мое отношение урлы\траффик и свое). Для статистики полезно, для проекта нет

[nikelong]

Почему для проекта не полезно?
Мы с тобой передали на сервер одинаковое количество информации, т.е. полезность от нашего канала одинаковая. А то что по таймауту сайт не прошёл - так в следующий раз пройдёт
Так что я с тобой делаю одинаковую полезность для проекта, но кроме этого ещё и приношу команде неплохой рейтинг...

[Rilian]

да, но ты передаешь о куче урлов вместо кода страницы, TIMED OUT / DISALLOWED / NOT FOUND и так далее, а мои воркеры все успевают скачать и передают страницы по-нормальному

[uNiUs]

Не пойму, в чем фишка. На данный момент -
7 uNiUs 34,049 Url 170 MB
8 Death 10,000 Url 189 MB

Собсно, вопрос - почему я намолотил в 3,5 больше урлов за меньший объем трафика?

[Rilian]

Я думаю, некоторые урлы у тебя могли заблокироваться фаерволом. Или страницы уже не существуют.

Посмотри в этом и других топиках, уже раньше обсуждалось

[Death]

vatican.va, benedettoxvi.va, mailservice.va, and pcf.va

сейчас не работает добавление урлов в базу маджа.

это все адреса в зоне ватикана, но в стате у него нет ни одного домена .ва

когда заработает, добавьте кто-нибудь...

[Death]

Submit URLs - submission result


5 URL(s) were ACCEPTED for crawling (1 were duplicate of previous submissions). You can check status of submitted items by clicking here.

[nikelong]

Фак!
Запустил линукс-версию клиента, получил в статистике 1000 урлов и ноль мегабайт траффика.
Брэндмауер в системе выключен, в настройках рутера тоже.
IP сетевая получает по DHCP, ну и сижу за НАТом.
Куда копать?

[Death]

# Top level domain name Total number of URLs Estimated size (GB) Issued to nodes % issued Already crawled URLS % completed
245 .ua 114,063,543 2,281 1,195,511 1.05% 111,713,232 97.94%

добавил примерно 1000 доменов из .ua

щас попробую нарыть ещё.

клятый гугель после 20 запросов просит ввести код.
пой десктопный парсер пишет ошибки (((
парсер взят с globalsquid.com

[Death]

ещё 4500 доменов из Украины

как же неудобно руками по 99 штук закидывать (((

[Rilian]

я ж тебе свой парсер присылал?!!

[Death]

мне понадобился десктопный парсер ))) и я его нашёл )
решил потестить заодно и маджестик покрутить.
не всегда удобно с сервера работать.