Majestic12.co.uk, альтернатива гуглу Налаштування

[nikelong]

Проект "Majestic-12"

----------------------------------------------------------------------------------------------------------
Официальный сайт

Официальная статистика по команде "Ukraine"
Расширенная статистика по команде Украины
Выбор оптимального DNS сервера

----------------------------------------------------------------------------------------------------------
Дата основания команды - 08.02.2007 Капитан - Tamagoch
----------------------------------------------------------------------------------------------------------
Для присоединения к команде Украины:
1. Убедитесь в том что у Вас безлимитный доступ в интернет
2. Проверьте, установлен ли в Вашей системе NET 2.0 (пуск - панель управления - установка и удаление программ. В открывшимся списке должна присутствовать строчка NET Framework 2.0). Если нету - идем на windows update;
3. Загрузите клиент (1.2 Мб), предпочтение - версии Installer;
4. введите логин/пароль/прочие данные в самом клиенте, и нажмите кнопку регистрации. Если что-то непонятно - читаем на английском более подробное описание. либо спрашиваем тут на форуме и сразу же получаем ответ. Как вариант - обращаемся в командный чат на скайпе (пишите в личку Nikelong )
5. Зайдите на сайт проекта и залогинтесь под собой (введите те логин и пароль шо вводили при регистрации клиента)
6. Зайдите в профиль нашей команды и нажмите ссылку Join this team
7. Если всё сделано верно то в данный момент Вы уже являетесь членом нашей команды. Поздравляем!
----------------------------------------------------------------------------------------------------------
О проекте:
Раздел по Majestic12 у нас на сайте.

http://mj12.sonnigelichtung.de/

Сколько выставлять воркеров и букетов?
http://xplusy.oos.cc/web/Velocity2.pdf

График производительности команды:


Добавить сайты в маджестик12 - аддурилка
Majestic12 Add Url

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ в известной степени не очень хорошая вещь.

2) Потому что мы можем -- персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным.
Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы даннх.

3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика ''Международная Паутина''. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).

2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим (в особенности её cross-platform angle)

3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

Клиент создаёт очень большой траффик, он использует всю ширину Вашего канала. Поэтому его нужно устанавливать только в том случае, если вы имеете безлимитный доступ в интернет.

Це повідомлення відредагував Rilian: Aug 23 2012, 18:02

[Dobromyr]

Вот клодился на челендже в Прайме и че обнаружил

http://cloudsigma.com/ !! У них 2 сервиса - один в Швейцарии - второй в Америке. Серваки разные - регаю одинаковые аккаунты на те же номера телефонов - по второму кругу !! Верификацию прохожу голосом, т.к. для получения СМС - надо карточку активировать звонком исходящим (она умирает после этого через 30 дней без пополнения), а я хочу ее еще приберечь. Может на след челендж Прайма тучки другой площадки на теже номера регать получится- !! Мля и это 2-нодовые тучки !!

Мои наблюдения - для тех кто Мадж гоняет, на http://cloudsigma.com/ вторая площадка в ЛасВегасе, Бубунта апдейтилась со скоростью 8,5 МБайт/сек. Видать у них там 100Мбит на тучку не проблема. Потому что на площадке в Цюрихе апдейт шел ну максимум на 0,9 МБайт/сек. Так что можно попробовать на 7 дней тучку поднять для Маджестика. Про ограничения трафика нигде не написано, сказано только для игрушек серваки низзя юзать.

А можна детальніше про те, як там тим всім керувати? Я так зрозумів, що через VNC. Там стоїть по замовчуванню серверна версія убунту. От тут і виникла проблема. Який там логін. Пароль вроді зрозуміло, а от логін щось неясно. І як туди залити клієнт мажестіка?

Все, зробив . Поставив убунтик, загрузив бангл, все працює )) Зараз кравлить з середньою швидкістю 10 Мб/с. Задумався, чи може запустити 2 ноди одночасно. Але з такою конфігурацією (2 Ггц, 2Гб оперативки) навряд чи ще щось покращиться. Причому загрузка проца - під 100%

[Dobromyr]

НІЧОГО З ТОГО НЕ ВИЙДЕ. ТАМ ОБМЕЖЕННЯ 10ГБ ТРАФІКУ ТАК ЩО НЕ ВАРТО НАВІТЬ ПРОБУВАТИ

[Death]

народ а проясните меня плиз.

у меня та же фигня. на 10 мбитах проц загружен на 100% под вендой. какой-то сраный атлон.

и вот Добромир пишет то же самое.

это что ваще за прикол?

у меня кстати дома сетевуха интегрированная.

вопрос - если я поменяю на писиайную сетевуху - нагрузка проца снизится? я не говорю про гигабитный интел с дуаллинком )) я говорю скорее про сетевуху за 50 грн ))

но она будет хотя бы не интегрированная. или не поможет?
хочу узнать заранее, потомушо 50 грн просто так выкинуть жалко.
если поможет я бы и 100 отдал, но хочу точно знать.

[Dobromyr]

народ а проясните меня плиз.

у меня та же фигня. на 10 мбитах проц загружен на 100% под вендой. какой-то сраный атлон.

и вот Добромир пишет то же самое.

это что ваще за прикол?

у меня кстати дома сетевуха интегрированная.

вопрос - если я поменяю на писиайную сетевуху - нагрузка проца снизится? я не говорю про гигабитный интел с дуаллинком )) я говорю скорее про сетевуху за 50 грн ))

но она будет хотя бы не интегрированная. или не поможет?
хочу узнать заранее, потомушо 50 грн просто так выкинуть жалко.
если поможет я бы и 100 отдал, но хочу точно знать.

Думаю, що не поможе. Подивись загрузки проца при закачці торентів. Архівація найбільше тяне. А Подивись наскільки кравлінг грузить проц, і наскільки коли йде архівація. І тут стане всьо ясно. Причому, що при архівації швидкість кравлінгу падає. Так що заміна мережевої тут не поможе. Моя думка. Якщо неправ, то поправте.

Відключення LZMA трохи помагає. Але тільки трохи...

[Death]

торенти теж на 100% грузять.

архывація ясно що 100% бо це навантаження чисто на проц. а от чому мережа так проц вбиває - незрозуміло.

я просто думав про те шо вбудована карта може не має чіпа якогось і все навантаження на про іде. а коли буде мережева карта то там буде често навантаження на ПСИ слот. і все.

[Dobromyr]

торенти теж на 100% грузять.

архывація ясно що 100% бо це навантаження чисто на проц. а от чому мережа так проц вбиває - незрозуміло.

я просто думав про те шо вбудована карта може не має чіпа якогось і все навантаження на про іде. а коли буде мережева карта то там буде често навантаження на ПСИ слот. і все.

В мене теж вбудована карта на ноуті, але не грузить на 100%. Правда в мене Целерон1,6

[Rilian]

Немного привел в порядок вики проекта -- https://distributed.org.ua/wiki/ru:projects_majestic-12

прошу дополнять

[Rilian]

Новая версия 1.7.7 которая лучше менеджит забаненые домены и robots.txt

в теории - немного лучше кравлинг

v1.7.7 07/02/12
               + Updated internal block list
               ! Increased robots.txt cache period to 4 hours
               ! Crawler version incremented to MJ12bot/v1.4.2

для того чтобы обновить, прочто остановите клиент и перезапишите файлы новой версии поверх

http://www.majestic12.co.uk/projects/dsearch/download.php

Для виндовс http://www.majestic12.co.uk/files/mj12node...otnet2_v177.zip

Для линукса - рекомендую бандл рефика. Он скоро будет готов, и устанавливается также: остановить ноду и перезаписать файлы. Я отдельно напишу когда появится новая версия бандла

[Panda]

Стіна в одному з львівських спальників.
WTF?

[nikelong]

Во львов прилетело НЛО?
http://ru.wikipedia.org/wiki/%D0%9C%D0%B0%...%D0%B8%D0%BA-12

[Rilian]

выпущена новая версия 1.7.8

через неделю на старую версию перестанут приходить задания поэтому рекомендую обновиться как можно скорее

для обновления остановите ноду, и разархивируйте файлы в папку. после этого запустите ноду снова

изменения в 1.7.8:

CODE

v1.7.8 20/04/12 ! Fixed bug with certain redirects incorrectly parsed
      ! Sending Accept: */* header in robots.txt requests to satisfy
                  wrong expectations of some poorly written "security" software
      ! Crawler version incremented to MJ12bot/v1.4.3

скачать обновление можно тут: http://www.majestic12.co.uk/projects/dsearch/download.php

[Dobromyr]

Не отримує завдання нова нода, під Ubuntu.

[23.04.2012 10:50:54] We appear to need to get more URLs!
[23.04.2012 10:51:13] Failed to receive more URLs, response code: NoMoreURLsAvailable

1 букет за добу отримав
Хоча, думаю, що проблема не в ноді. Та і Mono працює як годинник. Напевно ще завдання нормально не видаються під нову ноду

[Rilian]

Dobromyr, это после апгрейда ?

пришли мне в личку nodehash из config.xml

[Rilian]

Dobromyr, проверь щяс получает 1.7.8 нода букеты ?

[Dobromyr]

Dobromyr, проверь щяс получает 1.7.8 нода букеты ?

Так, уже отримує А в чому була проблема??