Українська команда з розподілених обчислень

(Show/Hide)

О чем недвусмысленно намекает такой картинкой на своем сайте:
Основная идея - вместо тысяч серверов переложить работу по индексации на локальные машины пользователей, которые бесплатно предоставляют свои ресурсы. Для этого нужно зарегистрироваться и скачать программу-клиент.
На сайте есть статистика - кое кто сто гигабайт своего трафика в день на этот проект выделяет.

Сам проект скорее требует хорошее подключение, чем мощный процессор, в отличие от того-же Seti@home, где трафика мало - но процессор загружен по максимому. Так что безлимитка только приветствуется.
Пока проиндексированно 37,534,707,760 URL, учитывая распределенную структуру проекта объем и скорость индексирования может превысить возможности GOOGLE. Проект амбициозный - но потенциал у него есть. Я удивляюсь что сам Google не создал нечто подобное. Революция против монополии Google? Who knows...

(Show/Hide)

8.09.08

Majestic SEO (http://www.majesticseo.com/) – сервис анализа беклинков, разработанный Majestic 12 (http://www.majestic12.co.uk/), делающий возможным исчерпывающий отчет по беклинкам, который точно теперь может конкурировать и стать отличной альтернативой Yahoo! Site Explorer (http://www.searchenginejournal.com/more-issues-with-yahoo-link-operator-and-possible-remedies/7568/).

Инструмент становится бесплатным, как только Вы запросили отчет для своего вебсайта (Вам нужно будет доказать свое право собственности, переслав пустую страницу на корень своего сайта). Если же Вы хотите просмотреть отчеты по беклинкам для сайтов конкурентов, придется заплатить.

Текущий размер индексации Majestic SEO просто поражает:

«32,690,802,864 индексированных страниц (в общем, 211,051,271,656 уникальных урлов) и 81,502,004 уникальных доменов (685,461,105 с субдоменами), ~1.5 триллиона линковых отношений».

Методология, качество индексации, источник данных (http://www.majesticseo.com/research/anchor-index-quality.php)

«Существует два источника данных: первый и основной – это наш собственный краулинг, которым мы занимаемся с конца 2004 года, и для качественной верификации данных мы используем также отчеты по беклинкам Google и Yahoo.

Наша метотология позволяет оценить, насколько точен наш индекс в терминах качества по отношению к тем, которые используются другими поисковыми системами».

Сервис предлагает перечень ценных отчетов:

1. Обзор домена
• Ведущие анкоры
• Ведущие домены
• Ведущая страница (основывается на “A-Citation-Rank’ – зависит от количества уникальных внешних доменов)

2. Анкоры – внушительный список внешнего анкор-текста, включая важные данные:

• Общее количество беклинков
• Внешние беклинки
• Ссылающиеся домены

3. Ссылающиеся домены высшего уровня

4. Ссылающиеся домены: таблица, отображающая домены, ссылающиеся на сайт (и самая главная страница, на которой был найден линк)

5. Ежедневные доменные апдейты: отображает новые ссылки. По словам сотрудника компании:

«…как только домен добавлен на контрольную панель, мы обеспечим ежедневные обновления беклинков – мы краулим 150-170 млн. страниц каждый день, и если мы находим беклинки на этот домен в какой-либо день, мы добавляем их в недавний список краулинга».

Дополнительные преимущества:

• (если ранее страница переадресовывалась с помощью 301 редиректа) инструмент проведет поиск ссылок на старую и новую версию урла
• инструмент ищет ссылки на www и не-www версии сайта
• сервис предлагает опцию поиска ссылок либо на домен, либо на страницу
• инструмент предлагает легкую в использовании функцию «export-to-CSV»

Что можно улучшить?

• Больше сортирующих и фильтрующих опций (списки и таблицы просто огромны – нет никакой возможности сортировать их online). Хотя всегда можно экспортировать данные материалы и сортировать их в Excel, несколько таких опций для работы online были бы как раз кстати.
• Некоторые данные немного застарели (дата последней индексации – конец мая 2008 года, но есть обещание провести полный апдейт индекса в конце этого месяца). Цитирую сотрудника компании, у которого успела взять интервью:

«В данный момент мы не совсем up-to-date – нахождение свежих ссылок может занять 2-4 месяца, но, надеюсь, эта ситуация измениться в последующие месяцы, так как мы планируем переключиться на автоматический рекраулинг важных сайтов – а это, в свою очередь, уменьшит время для нахождения новых ссылок с важных страниц к нескольким неделям, а может, и дням».

Важный вокабуляр, на который стоит обратить внимание:

Короткий домен (также «домен второго уровня») – самая короткая форма домена без каких-либо субдоменов.

ACRank – очень простое определение того, насколько важна страница, оценивая ее общую значимость от 0 (самый низкий бал) до 15 (самый высокий). Оценка зависит от количества уникальных внешних коротких доменов.

Disclaimer: не полагайтесь только на изложенную здесь информацию. Я рекомендую проводить большое количество тестов до того, как принять окончательное решение (и если можно, поделитесь здесь своими выводами).

http://www.searchenginejournal.com/majesti...ysis-tool/7634/

(Show/Hide)

Весьма интересное в загадочном боте EnaBot (http://www.enaball.com/crawler.html) - это то, откуда он приходит - ec2-67-202-55-112.compute-1.amazonaws.com

А это не что иное как Amason EC2, не удивлюсь если при таком раскладе и база хранится в Amazon S3 и Amazon SimpleDB, наверняка не скажешь, но по логике и производительности это должно быть быстрее чем держать свою распределённую базу. Мне вспомнилась одна из обзорных статей по Simple DB - несмотря на сильно упрощённые интерфейсы, это одна из наиболее сильных воплощённых идей. Я ещё раз хочу повторить своё предсказание что рано или поздно IBM купит Amazon. Это, однозначно, их актив.

Из других интересных поисковых технологий трудно не обратить внимание на Hypertable, реализацию аналога BigTable от Google в открытых исходных кодах и под GPL v3. Мне, правда, до сих пор не вполне ясно чем эта разработка превосходит HDFS (HaDoop File System), но думаю что отличия есть раз такая разработка появилась.

Чуть отвлекаясь от технических вопросов и переходя к бизнес модели стоит обратить внимание что не просто так BigTable была и есть закрытая разработка Google которую они и не планировали раскрывать. Это то что можно назвать ключевой технологией, конечно, одной из, но тем не менее важной. Простота и доступность аналогов значительно повышают возможности построения своих поисковых машин конкурентами. Если использовать связку Hadoop + Nutch + HyperTable или же адаптированный индексатор с бэкэндом на Amazon Simple DB, то планка вхождения новых игроков на рынок поиска значительно снижается.

Более того я подозреваю что рано или поздно конкуренция тут начнётся исключительно на алгоритмическом уровне и способности к применению алгоритмов семантического веба. Например, как это делают в немецком поисковике Semager , подробнее о нём можно прочитать в переводе на английский черезе Google Translate - http://urlus.ru/u/11

Другая, интересная идея в извлечении онтологической модели из выбранного текста. Например, в одном из планов Wikia было использование Text2Onto. Пример когда довольно сложные разработки по обработки текстов постепенно находят технологическую реализацию. В одном я точно согласен с авторами, семантизация должна обеспечиваться не людьми, а алгоритмами.

Ещё одна тенденция - это рост популярности распределённых поисковых роботов, работающих на принципах P2P. У такого подхода есть свои ощутимые плюсы - возможность индексации даже тех сайтов которые этому всячески сопротивляются. Невозможно заблокировать индексацию по IP адресу, необходимы фильтры по числу обращений в период времени, а они есть не у всех сайтов.

Навскидку только те что я знаю.

* Yacy.net - open source GPL2
* Grub - open source, GPL, используется в Wikia Search
* Majestic12 - как я понимаю разработка на C# с приличным объёмом проиндексированных страниц. Весьма интересно как как они организуют хранение данных, ибо данных там огого. У них же интересная задумка - Majestic SEO, показ обратных ссылок, как раз того что ведущие поисковики сейчас блокируют.

Итого суммарно 3 тенденции:

* упрощение создание своей поисковой системы с нуля - появление услуг обеспечения инфраструктуры для подобных систем;
* внедрение семантических алгоритмов анализа текстов;
* использование распределённых поисковых роботов;

И один вывод - технологии популяризируются и меняются. Ситуация в которой сейчас находится Майкрософт, когда несмотря на понимание и желание выхода на рынок SaaS это желание сдерживается значительной инертностью текущей структуры доходов, в итоге им приходится идти на риск приобретения Yahoo.

Точно также в случае появления “чёртей из табакерки” новых поисковиков обладающими всеми вышеперечисленными возможностями, поисковая монополия Гугла может сойти на нет. Когда алгоритмы, объёмы данных и инфраструктура конкурентов выравниваются, то начинается ничто иное как война “брендов”, а это то нечто на что нужны лишь деньги.

Кросспост из Иван Бегтин. Комментарии можно оставлять здесь или здесь.