Українська команда з розподілених обчислень

Сабмитил еще 1450 уникальных доменов в UA зоне.


остались запросы:

$q[]= 'site:ks.ua';
$q[]= 'site:lutsk.ua';
$q[]= 'site:mk.ua';
$q[]= 'site:nikolaev.ua';
$q[]= 'site:od.ua';
$q[]= 'site:odessa.ua';
$q[]= 'site:pl.ua';
$q[]= 'site:poltava.ua';
$q[]= 'site:rovno.ua';
$q[]= 'site:rv.ua';
$q[]= 'site:sebastopol.ua';
$q[]= 'site:sumy.ua';
$q[]= 'site:te.ua';
$q[]= 'site:ternopil.ua';
$q[]= 'site:uz.ua';
$q[]= 'site:uzhgorod.ua';
$q[]= 'site:vinnica.ua';
$q[]= 'site:vn.ua';
$q[]= 'site:in.ua';
$q[]= 'site:gov.ua';
$q[]= 'site:com.ua';
$q[]= 'site:net.ua';
$q[]= 'site:edu.ua';
$q[]= 'site:co.ua';
$q[]= 'site:lviv.ua';
$q[]= 'site:dp.ua';
$q[]= 'site:biz.ua';
$q[]= 'site:donetsk.ua';
$q[]= 'site:dn.ua';
$q[]= 'site:lugansk.ua';
$q[]= 'site:lg.ua';
$q[]= 'site:kharkov.ua';
$q[]= 'site:kh.ua';
$q[]= 'site:kirovograd.ua';
$q[]= 'site:kr.ua';
$q[]= 'site:zaporizhzhe.ua';
$q[]= 'site:zp.ua';
$q[]= 'site:zhitomir.ua';
$q[]= 'site:kiev.ua';
$q[]= 'site:kiev.ua inurl:z';

все равно придется ждать следующего цикла, когда обновится база урлов...

добавил еще 500 уников со всех предыдущих запросов

осталось отпарсить зону kiev.ua

у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач

добавил еще 894 уникальных доменов из киевской зону.
фух

DONE

Это сколько дней?

На форуме ОГО! , Воли ходит такая шутка, мол безлимитные пакеты только для "закачивания интернета", "...если вы не собираетесь делать бэкап интернета..." и т.д. Мол, я не скачиваю целиком интернет, поэтому мне и 1/3/5 Гиг в мес. хватит...

Я тут подумал...

Так мы в проэкте Маджестик-12 тем и занимаемся, что скачиваем интернет!

да что-то медленно продвигается к 100% - как бы это еще на пару месяцев не затянулось...

Total known URLs: 31,850,265,782 (see breakdown)
Downloaded URLs: 38,661,532,612 (121.39%)

ты про это?

сейчас скорость скачивания 75 000 000 в день....

а подробнее? что за проги? )))



попробуй по ключевикам типа music video powered www
по любому будут выдачи отличаться )))

ты про gov.ua на забыл? )))))))

я про нижнюю строчку вот этого:
http://www.majestic12.co.uk/projects/dsearch/tlds.php

3 Ukraine nikelong
99,969 348
4 Ukraine Rilian
70,451 1,499

Nikelong. ты фаерволом блочишь клиент ?? типа сайты недоступны, бла бла, и возвращаешь результат на сервер??

Нет, полностью всё разрешено, и фаерволом тоже...
Незнаю почему у меня такой маленький траффик?

ЗЫ: но таки раскочегарился я неплохо

Скинь свои логи, в смысле, цифры со статуса.. ?

MJ12node : v1.4.7 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 109 (100,0%)
Successes : 89 (81,7%)
Not found : 1 (0,9%)
Timed out : 17 (15,6%)
Disallowed : 0 (0,0%)
Banned : 0 (0,0%)
DNS errors : 0 (0,0%)
Conn errors : 1 (0,9%)
Forbidden (403): 0 (0,0%)
Other : 4 (3,7%)
Retries : 0 (0,0%)
Uptime : 8 mins 52 secs

ЗЫ: просто перезагружал систему из-за отсутствия света :-)

Вот лол, только сейчас заметил...

у меня аутпост 4й

смотрю статистику заблокированных элементов:

Всплывающих окон - 97000
ActiveX - 177
Flash - 22000
Скрытых фреймов- 2500

Так как Аутпост изменяет входящий трафик, то у меня подозрение что обратно на Majestic12 отсылаются страницы без рекламы и т д

Это не есть хорошо. Изменения трафика отключил..


2 Никелонг: разберись с клиентом.. По моему ты просто убиваешь маджестиковые жабы