Majestic12.co.uk, альтернатива гуглу Налаштування

[Rilian]

Сабмитил еще 1450 уникальных доменов в UA зоне.


остались запросы:

$q[]= 'site:ks.ua';
$q[]= 'site:lutsk.ua';
$q[]= 'site:mk.ua';
$q[]= 'site:nikolaev.ua';
$q[]= 'site:od.ua';
$q[]= 'site:odessa.ua';
$q[]= 'site:pl.ua';
$q[]= 'site:poltava.ua';
$q[]= 'site:rovno.ua';
$q[]= 'site:rv.ua';
$q[]= 'site:sebastopol.ua';
$q[]= 'site:sumy.ua';
$q[]= 'site:te.ua';
$q[]= 'site:ternopil.ua';
$q[]= 'site:uz.ua';
$q[]= 'site:uzhgorod.ua';
$q[]= 'site:vinnica.ua';
$q[]= 'site:vn.ua';
$q[]= 'site:in.ua';
$q[]= 'site:gov.ua';
$q[]= 'site:com.ua';
$q[]= 'site:net.ua';
$q[]= 'site:edu.ua';
$q[]= 'site:co.ua';
$q[]= 'site:lviv.ua';
$q[]= 'site:dp.ua';
$q[]= 'site:biz.ua';
$q[]= 'site:donetsk.ua';
$q[]= 'site:dn.ua';
$q[]= 'site:lugansk.ua';
$q[]= 'site:lg.ua';
$q[]= 'site:kharkov.ua';
$q[]= 'site:kh.ua';
$q[]= 'site:kirovograd.ua';
$q[]= 'site:kr.ua';
$q[]= 'site:zaporizhzhe.ua';
$q[]= 'site:zp.ua';
$q[]= 'site:zhitomir.ua';
$q[]= 'site:kiev.ua';
$q[]= 'site:kiev.ua inurl:z';

[Tamagoch]

добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))

все равно придется ждать следующего цикла, когда обновится база урлов...

[Rilian]

добавил еще 500 уников со всех предыдущих запросов

осталось отпарсить зону kiev.ua

у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач

[Rilian]

добавил еще 894 уникальных доменов из киевской зону.
фух

DONE

[Rilian]

добавляйте свои сайты, не стесняйтесь. заодно и будет что качать )))

все равно придется ждать следующего цикла, когда обновится база урлов...

Это сколько дней?

[nikelong]

На форуме ОГО! , Воли ходит такая шутка, мол безлимитные пакеты только для "закачивания интернета", "...если вы не собираетесь делать бэкап интернета..." и т.д. Мол, я не скачиваю целиком интернет, поэтому мне и 1/3/5 Гиг в мес. хватит...

Я тут подумал...

Так мы в проэкте Маджестик-12 тем и занимаемся, что скачиваем интернет!

[Tamagoch]

Это сколько дней?

да что-то медленно продвигается к 100% - как бы это еще на пару месяцев не затянулось...

[Rilian]

Total known URLs: 31,850,265,782 (see breakdown)
Downloaded URLs: 38,661,532,612 (121.39%)

ты про это?

сейчас скорость скачивания 75 000 000 в день....

[Death]

берем выдачу из гугла site:ua

я этим займусь. у меня есть проги для парсинья выдач


UA - CHAMPION

а подробнее? что за проги? )))

добавил еще 500 уников со всех предыдущих запросов

осталось отпарсить зону kiev.ua

у кого какие идеи как достать все сайты с этой зоны? (из явно больше 1000)? Гугл разрешает смотреть только первую тысячу выдач

попробуй по ключевикам типа music video powered www
по любому будут выдачи отличаться )))

ты про gov.ua на забыл? )))))))

[Tamagoch]

я про нижнюю строчку вот этого:
http://www.majestic12.co.uk/projects/dsearch/tlds.php

[Rilian]

3 Ukraine nikelong
99,969 348
4 Ukraine Rilian
70,451 1,499

Nikelong. ты фаерволом блочишь клиент ?? типа сайты недоступны, бла бла, и возвращаешь результат на сервер??

[nikelong]

Нет, полностью всё разрешено, и фаерволом тоже...
Незнаю почему у меня такой маленький траффик?

ЗЫ: но таки раскочегарился я неплохо

[Rilian]

Скинь свои логи, в смысле, цифры со статуса.. ?

[nikelong]

MJ12node : v1.4.7 (.NET 2.0)
Platform : Win32 specific running on Microsoft Windows NT 5.1.2600 Service Pack 2
Total URLs : 109 (100,0%)
Successes : 89 (81,7%)
Not found : 1 (0,9%)
Timed out : 17 (15,6%)
Disallowed : 0 (0,0%)
Banned : 0 (0,0%)
DNS errors : 0 (0,0%)
Conn errors : 1 (0,9%)
Forbidden (403): 0 (0,0%)
Other : 4 (3,7%)
Retries : 0 (0,0%)
Uptime : 8 mins 52 secs

ЗЫ: просто перезагружал систему из-за отсутствия света :-)

[Rilian]

Вот лол, только сейчас заметил...

у меня аутпост 4й

смотрю статистику заблокированных элементов:

Всплывающих окон - 97000
ActiveX - 177
Flash - 22000
Скрытых фреймов- 2500

Так как Аутпост изменяет входящий трафик, то у меня подозрение что обратно на Majestic12 отсылаются страницы без рекламы и т д

Это не есть хорошо. Изменения трафика отключил..


2 Никелонг: разберись с клиентом.. По моему ты просто убиваешь маджестиковые жабы