Версія даної теми для друку
Натисніть сюди для перегляду даної теми у оригінальному форматі
Розподілені обчислення в Україні _ Majestic12 _ Чат с админом проекта!
Автор: alexc Oct 20 2007, 20:39
Привет всем!
Во-первых хотел бы извиниться что не пишу по-украински (хотя частично я тоже украиней - отец родился в Киеве), но на языке украинском я не говорю (читать немного могу).
Во-вторых хочу выразить искреннию благодарность тем что честно помогает проекту Majestic-12 несмотря на то что конечно линии связи на Украине пока уступают линиям на Западе - это очень трудно помогать проекты когда нет скоростных линий, например у нас есть парень из Австралии так у него тоже 256 килобит. Тем не менее я лично рад помощи вне зависимости от количественных показателей - нет ничего зазорного в том что у вас нет такого оборудования как в некоторых странах, нет в этом вашей вины и стыдится этого нечего.
К сожалению вы наверно догадываетесь что я пришел к вам в гости изза "идеи" tok098. Очевидно что это читерство, причем такое очевидное что его заметили другие участники проекта, я конечно на статистику смотрю меньше чем они, но они смотрят внимательно, поэтому и спросили меня что же это за странность такая - урлов много, а размер данных небольшой.
Обычно такие вещи бывают изза временных сетевых проблем - однако прочитав сообщение tok098 очевидно становится что это намеренное читерство. Очевидно такой подход неприемлем, и в первую очередь это неуважение к вашим же коллегам по вот этому форуму которые честно помогают проекту - читы девальвируют такую помощь и таким образом очень сильно вредит проекту.
Поэтому мне пришлось забанить юзера tok098 - сервер имеет детальную статистику о том какие данные он послал, кому, и какие результаты вернулись от этого человека - читерство ради высокой статистики очень очевидно, поэтому поступать так неразумно. Все результаты от tok098 были аннулированы и будут переделаны другими нодами.
Безусловно я не делаю никаких выводой на основании одного читера в отношении других участников, ваши ответы на его "идею" говорят мне что вы не такие как он, и я очень рад этому 
В общем, желаю удачи вашей команде, пусть этот небольшой эпизод будет простым примером как не надо поступать вне зависимости от распределенного проекта - читерство вредит им всем, поэтому поступать так не надо, особенно потому-что "успех" читером временный, в данном случае несколько дней - не стоит читерство этого
с уважением,
Алексей,
Админ Majestic-12
Автор: Rilian Oct 20 2007, 21:34
alexc, рады видеть тебя на нашем командном форуме.. хоть и привел тебя сюда неприятный случай.. Пользуясь случаем хочу спросить, у тебя будет визуальный вывод серпа в поисковике?
Автор: alexc Oct 20 2007, 21:46
Да случай скорее неудобный (жалко на такие вещи время тратить), ну да ладно, с этим вопросом решено.
Визуальный серп есть тут - http://search.majestic12.co.uk/
Правда сейчас там старая версия - всего полмиллион страниц из миллирда старых. Тут ситуация такая - добавляя больше и больше страниц (количество) начало лезть вниз качество, а поисковик с плохим качеством это совсем плохо 
В начале этого года стало очевидно что вместо включения всех страниц подряд нужно определить каким более важные, делается это на основе перелинковки и анкор текста используемого для линков - для этого пришлось перелопатить много кода чтобы собственно сделать индеск с более чем 100 млрд линков и анкор текста - из этого кол-ва данных примерно 5% были наиболее перспективны, теперь они закроулены и часть из них можно отбросить, но тут выяснилось что были некоторые ошибки в парсере и анализиторе, так что пришлось работать чтобы их пофиксить, а то это негативно влияло на качество
Так что пока, и я думаю в след 2-3 месяца фокус будет над этим индексом линков и анкор текста, как только будут окончательно определены наиболее важные страницы - думаю 5-10 млрд тогда я надеюсь их проиндексировать в нормальный поисковик
В общем работы навалом еще, хотя 3 года уже прошло с момента начала проекта
Автор: Rilian Oct 20 2007, 21:54
Под визуальным я имел ввиду полностью графический вывод информации.. (еще раз прошелся по выдачам search.majestic12.co.uk и не обнаружил такового)
Вобщем это достаточно сложная тема для обсуждения, поэтому пока буду думать Спасибо
Автор: alexc Oct 20 2007, 22:04
Под визуальным я имел ввиду полностью графический вывод информации.. (еще раз прошелся по выдачам search.majestic12.co.uk и не обнаружил такового)
Наверно я не совсем понимаю что такое "графический" вывод, пока что все текстовое HTML, но я думаю возможно будет какая-то визуализация, с моей точки зрения я хочу иметь поисковик который выдает хорошие результаты (в сравнению с Гуглом конечно), думаю будут точно API для тех что можен хочет сделать выдачу отличную от простого текста, сейчас конечно главное дожить до момента хорошей выдачи, пока что надо построить новый анкор индекс с улучшенными данными, ну а там посмотрим, еще не вечер
Автор: Rilian Oct 20 2007, 22:10
щас будет картинка
Автор: alexc Oct 20 2007, 22:13
Это в смысле графичексий вид как в браузере страница видна, некоторые поисковики показывают такую в списке текстовых результатов, или что-то другое?
Автор: Rilian Oct 20 2007, 22:14
Смотри картинку
зы: я еще таких не встречал, которые подобное показывают
Автор: alexc Oct 20 2007, 22:16
Смотри картинку
зы: я еще таких не встречал, которые подобное показывают
Cмотрю но не вижу, бывает такое - может у тебя новая гениальная идея интерфейса поисковика, патентуй пока не поздно
Автор: Rilian Oct 20 2007, 22:18
Это идея не моя, если честно. Но как нибудь запатентую
http://distributed.org.ua/images/blablasearchengine.png
Автор: alexc Oct 20 2007, 22:20
Это идея не моя, если честно. Но как нибудь запатентую
Я пока в голове держу только текстовый интерфейс, другие моя голова не приемлет, НО, вполне вероятно есть что-то более удобное, так что очень может быть это хорошая идея
Не вижу в смысле непонимаю что к чему на нем, наверно потому-что уже поздно и голова не работает
Автор: Rilian Oct 20 2007, 23:00
Это в смысле графичексий вид как в браузере страница видна, некоторые поисковики показывают такую в списке текстовых результатов, или что-то другое?
нет, текстового списка нету вообще
Автор: alexc Oct 21 2007, 01:05
Пустой белый экран значит?
Автор: Rilian Oct 21 2007, 01:11
не... вот то зеленое поле - это и есть результат выдачи
зы: я тебе в личку отправил сообщение
Автор: nikelong Nov 12 2008, 20:14
Юниус, присмотрись к своему клиенту, у тебя что-то не так!
У тебя очень много очков за тот траффик что у тебя есть!
Автор: T0lsty Nov 12 2008, 20:40
так эта харашо))
мож он поделится секретиком 
Автор: nikelong Nov 12 2008, 21:10
T0lsty,
Ты тему с самого начала прочти...
За глюки роутера, которые tok098 не хотел решать был справедливо забанен админом проекта. С удалением всех очков.
Работаем честно, ребята (!)
Автор: uNiUs Jun 11 2009, 20:27
T0lsty,
Работаем честно, ребята (!)
Работаем, конечно, честно, но это не исключает глюков прова или софта.
Недавно надумал вернуться в проект, но вуаля - мой эккаунт забанен
Респект Алексею - после моего письма с объяснением меня оперативно разбанили
Теперь я снова с вами!
Автор: nikelong Jun 11 2009, 21:19
uNiUs,
Интересно за что?
ЗЫ: стукнись в асю
Автор: uNiUs Jun 11 2009, 21:57
uNiUs,
Интересно за что?
Подозреваю, что за 3% успешных кровлов... Хз, что это за глюк был... Я как письмо получил, снес клиента.
Автор: Death Jun 12 2009, 11:02
у меня то же самое сейчас. клиент тупо втыкает через пару минут работы.
график бэндвиза не знаю как порусске это сказать просто валится в 0 и всё.
потом после того как оно пару раз рестартанёт начинает кравлить.
вот утром посмотрел - за ночь 50% таймаутов. то ли букеты такие то ли хз. началось после 169 версии. откат на 168 не помог.
Автор: uNiUs Jun 13 2009, 17:56
Top users (Today)
# Nick URLs done Data (MB)
1 Roamer 8,549,320 201,639
2 Freesom 8,384,369 239,565
3 nikelong 1,337,015 26,226
4 zyxelenator 1,063,011 23,111
5 masquer 925,419 26,567
6 Death 349,768 9
7 uNiUs 229,684 5,796
8 rrappee 84,043 2,641
9 Tamagoch 39,944 803
Death, у тебя явно что-то не то, 350к урлов на 9 мБ. Лучше разберись с клиентом до вмешательства админа проекта
Автор: nikelong Jun 14 2009, 23:34
uNiUs,
Дэз невиноват.
То квбасило укртелекомовские ДНСы
Автор: Death Jun 15 2009, 12:02
uNiUs, потомушо примерно 100% кравла - таймауты.
вчера инета не было всю ночь.
щас заработало, но я торренты пустил, мадж вырубил. так шо даже не знаю починил укртел или нет...
кстате, может есть смысл прописать в роутере не укртеловский днс а опеновский? или ещё какой?
Автор: Death Jun 15 2009, 12:12
вобщем опенднс пиарится нехило, но вот удобная штучка:
http://www.dnsserverlist.org/
мне предложило следующие адреса
Here are the top three calculated DNS servers for your IP: 193.*.*.*
204.74.97.104
209.213.196.218
69.111.95.106
Автор: oleg7727 Oct 11 2013, 22:48
Добрый вечер,
1. Подключился недавно и у меня есть один вопрос по проекту,
проект стартовал достаточно давно, а вот поисковой страницы
на которой можно было бы задать фразу и получить ссылки на сайты
я не нашел.
Подскажите - я плохо искал или я проект имеет другие цели?
2. Поделитесь пожалуйста ссылкой, где можно прочесть про выплаты
и условия учасникам проекта и каким образом учитывается участие?
Автор: Rilian Oct 12 2013, 00:27
привет oleg7727,
Админ маджестика давно сюда не заглядывает
Кратко, проект сейчас ориентирован на быстрое кэширование всего интернета сразу. Полнотекстовый поиск еще не сделан, но ожидается в будущем. Если что задавай вопросы в общей теме тут http://distributed.org.ua/forum/index.php?showtopic=742
По поводу выплат, они выдаются только после того как ты будешь активно кранчить в течение 90 дней. Выплаты раз в квартал. Но они не покрывают расходов. Не надейся что интернет окупится. Подробности есть на английском на официальном форуме. Если есть конкретные вопросы, задавай тут http://distributed.org.ua/forum/index.php?showtopic=6135
Автор: oleg7727 Oct 30 2013, 21:21
привет oleg7727,
Админ маджестика давно сюда не заглядывает
Кратко, проект сейчас ориентирован на быстрое кэширование всего интернета сразу. Полнотекстовый поиск еще не сделан, но ожидается в будущем. Если что задавай вопросы в общей теме тут http://distributed.org.ua/forum/index.php?showtopic=742
По поводу выплат, они выдаются только после того как ты будешь активно кранчить в течение 90 дней. Выплаты раз в квартал. Но они не покрывают расходов. Не надейся что интернет окупится. Подробности есть на английском на официальном форуме. Если есть конкретные вопросы, задавай тут http://distributed.org.ua/forum/index.php?showtopic=6135
Rilian,
спасибо за инфо, буду ориентироваться на указанную ветку форума.
(хотя конечно странно, что полнотекстового поиска хотябы в бета версии все еще нет ...)
Автор: Rilian Oct 30 2013, 22:50
oleg7727, на таких объемах поиск не тривиальная задача. она разделяется на индексирование текста, отсев несуществующих значений, собственно поиск, итд
всему свое время
Invision Power Board
© Invision Power Services