ua     ru    Sitemap   Sitemap     | Пошук... |       Сайт відкрито 14.12.2005

Ukraine - Distributed Computing Team

 

 » Навігація 
  Новини
  Новини (Архів)
  Описи проектів
  Опитування
  Архіви

  Форум
  Форум (PDA)

 » Статті 


       Описи проектів 
Начало раздела >

FAQ



версія українською

автор - nikelong


FAQ о проекте DIMES

 

Ссылки:

 

Цель проекта:
     Интернет построен таким образом, что единственным эффективным способом построить его карту является сделать это распределённо. Поэтому, мы просим вас принять участие в нашем проекте. Нам важны не столько ваши циклы CPU или сетевой трафик (который наш клиент почти не потребляет), сколько ваше местонахождение. Чем в большем количестве мест работают клиенты проекта, тем точнее будут составленные им карты. Понимание структуры Интернета — важная исследовательская задача. Её решение сможет позволить сделать Интернет более приятным местом для каждого из нас.

    Клиент DIMES выполняет измерения состояния сети, такие как TRACEROUTE или PING. Делает это он с низкой частотой, потребляя в пике до 1 килобайта в секунду. Агент никуда не отсылает ни информацию о действиях, выполняемых на компьютере, ни вашу личную информацию — он отсылает ТОЛЬКО результаты измерений.

    В данное время клиент показывает карты того, как Интернет выглядит с вашей точки обзора, а в будущем — сможет предоставлять персонализированные «прогнозы Интернет-погоды», и другую интересную информацию.

С июня 2005 года проект DIMES публикует графы AS-ов (Autonomous System) и графы роутеров Интернета для использования научным сообществом. Данные публикуются ежемесячно и и содержат следующее:
DIMESEdges - список краевых точек автономных систем, которые были найдены в течение месяца и встречались как минимум дважды.
BGPEdges - список краевых точек автономных систем, которые были получены анализом последних данных проекта по обзору роутеров с помощью BGP (Border Gateway Protocol)...

Данные продоставляются при условии, что они будут использоваться только для исследовательских и образовательных целей. В частности, не разрешается использовать данные в каких-либо коммерческих целях.

 

Что делает клиент:

Примерно это выглядит так: клиент получает список IP. Птом он их пингует и трэйсроутит. Результаты своей работы отсылает обратно на сервер. Поскольку ничего не обрабатывается, то и нагрузки на ЦПУ нет. Опрашивая ip-адреса с некоторой переодичностью, клиент формирует "карту", иначе схему связи, отдельных компьютеров и сетей между собой. Зачем? А дело в том, что о современной структуре интернета мы знаем мало. DNS-серверы ещё известны, известно как они связаны друг с другом - это своеобраный "центр" интернет-мира, а вот "переферия" и то, как она устроена - нам известно плохо. Я не помню где, но видел, что разработчики предполагают использовать данные, полученные от проекта, для разработки принципиально иных схем маршрутизации данных внутри сети. Сейчас если "центр" откажет, то всё - смерть. В этом смысле интернет чем-то похож на большой город, который не успевает за изменениями, происходящими в обществе. Когда появилась сеть INTERNET, никто не мог предполагать, что она превратится в то, что она есть сейчас. Отсюда проблемы, связанные с несовершенством архитектуры. Она просто не отвечает реалиям XXI века. DIMES позволит (так говорят разработчики) выявить эти проблемы и даст необходимые данные для дальнейшего реформирования.

 

Задачи:

В то время как Интернет бурно эволюционировал в последнее десятилетие, рос и интерес в измерении и изучении его структуры. Многочисленные научно-исследовательские проекты с переменным успехом пытались отобразить топологию Интернета, а также другие аспекты, такие как распределение задержек и пропускной способности. По мере того как Интернет продолжал расти, особенно вдали от своего Северо-Американского центра, также росли и несоответствия измерений. Главным недостатком текущих проектов измерения является достаточно ограниченное число узлов измерения (обычно от пары дюжин до нескольких сотен), что искажает результаты в сторону тяготения к центру. Чтобы исправить эту ситуацию, инфраструктура измерений должна вырасти на несколько порядков в размере и более рассредоточиться по миру. Мы представляем DIMES, распределенную глобальную инфраструктуру, предназначенную для измерения структуры и развития Интернета с помощью большого числа взаимодействующих агентов. Ключевым отличием DIMES от других проектов является отход от небольшого числа специализированных узлов, предназначенных только для измерений, в сторону большого сообщества узлов с запущенными небольшими малозаметными агентами в фоновом режиме. Принимая во внимание важность разнообразности положения в измерениях Интернета, это отличие обещает значительно улучшить результаты измерений.
Задачи измерений DIMES.
1. Измерить весь доступный граф AS.
2. За три года добиться присутствия агентов в 95% AS в Интернет.
3. Через полтора года создавать актуальный AS граф каждые 2 часа.
4. Через полтора года создавать актуальный граф роутеров каждую неделю.
5. Через год сопровождать графы Интернета имеющимися данными по пропускной способности.
6. Через два года измерять мобильный/сотовый Интернет с помощью мобильной версии DIMES
Задачи анализа DIMES.
1. Создать динамические модели, которые будут воспроизводить развитие Интернета такое, как оно отражается в результате измерений, для уровней AS и роутеров.
2. Вывести граф Интернета на карте.
3. Разработать показатели социального/экономического роста на основании развития Интернета.

Подробнее тут.

 

Как присоеденится к команде:
Во время инсталяции, когда будет пункт выбора команды выбрать "join team", написать слово Ukraine , именно так, с большой буквы и нажать энтер. После чего раскрыть список команд и удостоверится в том что система "подхваила" именно нашу команду Украины.

 

Очки:
Нормально настроенный клиент, с нормальным провайдером выдает ~5000 очков в сутки.

Это когда Вы в настройках ползунок delay between measurements ставите на 15 секунд.
Теперь имеем один пинг в 15 секунд. 4 пинга/минуту *60 мин*24 часа = 5760 очков в сутки в теории.

Официальная статистика обновляется мгновенно, как только клиент отправляет результат. Суммарное количество очков по аккаунту немного опаздывает.

На free-dc статистика "на глаз" обновляется где-то раз в два часа.

 

Канал в интернет:
Клиенту всё-равно какой у Вас доступ в интернет. Будь-то диал-ап или гигабитная оптика. Один пинг раз в 15 секунд плюс результаты измерений. А они отсылаются, когда файл данных достигает 250Kb. Примерно, это в районе 70 измерений и 20-25 минут работы агента. В статистике отображаются измерения, которые были присланы за час; бывает, что в течение часа агент отсылает 3 файла, а может получиться, что и один.

При остсутствии соединения клиент каждые 5 мин. пытается соеденится с сервером. Так что если у Вас непостоянное соединение с интернет то ничего страшного, и перезапускать клиент каждый раз не нужно.

 

Системные требования:
Клиент как правило использует 0...1% ресурсов процессора.
Клиент как правило использует 0...1% ресурсов вашего интернет канала.
Клиент как правило использует ~50 Мб оперативной памяти.

 

Подключение:

Если вы используете ADSL доступ в интернет (например ОГО! от Укртелекома) и ваш модем настроен в режиме бриджа (windows сама поднимает соединение PPoE) то в настройках клиента (agent-properties-settings-network interfaces) нужно выбрать пункт ppp0.

Этот совет применять в том случае, если всё "по умолчанию" не заработало и вы наблюдаете красные глобусы во вкладке network.

 

Фаервол:
Клиент использует порт номер 33333.

 

Прокси:
К сожалению клиент не поддерживает прокси с авторизацией, поэтому единственый выход из ситуации, когда вы видите Server returned HTTP respose code 403 - поставить у себя на машине локальный прокси, и "на него" настроить клиент.

 

Удаленное управление:
DIMES Control Center

Возможность удаленно управлять всеми своими клиентами. старт/стоп/перезагруз/обновление и еще очень много всего.

 

Пресса:
cnews.ru

 

Что такое ISP:

I-нтернет S-ервайс P-ровайдер

 

Что такое AS Nodes and Links:

На оффоруме обсуждается здесь.

Autonomous System (AS) - это сети которые принадлежат и управляются одним юридическим лицом. К примеру, многие инет-провайдеры имеют уникальный AS-идентификатор, а также большие компании (как Дженерал Электрик) и университеты зачастую регистрируют AS. Получить AS номер стоит примерно 500$ Этот номер затем используется для алгоритмов маршрутизации Интернета, чтобы распределять пакеты данных (к примеру, пакет от сайта Dimes, который является частью AS 378, двигается к AS 20965 (европейская академическая сеть), а затем до AS 701 (MCI) и доставляется клиенту). Размер AS может очень сильно различаться. Самая большая AS является вероятно AS 701 (MCI - UUNet) и содержит более 2000 связей с другими AS. Самая маленькая, которую я знаю: инет-провайдер в Martha's Vineyard всего лишь с одним роутером.

 

кто как использует crawl?

#1

я делаю это так.
1. нажимаю Crawl URL
2. ввожу адрес сайта
3. нажимаю OK и далее устанавливаю кол-во уровней для сканирования (лучше - 4) и кол-во IP, необходимых мне (обычно 200).
4. И жму Go
Клиент, сканируя указанный адрес, ищет по ссылкам новые айпишники, который в дальнейшем и трейсит. В принципе, таким образом можно найти в короткое время много новых AS. Но это теория, практика пока что-то это не доказала.

#2

А я в качестве странички даю ему результат поиска яндекса по какому-нибудь тематическому запросу: например "министерство", "научные исследования", "карелия" и т.п. Думаю, что AS в нашей стране должны принадлежать крупным провайдерам, институтам и правительственным организациям, поэтому нужно делать запрос так, чтобы было найдено побольше сайтов по таким тематикам. Кстати, хватает глубины 3. Результат - у меня сейчас на том агенте, где я экспериментирую, 80 AS'ов.

 

Местонахождение файла конфигурации клиента:

Файл настройки клиента в виндовс лежит тут: _DIMES_Agent_Classes_Base_conf_properties.xml 

 

Форумы команд:


 

FAQ создан общими усилиями учасников русскоязычных команд Ukraine, Russia и TSC! Russia.



Дата: Середа, 02 Січень 2008
Прочитана: 17022 раза

Распечатать Распечатать    Переслать Переслать    В избранное В избранное

Повернутися назад

 » Положення команди 
Медико-біологічні
Correlizer
47
DrugDiscovery@Home
9
Fightaids@Home
40
Folding@Home
56
Gpugrid.net
50
Help Cure Muscular Dystrophy
40
Help Conquer Cancer
40
Help Fight Childhood Cancer
40
Human Proteome Folding (Phase 2)
40
Lattice Project
20
Malariacontrol.net
47
NRG@home (Najmanovich Research Group)
26
Poem@Home
32
Ps3grid.net
50
RNA World
47
Rosetta@Home
27
World Community Grid
40
Математика
Abc@Home
13
Collatz Conjecture
75
EulerNet
10
Gimps (Great Internet Mersenne Prime Search)
29
Mersenne@home
78
NFS@Home (Number Field Sieve)
55
OGR-27
11
OPTIMA@HOME
35
primaboinca
44
Primegrid
40
Seventeen Or Bust
16
Seventeen Or Bust-Sieve
17
WEP-M+2 Project (Wanless)
40
Криптографія
DistrRTgen
68
Enigma@Home
52
RC5-72
22
Фізика
Einstein@Home
49
IBERCIVIS
1
Leiden Classical
61
Lhc@Home
33
Magnetism@Home
2
Muon1-DPAD
31
Spinhenge@Home
39
Хімія
QMC@Home
44
Kосмос
Constellation@home
51
Cosmology@Home
44
Milkyway@Home
48
Orbit@Home
27
SETI@Home
90
Планета земля
Climate Prediction
43
La Red de Atrapa Sismos
7
Quake Catcher Network
64
Radioactive@Home
12
Virtual Prairie (ViP)
24
Штучний інтелект
FreeHAL@Home
24
Neurona@Home
21
Інтернет
Majestic-12
4
Рендеринг
Burp
34
Luxrenderfarm@home
0
ORE (Open Rendering Environment)
40
Ігрові проекти
Chess960@Home
95
sudoku@vtaiwan
16
Клікери і трекери
Marmot Project
239
Whatpulse
83
Мікс
AlmereGrid
24
Pirates@Home
9
Sztaki Desktop Grid
58
Yoyo@Home
37