ua     ru    Sitemap   Sitemap     | Поиск... |       Сайт открыт 14.12.2005

Ukraine - Distributed Computing Team

 

 » Навигация 
  Новости
  Новости (Архив)
  Описания проектов
  Наши опросы
  Архивы

  Форум
  Форум (PDA)

 » Статьи  


       Описания проектов 
Начало раздела > Dimes

FAQ



версія українською

автор - nikelong


FAQ о проекте DIMES

 

Ссылки:

 

Цель проекта:
     Интернет построен таким образом, что единственным эффективным способом построить его карту является сделать это распределённо. Поэтому, мы просим вас принять участие в нашем проекте. Нам важны не столько ваши циклы CPU или сетевой трафик (который наш клиент почти не потребляет), сколько ваше местонахождение. Чем в большем количестве мест работают клиенты проекта, тем точнее будут составленные им карты. Понимание структуры Интернета — важная исследовательская задача. Её решение сможет позволить сделать Интернет более приятным местом для каждого из нас.

    Клиент DIMES выполняет измерения состояния сети, такие как TRACEROUTE или PING. Делает это он с низкой частотой, потребляя в пике до 1 килобайта в секунду. Агент никуда не отсылает ни информацию о действиях, выполняемых на компьютере, ни вашу личную информацию — он отсылает ТОЛЬКО результаты измерений.

    В данное время клиент показывает карты того, как Интернет выглядит с вашей точки обзора, а в будущем — сможет предоставлять персонализированные «прогнозы Интернет-погоды», и другую интересную информацию.

С июня 2005 года проект DIMES публикует графы AS-ов (Autonomous System) и графы роутеров Интернета для использования научным сообществом. Данные публикуются ежемесячно и и содержат следующее:
DIMESEdges - список краевых точек автономных систем, которые были найдены в течение месяца и встречались как минимум дважды.
BGPEdges - список краевых точек автономных систем, которые были получены анализом последних данных проекта по обзору роутеров с помощью BGP (Border Gateway Protocol)...

Данные продоставляются при условии, что они будут использоваться только для исследовательских и образовательных целей. В частности, не разрешается использовать данные в каких-либо коммерческих целях.

 

Что делает клиент:

Примерно это выглядит так: клиент получает список IP. Птом он их пингует и трэйсроутит. Результаты своей работы отсылает обратно на сервер. Поскольку ничего не обрабатывается, то и нагрузки на ЦПУ нет. Опрашивая ip-адреса с некоторой переодичностью, клиент формирует "карту", иначе схему связи, отдельных компьютеров и сетей между собой. Зачем? А дело в том, что о современной структуре интернета мы знаем мало. DNS-серверы ещё известны, известно как они связаны друг с другом - это своеобраный "центр" интернет-мира, а вот "переферия" и то, как она устроена - нам известно плохо. Я не помню где, но видел, что разработчики предполагают использовать данные, полученные от проекта, для разработки принципиально иных схем маршрутизации данных внутри сети. Сейчас если "центр" откажет, то всё - смерть. В этом смысле интернет чем-то похож на большой город, который не успевает за изменениями, происходящими в обществе. Когда появилась сеть INTERNET, никто не мог предполагать, что она превратится в то, что она есть сейчас. Отсюда проблемы, связанные с несовершенством архитектуры. Она просто не отвечает реалиям XXI века. DIMES позволит (так говорят разработчики) выявить эти проблемы и даст необходимые данные для дальнейшего реформирования.

 

Задачи:

В то время как Интернет бурно эволюционировал в последнее десятилетие, рос и интерес в измерении и изучении его структуры. Многочисленные научно-исследовательские проекты с переменным успехом пытались отобразить топологию Интернета, а также другие аспекты, такие как распределение задержек и пропускной способности. По мере того как Интернет продолжал расти, особенно вдали от своего Северо-Американского центра, также росли и несоответствия измерений. Главным недостатком текущих проектов измерения является достаточно ограниченное число узлов измерения (обычно от пары дюжин до нескольких сотен), что искажает результаты в сторону тяготения к центру. Чтобы исправить эту ситуацию, инфраструктура измерений должна вырасти на несколько порядков в размере и более рассредоточиться по миру. Мы представляем DIMES, распределенную глобальную инфраструктуру, предназначенную для измерения структуры и развития Интернета с помощью большого числа взаимодействующих агентов. Ключевым отличием DIMES от других проектов является отход от небольшого числа специализированных узлов, предназначенных только для измерений, в сторону большого сообщества узлов с запущенными небольшими малозаметными агентами в фоновом режиме. Принимая во внимание важность разнообразности положения в измерениях Интернета, это отличие обещает значительно улучшить результаты измерений.
Задачи измерений DIMES.
1. Измерить весь доступный граф AS.
2. За три года добиться присутствия агентов в 95% AS в Интернет.
3. Через полтора года создавать актуальный AS граф каждые 2 часа.
4. Через полтора года создавать актуальный граф роутеров каждую неделю.
5. Через год сопровождать графы Интернета имеющимися данными по пропускной способности.
6. Через два года измерять мобильный/сотовый Интернет с помощью мобильной версии DIMES
Задачи анализа DIMES.
1. Создать динамические модели, которые будут воспроизводить развитие Интернета такое, как оно отражается в результате измерений, для уровней AS и роутеров.
2. Вывести граф Интернета на карте.
3. Разработать показатели социального/экономического роста на основании развития Интернета.

Подробнее тут.

 

Как присоеденится к команде:
Во время инсталяции, когда будет пункт выбора команды выбрать "join team", написать слово Ukraine , именно так, с большой буквы и нажать энтер. После чего раскрыть список команд и удостоверится в том что система "подхваила" именно нашу команду Украины.

 

Очки:
Нормально настроенный клиент, с нормальным провайдером выдает ~5000 очков в сутки.

Это когда Вы в настройках ползунок delay between measurements ставите на 15 секунд.
Теперь имеем один пинг в 15 секунд. 4 пинга/минуту *60 мин*24 часа = 5760 очков в сутки в теории.

Официальная статистика обновляется мгновенно, как только клиент отправляет результат. Суммарное количество очков по аккаунту немного опаздывает.

На free-dc статистика "на глаз" обновляется где-то раз в два часа.

 

Канал в интернет:
Клиенту всё-равно какой у Вас доступ в интернет. Будь-то диал-ап или гигабитная оптика. Один пинг раз в 15 секунд плюс результаты измерений. А они отсылаются, когда файл данных достигает 250Kb. Примерно, это в районе 70 измерений и 20-25 минут работы агента. В статистике отображаются измерения, которые были присланы за час; бывает, что в течение часа агент отсылает 3 файла, а может получиться, что и один.

При остсутствии соединения клиент каждые 5 мин. пытается соеденится с сервером. Так что если у Вас непостоянное соединение с интернет то ничего страшного, и перезапускать клиент каждый раз не нужно.

 

Системные требования:
Клиент как правило использует 0...1% ресурсов процессора.
Клиент как правило использует 0...1% ресурсов вашего интернет канала.
Клиент как правило использует ~50 Мб оперативной памяти.

 

Подключение:

Если вы используете ADSL доступ в интернет (например ОГО! от Укртелекома) и ваш модем настроен в режиме бриджа (windows сама поднимает соединение PPoE) то в настройках клиента (agent-properties-settings-network interfaces) нужно выбрать пункт ppp0.

Этот совет применять в том случае, если всё "по умолчанию" не заработало и вы наблюдаете красные глобусы во вкладке network.

 

Фаервол:
Клиент использует порт номер 33333.

 

Прокси:
К сожалению клиент не поддерживает прокси с авторизацией, поэтому единственый выход из ситуации, когда вы видите Server returned HTTP respose code 403 - поставить у себя на машине локальный прокси, и "на него" настроить клиент.

 

Удаленное управление:
DIMES Control Center

Возможность удаленно управлять всеми своими клиентами. старт/стоп/перезагруз/обновление и еще очень много всего.

 

Пресса:
cnews.ru

 

Что такое ISP:

I-нтернет S-ервайс P-ровайдер

 

Что такое AS Nodes and Links:

На оффоруме обсуждается здесь.

Autonomous System (AS) - это сети которые принадлежат и управляются одним юридическим лицом. К примеру, многие инет-провайдеры имеют уникальный AS-идентификатор, а также большие компании (как Дженерал Электрик) и университеты зачастую регистрируют AS. Получить AS номер стоит примерно 500$ Этот номер затем используется для алгоритмов маршрутизации Интернета, чтобы распределять пакеты данных (к примеру, пакет от сайта Dimes, который является частью AS 378, двигается к AS 20965 (европейская академическая сеть), а затем до AS 701 (MCI) и доставляется клиенту). Размер AS может очень сильно различаться. Самая большая AS является вероятно AS 701 (MCI - UUNet) и содержит более 2000 связей с другими AS. Самая маленькая, которую я знаю: инет-провайдер в Martha's Vineyard всего лишь с одним роутером.

 

кто как использует crawl?

#1

я делаю это так.
1. нажимаю Crawl URL
2. ввожу адрес сайта
3. нажимаю OK и далее устанавливаю кол-во уровней для сканирования (лучше - 4) и кол-во IP, необходимых мне (обычно 200).
4. И жму Go
Клиент, сканируя указанный адрес, ищет по ссылкам новые айпишники, который в дальнейшем и трейсит. В принципе, таким образом можно найти в короткое время много новых AS. Но это теория, практика пока что-то это не доказала.

#2

А я в качестве странички даю ему результат поиска яндекса по какому-нибудь тематическому запросу: например "министерство", "научные исследования", "карелия" и т.п. Думаю, что AS в нашей стране должны принадлежать крупным провайдерам, институтам и правительственным организациям, поэтому нужно делать запрос так, чтобы было найдено побольше сайтов по таким тематикам. Кстати, хватает глубины 3. Результат - у меня сейчас на том агенте, где я экспериментирую, 80 AS'ов.

 

Местонахождение файла конфигурации клиента:

Файл настройки клиента в виндовс лежит тут: _DIMES_Agent_Classes_Base_conf_properties.xml 

 

Форумы команд:


 

FAQ создан общими усилиями учасников русскоязычных команд Ukraine, Russia и TSC! Russia.



Дата: Среда, 02 Январь 2008
Прочитана: 16561 раз

Распечатать Распечатать    Переслать Переслать    В избранное В избранное

Другие публикации
  • Установка клиента
    Вернуться назад

  •  » Место команды 
    Медико-биологические
    Correlizer
    47
    DrugDiscovery@Home
    9
    Fightaids@Home
    40
    Folding@Home
    56
    Gpugrid.net
    50
    Help Cure Muscular Dystrophy
    40
    Help Conquer Cancer
    40
    Help Fight Childhood Cancer
    40
    Human Proteome Folding (Phase 2)
    40
    Lattice Project
    20
    Malariacontrol.net
    47
    NRG@home (Najmanovich Research Group)
    26
    Poem@Home
    32
    Ps3grid.net
    50
    RNA World
    47
    Rosetta@Home
    27
    World Community Grid
    40
    Математика
    Abc@Home
    13
    Collatz Conjecture
    75
    EulerNet
    10
    Gimps (Great Internet Mersenne Prime Search)
    29
    Mersenne@home
    78
    NFS@Home (Number Field Sieve)
    55
    OGR-27
    11
    OPTIMA@HOME
    35
    primaboinca
    44
    Primegrid
    40
    Seventeen Or Bust
    16
    Seventeen Or Bust-Sieve
    17
    WEP-M+2 Project (Wanless)
    40
    Криптография
    DistrRTgen
    68
    Enigma@Home
    52
    RC5-72
    22
    Физика
    Einstein@Home
    49
    IBERCIVIS
    1
    Leiden Classical
    61
    Lhc@Home
    33
    Magnetism@Home
    2
    Muon1-DPAD
    31
    Spinhenge@Home
    39
    Химия
    QMC@Home
    44
    Космос
    Constellation@home
    51
    Cosmology@Home
    44
    Milkyway@Home
    48
    Orbit@Home
    27
    SETI@Home
    90
    Планета земля
    Climate Prediction
    43
    La Red de Atrapa Sismos
    7
    Quake Catcher Network
    64
    Radioactive@Home
    12
    Virtual Prairie (ViP)
    24
    Искуственный интеллект
    FreeHAL@Home
    24
    Neurona@Home
    21
    Интернет
    Majestic-12
    4
    Рендеринг
    Burp
    34
    Luxrenderfarm@home
    0
    ORE (Open Rendering Environment)
    40
    Игровые проекты
    Chess960@Home
    95
    sudoku@vtaiwan
    16
    Кликеры и трекеры
    Marmot Project
    239
    Whatpulse
    83
    Микс
    AlmereGrid
    24
    Pirates@Home
    9
    Sztaki Desktop Grid
    58
    Yoyo@Home
    37