http://www.ixbt.com/news/hard/index.shtml?05/23/25От распределённых вычислений к аренде процессорного времени
В общем-то перевод «grid computing technologies as a key ingredient for successful utility computing models» не очень точный, но точного эквивалента этих терминов пока нет. Utility computing – это предоставление комплексных услуг по обсчёту задач заказчика на оборудовании подрядчика, но одним оборудованием дело не ограничивается. Сравнение с водой и электроэнергией, подаваемой в квартиру, в общем-то правомерное, но под словом «вода» надо понимать всю инфраструктуру и полный технологический процесс местного Водоканала. Grid computing – это несколько проще, и об этом мы последнее время писали – система распределённой (в разной мере) обработки данных. В пределах одного центра обработки данных либо локальной, либо частной распределённой (VPN) сети. Так вот когда к распределённой сети подключаются мощности поставщика услуги аренды процессорного времени, тогда возникает частный случай grid computing – utility computing model.
В данный момент предоставлением такой услуги занимаются IBM, HP и Sun Microsystems. А эта заметка про отчёт американской аналитической компании The 451 Group, занимающейся среди прочего исследованием рынка распределённых вычислений. О предоставлении (за деньги) 59-страничного отчёта можно узнать по почте, однако резюме по докладу обнародовали в свободном доступе.
Краткий вывод таков: пока аренда вычислительных мощностей не совсем рыночный продукт, а скорее набор сырых разработок, но и в таком виде она остаётся весьма востребованной. То же, что из её развития может получиться в недалёком будущем, скорее всего произведёт революцию в корпоративной ИТ-структуре.
Главные проблемы, которые надо решить на стороне клиента – виртуализация и произвольная консолидация вычислительных ресурсов, автоматизация управления ими, ориентация их на распределённое исполнение программ, сервисно-ориентированное ПО с чётким мониторингом производительности и распределением по доступным ресурсам с учётом временных и стоимостных приоритетов.
Проблемы доставки услуги в настоящее время стоят не очень остро – пропускной способности публичных каналов хватает, но вопрос временного распределения трафика и особенно пиковых нагрузок ещё не снят.
Со стороны же поставщика услуг в первую очередь отмечается как двигатель прогресса готовность к повышению привлекательности их за счёт моделей оплаты «pay as you go», т.е. жёсткого биллинга и оплаты только реально предоставленного процессорного времени (в лидерах Sun – 1 долл. за час использования одного процессора). Примыкает к этому проблема предоставления запрошенной мощности в полном объёме в любой момент времени. Далее следует конфиденциальность и целостность данных, участвующих в обмене, в том числе и защита от пользователей (в широком смысле и на обеих сторонах). Очень важна поддержка широкого спектра программного обеспечения, в исследовании обращается внимание на активных участников процесса – IBM, Oracle и SAP, которые втроём покрывают чуть не весь рынок корпоративного ПО и на деле показывают свою заинтересованность в развитии сервисно-ориентированной распределённой программной среды. В заключение стоит упомянуть про лицензирование используемого ПО – в программах этого класса данный вопрос достаточно запутан и привязан зачастую к процессору, процессорному ядру или другой неявной в случае распределённой структуры единице, что также не облегчает задачу. Этот вопрос пока открыт.
Стоит отметить, что некоторый опыт использования распределённых вычислений и предоставления мощностей центров обработки данных в аренду к настоящему времени хотя бы достаточно чётко очертил круг проблем, нуждающихся в решении, по некоторым направлениям проделана определённая работа. И хотя до полной ясности в вопросе «как это будет выглядеть» ещё далеко, однако уже практически ясно, как это выглядеть должно.
http://www.ixbt.com/news/news.php?id=51931Intel и ЦЕРН расширяют сотрудничество
Штаб-квартира ЦЕРН, или Европейского центра ядерных исследований, находится в Женеве. В настоящее время членами ЦЕРН являются Австрия, Бельгия, Болгария, Чехия, Дания, Финляндия, Франция, Германия, Греция, Венгрия, Италия, Голландия, Норвегия, Польша, Португалия, Словакия, Испания, Швеция, Швейцария и Великобритания, а Индия, Израиль, Япония, Россия, США, Турция, Европейская комиссия и организация UNESCO имеют статус наблюдателей.
Сегодня корпорация Intel и ЦЕРН официальным пресс-релизом объявили об открытии нового Центра компетенции по платформам (Platform Competence Centre), созданного для испытаний и оценки новейших процессорных технологий, которые будут использоваться в передовых исследованиях в области физики элементарных частиц. Корпорация Intel, уже имеющая опыт совместной работы с ЦЕРН в рамках промышленного партнерства «openlab», стала первым участником проекта «openlab-II», который предполагает создание Центра компетенции по платформам для оценки целесообразности использования 64-разрядных и многоядерных технологий, а также технологии виртуализации в физике элементарных частиц. Реализация проекта начнется в 2006 году.
Соответствующее соглашение 5 декабря подписали Ханнес Швадерер (Hannes Schwaderer), региональный менеджер Intel в Центральной Европе, и Роберт Эймар (Robert Aymar), генеральный директор ЦЕРН. В рамках «openlab-II» ЦЕРН сможет оценить перспективные технологии при обработке данных в рамках экспериментов с использованием большого адронного коллайдера (Large Hadron Collider, LHC) – флагманского ускорителя на встречных пучках, который является одним из мощнейших инструментов для научных исследований. ЦЕРН получит заблаговременный доступ к новым процессорам Intel, платформам и сетевому оборудованию, а также к группе интегрированных в кремний так называемых *T-технологий.
В рамках подписанного соглашения корпорация Intel будет также содействовать ЦЕРН в создании Центра межсетевых распределенных вычислений (Grid Interoperability Centre), который займется изучением преимуществ grid-вычислений для мирового сообщества физиков, исследующих элементарные частицы, и подтверждением правильности интеграции grid-вычислений с существующими инфраструктурами ЦЕРН.
На первом трехлетнем этапе работ в рамках проекта openlab промышленные партнеры ЦЕРН, в том числе компании Intel, Enterasys, IBM, HP и Oracle, тестировали и оценивали работу открытого кластера ЦЕРН – новой системы на базе процессоров Itanium 2, состоящей из более чем 100 двухпроцессорных серверов, а также изучали ее производительность в рамках глобальной распределенной компьютерной сети, предназначенной для обработки потоков данных, которые будут поступать в ходе экспериментов на LHC. LHC – огромный ускоритель элементарных частиц, с длиной окружности 27 км, должен начать работу в 2007 году и будет поставлять более 10 млн. Гб информации в год. Уже свыше полутора лет открытый кластер ЦЕРН играет важнейшую роль в моделировании реальной работы распределенной вычислительной сети LHC, в частности, с помощью службы под названием Service Challenges, которая в апреле 2005 года обеспечивала скорость обмена данными порядка 600 Мб/с между ЦЕРН и семью крупнейшими научными вычислительными центрами по всему миру. На протяжении последних месяцев Service Challenges продолжала расширяться, охватывая все большее пространство, и теперь для обработки данных на протяжении многих недель порой бывает задействовано до 20 вычислительных центров по всему миру. Открытый кластер также помог получить исключительно важные результаты, оптимизировав в рекордное время тепловой поток вокруг детекторов тяжелых элементарных частиц. Решение этой инженерной проблемы в полной мере продемонстрировало возможности открытого кластера по быстрой обработке больших объемов информации. В повседневной работе вычислительный центр ЦЕРН использует группу серверов, состоящую примерно из 2 тысяч двухпроцессорных серверов на базе процессоров Xeon.
В рамках нового соглашения корпорация Intel предоставляет доступ к своей программе под названием Advanced Computing Center, которая призвана ускорить разработку новых гибких высокопроизводительных систем на базе более мощных суперкомпьютеров. Технические эксперты Intel будут оказывать поддержку при проведении семинаров в ЦЕРН, а также вести занятия по вопросам использования технологий фирмы в grid-вычислениях, по HPC и кластерным технологиям.
Распределённые системы – одно из ведущих направлений активно развивающихся сейчас суперкомпьютерных технологий, и многие полагают, что наиболее перспективное. К примеру, недавно на них обратила внимание и Microsoft.