Выпущена платформа Apache Hadoop v1.0
10 января 2012 г., 12:05

Организация Apache Software Foundation (ASF), объединяющая разработчиков более 150 Open Source-проектов, объявила о выпуске платформы распределенных вычислений Apache Hadoop v1.0. Эта стабильная, готовая для использования на корпоративном уровне сборка, появилась после шести лет работы над проектом.

Платформа Hadoop предназначена для организации распределенной обработки больших объемов данных (измеряемых петабайтами) с использованием парадигмы map/reduce (т.е. отдельная задача делится на более мелкие, каждую из которых можно запустить на отдельном узле кластера). Hadoop v1.0 основана на стабильной ветке 0.20.203.x, включает поддержку безопасного режима работы кластера (с поддержкой аутентификации с использованием Kerberos и средств разграничения полномочий), интерфейса WebHDFS (HTTP REST API для доступа к ФС HDFS). В Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), оптимизированная для работы MapReduce-приложений и автоматически обеспечивающая резервирование данных. Для упрощения доступа к данным в Hadoop имеется база данных HBase, средства повышения производительности HBase при доступе к локальным файлам. Кроме того, имеется специально разработанный язык Pig, своего рода SQL для MapReduce, его запросы можно распараллеливать и обрабатывать несколькими Hadoop-платформами.

Hadoop уже активно используется в крупных промышленных проектах, в частности Yahoo! (в поисковом кластере, объединяющем более 40 тыс. узлов и установившему мировой рекорд скорости сортировки большого объема данных), Facebook (для обработки одной из самых крупных в мире БД объемом около 30 петабайт), Oracle (в платформе Big Data), IBM (в суперкомпьютере Watson), Microsoft (для работы с СУБД SQL Server, Windows Server и «облачной» платформой Azure Cloud ).

Apache Hadoop выпускается под лицензией Apache License v2.0, исходный код, документацию, список дополнительных ресурсов можно найти здесь:
http://hadoop.apache.org/