歡迎您光臨本站 註冊首頁

Hortonworks發布 Hadoop 2.0預覽發布版

←手機掃碼閱讀     火星人 @ 2014-03-04 , reply:0

Hortonworks發布 Hadoop 2.0預覽發布版

  
Hortonworks日前發布了下一代Apache Hadoop的預覽發布版。Apache Hadoop承諾會擴大能夠在數據處理平台上實施分析的種類範圍。
http://pub.chinaunix.net//uploadfile/201307/20130704095651529.jpg
新的Apache YARN調度程序通過提供一個更通用的資源管理框架取代了MapReduceHortonworks創始人、開發Hadoop的核心工程師之一Arun Murthy稱:「Hadoop 2.0是一個基本的架構改變,使Hadoop的重要性超過了僅僅作為一個批處理平台。這個更新的軟體將推動全新的一輪技術創新。
Hortonworks Data Platform 2.0 Community Preview(社區預覽版)包含許多用於Hadoop環境的新組件,最主要的是YARN(Yet Another Resource Negotiator,另一種資源協調者)。這是Hadoop的MapReduce工作調度程序的後續產品。

Murthy稱,Hadoop開始是作為一個「單個應用平台」製作的,主要是根據提取和索引網站內容製作的。機構現在正尋求把它用於其它工作,如互動查詢和實時傳輸數據的分析。

YARN通過擴大能夠在Hadoop平台上做的工作種類改進了MapReduce。MapReduce只能管理批量處理工作,在任何數量節點上執行數據分析,並且當完成之後返回結果。

  相比之下,YARN是一種通用的資源管理框架。YARN提供一種運行非批處理工作的基礎,如無限期地運行實時數據流以及包含互動查詢的工作。用戶可以在互動查詢中在移動中查詢數據。Murthy表示,用戶現在可以批量處理MapReduce的工作和在執行TARN工作時進行互動的SQL查詢。

Hortonworks負責公司戰略的副總裁Shaun Connolly稱,使用YARN,你有一個熟悉所有不同類型的工作量和工作需求的集群。因此,它們可以共存。你不要讓一個工作占支配地位或者接管這個集群的所有資源。以前,機構必須運行不同的集群以執行不同風格的任務。

HDP 2.0還包括許多新組件,包括一個加快大型和互動工作的YARN插件Apache Tez和提供在一個Hadoop庫中運行SQL查詢能力的技術集。

HDP 2.0的這個預覽版是一個完整的Hadoop發布版,可以在甲骨文VirtualBox或者VMware虛擬環境中運行。

Hortonworks本星期在加州聖何塞舉行的2013年Hadoop峰會上發布了HDP 2.0。Rackspace在這個會議上宣布它將提供Hadoop服務,其分析工具由Pentaho提供。Splunk發布一個名為Hunk工具,可查詢Hadoop庫。數據倉庫系統提供商Teradata發布了新的Hadoo應用。VMware升級了vSphere虛擬化管理軟體以支持hadoop集群。


[火星人 ] Hortonworks發布 Hadoop 2.0預覽發布版已經有253次圍觀

http://coctec.com/docs/service/show-post-3998.html