歡迎您光臨本站 註冊首頁

Delta Lake 進入 Linux 基金會

←手機掃碼閱讀     admin @ 2019-10-19 , reply:0

近日,數據湖(data lakes)數據治理項目 Delta Lake 進入 Linux 基金會,基金會表示將與 Delta Lake 共建數據湖開放標準。

Delta Lake 是一個存儲層,為 Apache Spark 和大數據 workloads 提供 ACID 事務能力,其通過寫和快照隔離之間的樂觀併發控制(optimistic concurrency control),在寫入數據期間提供一致性的讀取,從而為構建在 HDFS 和雲存儲上的數據湖帶來可靠性。

Linux 基金會介紹,當前每個組織都希望通過數據科學、機器學習和分析從數據中獲得更多價值,但由於數據湖內部缺乏數據可靠性,產生了極大的阻礙。Delta Lake 通過使事務符合 ACID 標準來啟用併發讀取和寫入,從而解決了數據可靠性挑戰。它的架構實施能力有助於確保數據湖中沒有損壞且不合格的數據。自 2017 年 10 月推出以來,Delta Lake 已被 4 000 多家組織採用,每月處理超過 2 exabyte(十億位元組)數據。

「將 Delta Lake 引入 Linux 基金會的中立組織之下,將有助於依賴該項目的開源社區開發解決存儲和處理大數據(本地和雲端)的技術」,Linux 基金會戰略計劃副總裁 Michael Dolan 表示。

實際上 Databricks 的聯合創始人是 Apache Spark 項目的創建者,Spark 目前已成為大規模數據處理事實上的標準,儘管 Delta Lake 最初設計為與 Spark 配合使用,但其目前已經發展出了一個蓬勃的開源社區,並增加了對其它開源數據系統的支持。

目前 Delta Lake 已經被成千上萬的組織採用,包括 Intel、阿里巴巴、Booz Allen Hamilton 與 Starburst 等,並且他們也是其開源生態的重要貢獻者。為了進一步推動 Delta Lake 開源生態的發展,Delta Lake 背後的公司 Databricks 作出了將 Delta Lake 託管到 Linux 基金會的決定。

Databricks 的 CEO 兼聯合創始人 Ali Ghodsi 表示:「我們的團隊繼續創建開源項目並為之做出貢獻,因為我們知道這是最快、最全面的創新方式。為了解決組織的數據挑戰,我們希望確保該項目以最真實的形式開源。通過 Linux 基金會社區的力量和貢獻,我們相信 Delta Lake 將很快成為數據湖中數據存儲的標準。」

相關閱讀:

前陣子 Delta Lake 剛被 InfoWorld 評為 2019 年最佳開源軟體,詳見:

https://www.oschina.net/news/110451/2019-infoworld-bossie-awards


[admin ]

來源:OsChina
連結:https://www.oschina.net/news/110689/delta=lake-joins-linux-foundation
Delta Lake 進入 Linux 基金會已經有209次圍觀

http://coctec.com/news/soft/show-post-217146.html