Apache Kudu 1.10.0 發布了,Kudu 是一個支持結構化數據的開源存儲引擎,具有低延遲隨機讀取與高效分析讀取模式。它基於 Apache Hadoop 生態系設計,並支持與 Apache 軟體基金會其它數據分析項目集成。
此版本帶來的新特性包括:
- Kudu 現在通過使用 Apache Spark 實現的作業支持完整和增量表備份。此外,它還支持通過使用 Apache Spark 實現的還原作業從完全備份和增量備份中還原表。
- 現在可以將 Kudu 內部目錄與 Apache Hive Metastore 同步,在 Kudu 創建、刪除和更改表時自動更新 Hive Metastore 表條目。
- Kudu 現在通過與 Apache Sentry 的集成支持本機細粒度授權。現在可以實施為 Kudu 表和列定義的訪問控制策略,以及在可能存儲 Kudu 表的 Hive 伺服器和資料庫上定義的策略。
- Web UI 現在支持 SPNEGO,這是一種通過 HTTP 標頭傳遞協商來保護使用 Kerberos 的 HTTP 請求的協議。
- 列註釋現在可以存儲在 Kudu 表中,並且可以使用 AlterTable API 進行更新。
- Java 掃描令牌構建器現在可以為每個 tablet 創建多個令牌。要使用此功能,請調用 setSplitSizeBytes() 以指定每個令牌應掃描的數據位元組數。同樣的API也可以在 Kudu 的 Spark 集成中使用,它可用於為每個被掃描的 tablet 生成多個 Spark 任務。
- 實驗性 Kudu Docker 圖像現已在 Docker Hub 發布。
- Kudu 現在有一個實驗性的 Kubernetes StatefulSet 清單和 Helm 圖表,可用於使用 Kubernetes 定義和提供 Kudu 集群。
-
kudu perf table_scan
掃描表並顯示錶的行數以及運行掃描所用的時間。
-
kudu table copy
(kudu 表副本)將數據從一個表複製到另一個表,在同一個集群內或跨集群。注意,此實現適用於單個客戶端,因此可能不適合大型表。
- 現在可以逐個表地配置 Tablet 歷史記錄保留時間。
新版本還包含大量改進、bug 修復等等,更多詳情可查看更新日誌。
下載地址:https://kudu.apache.org/releases/1.10.0