Apache Arrow 1.0.0 釋出，記憶體資料交換格式

←手機掃碼閱讀 admin @ 2020-07-30 , reply:0

Apache Arrow 1.0.0 現已釋出。官方表示，此版本是 Apache Arrow 的第 18 個主要版本，標誌著 columnar format 向二進位制穩定性的過渡，以及 Arrow 軟體庫向語義版本控制的過渡。

Apache Arrow 是 Apache 基金會的頂級專案之一，目的是作為一個跨平臺的資料層來加快大資料分析專案的執行速度。它包含一組規範的記憶體中的平面和分層資料表示，以及多種語言繫結以進行結構操作。它還提供低架構流式傳輸和批次訊息傳遞，零複製程序間通訊（IPC）和向量化的記憶體分析庫。

columnar format 的一些更改內容如下：

metadata 版本被更改為新版本 V5，表明 Union 型別的緩衝區佈局發生了不相容的更改。
Dictionary indices 現在允許是無符號整數，而不是隻有符號整數。由於Java支援不佳，仍然不鼓勵使用UInt64。
添加了一個新的“Feature”列舉。
在 IPC 格式中增加了使用 LZ4 或 ZStandard 的可選緩衝區壓縮。
Decimal types 獲得了一個可選的“bitWidth”欄位，預設為 128。根據團隊的說法，這將使它們將來支援其他 decimal widths，例如 32 位和 64 位。
有效性點陣圖緩衝區已刪除。

此外，該團隊還擴充套件了整合測試，以測試擴充套件型別和巢狀詞典；並更新了對 C ++、Java、Python、R、Ruby、C GLib 以及 Rust 的支援。

Tags: 緩衝區

來源：OsChina

連結：https://www.oschina.net/news/117561/apache-arrow-1-0-0-released
Apache Arrow 1.0.0 釋出，記憶體資料交換格式已經有98次圍觀