歡迎您光臨本站 註冊首頁

Apache Arrow 1.0.0 釋出,記憶體資料交換格式

←手機掃碼閱讀     admin @ 2020-07-30 , reply:0

Apache Arrow 1.0.0 現已釋出。官方表示,此版本是 Apache Arrow 的第 18 個主要版本,標誌著 columnar format 向二進位制穩定性的過渡,以及 Arrow 軟體庫向語義版本控制的過渡。  

Apache Arrow 是 Apache 基金會的頂級專案之一,目的是作為一個跨平臺的資料層來加快大資料分析專案的執行速度。它包含一組規範的記憶體中的平面和分層資料表示,以及多種語言繫結以進行結構操作。 它還提供低架構流式傳輸和批次訊息傳遞,零複製程序間通訊(IPC)和向量化的記憶體分析庫。

columnar format 的一些更改內容如下: 

  • metadata 版本被更改為新版本 V5,表明 Union 型別的緩衝區佈局發生了不相容的更改。
  • Dictionary indices  現在允許是無符號整數,而不是隻有符號整數。由於Java支援不佳,仍然不鼓勵使用UInt64。
  • 添加了一個新的“Feature”列舉。
  • 在 IPC 格式中增加了使用 LZ4 或 ZStandard 的可選緩衝區壓縮。
  • Decimal types 獲得了一個可選的“bitWidth”欄位,預設為 128。根據團隊的說法,這將使它們將來支援其他 decimal widths,例如 32 位和 64 位。
  • 有效性點陣圖緩衝區已刪除。

此外,該團隊還擴充套件了整合測試,以測試擴充套件型別和巢狀詞典;並更新了對 C ++、Java、Python、R、Ruby、C GLib 以及 Rust 的支援。

更多詳細內容可檢視官方釋出說明:https://arrow.apache.org/blog/2020/07/24/1.0.0-release/ 


[admin ]

來源:OsChina
連結:https://www.oschina.net/news/117561/apache-arrow-1-0-0-released
Apache Arrow 1.0.0 釋出,記憶體資料交換格式已經有23次圍觀

http://coctec.com/news/all/show-post-245940.html