歡迎您光臨本站 註冊首頁

Apache Flink 1.11.0 釋出

←手機掃碼閱讀     admin @ 2020-07-10 , reply:0

Apache Flink 社群宣佈了 Flink 1.11.0 的釋出,該版本的一些重點內容如下:

  • core engine 引入了 unaligned checkpoints,這是對 Flink 的容錯機制的重大更改,該機制可改善在高背壓下的檢查點效能。
  • 一個新的 Source API 透過統一批處理和 streaming 執行以及將內部元件(例如事件時間處理、水印生成或空閒檢測)解除安裝到 Flink 來簡化(自定義)sources 的實現。
  • Flink SQL 引入了對變更資料捕獲(CDC)的支援,以輕鬆使用和解釋來自 Debezium 之類的工具的資料庫變更日誌。更新的 FileSystem 聯結器還擴充套件了 Table API/SQL 支援的用例和格式集,從而實現了直接啟用從 Kafka 到 Hive 的 streaming 資料傳輸等方案。
  • PyFlink 的多項效能最佳化,包括對向量化使用者定義函式(Pandas UDF)的支援。這改善了與 Pandas 和 NumPy 之類庫的互操作性,使 Flink 在資料科學和 ML 工作負載方面更強大。

重要變化

  • [FLINK-17339] 從 Flink 1.11 開始,Blink planner 是 Table API/SQL中的預設設定。自 Flink 1.10 起,SQL 客戶端已經存在這種情況。仍支援舊的 Flink 規劃器,但未積極開發。
  • [FLINK-5763] Savepoints 現在將其所有狀態包含在一個目錄中(後設資料和程式狀態)。這樣可以很容易地找出組成 savepoint 狀態的檔案,並允許使用者透過簡單地移動目錄來重新定位 savepoint
  • [FLINK-16408] 為了減輕對 JVM metaspace 的壓力,只要任務分配了至少一個插槽,TaskExecutor就會重用使用者程式碼類載入器。這會稍微改變 Flink 的恢復行為,從而不會重新載入靜態欄位。
  • [FLINK-11086] Flink 現在支援 Hadoop 3.0.0 以上的 Hadoop 版本。請注意,Flink 專案不提供任何更新的“flink-shaded-hadoop-*” jars。 使用者需要透過HADOOP_CLASSPATH環境變數(推薦)或 lib/ folder 提供 Hadoop 依賴項。
  • [FLINK-16963] Flink 隨附的所有MetricReporters均已轉換為外掛。 這些不再應該放在/lib中(可能導致依賴衝突),而應該放在/plugins/<some_directory>中。
  • [FLINK-12639] Flink 文件正在做一些返工,因此從 Flink 1.11 開始,內容的導航和組織會有所變化。

詳情檢視:https://flink.apache.org/news/2020/07/06/release-1.11.0.html

下載地址:https://flink.apache.org/downloads.html


[admin ]

來源:OsChina
連結:https://www.oschina.net/news/117059/apache-flink-1-11-0-released
Apache Flink 1.11.0 釋出已經有51次圍觀

http://coctec.com/news/all/show-post-242165.html