歡迎您光臨本站 註冊首頁

Elasticsearch 數據同步工具 Elasticsearch-datatran 6.0.6 發布

←手機掃碼閱讀     admin @ 2020-03-25 , reply:0

Elasticsearch-datatran 是由 bboss 開源的一款將各種數據源中的海量數據同步到 Elasticsearch 的高效數據同步工具。

功能特點

1.支持多種數據源之間的數據同步

2.支持多種數據導入方式

  • 批量數據導入
  • 批量數據多線程并行導入
  • 定時全量(串列/并行)數據導入
  • 定時增量(串列/并行)數據導入

3.支持的資料庫和消息中間件類型

資料庫: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、達夢等

消息中間件:kafka 1x,kafka 2x

4.Elasticsearch版本兼容性

Elasticsearch 1.x,2.x,5.x,6.x,7.x,+

5.支持海量PB級數據同步導入Elasticsearch

6.支持將ip轉換為對應的運營商/省份城市/經緯度坐標位置信息

7.支持設置數據bulk導入任務結果處理回調函數,對每次bulk任務的結果進行成功和失敗反饋,然後針對失敗的bulk任務通過error和exception方法進行相應處理

8.支持多種定時任務執行引擎

9.基於java語言開發和發布數據同步作業

bboss elasticsearch數據同步工具另一個顯著的特色就是直接基於java語言來編寫數據同步作業程序,基於強大的java語言和第三方工具包,能夠非常方便地加工和處理需要同步的源數據,然後將最終的數據保存到目標庫(Elasticsearch或者資料庫);同時也可以非常方便地在idea或者eclipse中調試和運行同步作業程序,調試無誤后,通過bboss提供的gradle打包構建腳本,即可發布出可部署到生產環境的同步作業包。

10.支持兩種作業運行方式

  • 嵌入到應用中運行,基於quartz和jdk timer調度的作業都可以運行在這種模式下,參考文檔:spring boot運行案例
  • 獨立發布包運行,基於quartz和xxl-job,jdk timer調度的作業都可以運行在這種模式下,參考文檔:作業發布

[admin ]

來源:OsChina
連結:https://www.oschina.net/news/114347/elasticsearch-datatran-6-0-6-released
Elasticsearch 數據同步工具 Elasticsearch-datatran 6.0.6 發布已經有209次圍觀

http://coctec.com/news/all/show-post-228221.html