Elasticsearch-datatran 是由 bboss 開源的一款將各種數據源中的海量數據同步到 Elasticsearch 的高效數據同步工具。
功能特點
1.支持多種數據源之間的數據同步
2.支持多種數據導入方式
3.支持的資料庫和消息中間件類型
資料庫: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、達夢等
消息中間件:kafka 1x,kafka 2x
4.Elasticsearch版本兼容性
Elasticsearch 1.x,2.x,5.x,6.x,7.x,+
5.支持海量PB級數據同步導入Elasticsearch
6.支持將ip轉換為對應的運營商/省份城市/經緯度坐標位置信息
7.支持設置數據bulk導入任務結果處理回調函數,對每次bulk任務的結果進行成功和失敗反饋,然後針對失敗的bulk任務通過error和exception方法進行相應處理
8.支持多種定時任務執行引擎
9.基於java語言開發和發布數據同步作業
bboss elasticsearch數據同步工具另一個顯著的特色就是直接基於java語言來編寫數據同步作業程序,基於強大的java語言和第三方工具包,能夠非常方便地加工和處理需要同步的源數據,然後將最終的數據保存到目標庫(Elasticsearch或者資料庫);同時也可以非常方便地在idea或者eclipse中調試和運行同步作業程序,調試無誤后,通過bboss提供的gradle打包構建腳本,即可發布出可部署到生產環境的同步作業包。
10.支持兩種作業運行方式
[admin
]