mysql可以使用nevicat導出insert語句用於數據構造,但是hive無法直接導出insert語句。我們可以先打印在hive命令行,然後使用腳本拼裝成insert語句,進行數據構造。
手動copy到python腳本進行sql語句構造:
def transformString(s): list_s = s.split(' ') print(len(list_s)) s_new = '' for item in list_s: s_new += '"' + item.strip(' ') + '"' + ',' return str(s_new.rstrip(','))# 為手動copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = '2019-03-18') values({});'.format(s_new)print(sql)
結果:
insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");
補充知識:python向hive插入數據遇到的坑
因項目需求,應用python建模需要通過hive取數,並將結果寫入hive表。
嘗試了以下幾條坑爹路,僅做記錄如下:
通過impyla庫搭建hive與python橋樑
1.1 環境配置的坑(回頭放連接)
注: 遠程訪問hive一定要記得配置賬號密碼!!!報錯:。。。-4.。。
1.2 一定不要用impyla中的executemany去批量插入數據,也不要用其他的方式向hive插入數據,都是坑!奇慢無比!找資料也都是說不建議這麼做。
長途跋涉hdfs法
2.1 先用python的pyhdfs庫將結果寫成hdfs文件,然後。。。尼瑪!!根本沒成功連上服務器的hdfs,本地hdfs到是可以的
2.2 那既然寫hdfs,我就直接將模型結果通過hadoop/hdfs命令上傳至hdfs。然後, 通過hive命令load data將hdfs中的結果再導入hive。雖然有點繞,但是成功了!!!BUT!!!小兄弟,這個直接操作HDFS風險太高了,要不你還是另尋他法吧,不可以拒絕哦!!!
2.3 好吧,根據建議,使用kafka,抱歉這個坑後面再來踩。
2.4 臨時處理方案:先將結果寫入mysql,再轉入hive,這個沒有坑,具體我也只是寫到mysql,無坑。。就是有點繞。。。
[zhang3221994 ] 使用Python構造hive insert語句說明已經有220次圍觀