python 實現 hive中類似 lateral view explode的功能示例

背景：加入現在有這樣的數據，可能一條ocr代表兩個label，並且label通過","分隔。我們想把數據轉換成下面的。

原始數據：

目標數據：

實現辦法：

1.通過hive代碼：

  select ocr,split(tag_info,',') label  from   (   select label,ocr    from t1   lateral view explode(split(label,',')) TableName as tag_info   ) t;

要注意的是一定要添加 t 語句另命名。

2.通過python代碼：

  df0 = pd.DataFrame({'A':[[1,2],[5,6]],'B':[10,-20]})  df0 = df  df0.columns = ['A','B']  rows = []  for i, row in df0.iterrows():   for a in row.A.split(","):   rows.append((a, row.B))  df222 = pd.DataFrame(rows, columns=df.columns)  df222

補充知識：hive中的lateral view(側視圖) 與 explode函數的使用

今天偶然間發現了一個hive中列轉行的小題目，需要用到lateral view 和 explode函數，剛好借這題說說lateral view 與 explode函數的使用。
 

題目是這樣：

原數據表如下圖

需求：將電影分類中的數組數據展開。

結果如下：

《疑犯追蹤》 懸疑
 《疑犯追蹤》 動作
 《疑犯追蹤》 科幻
 《疑犯追蹤》 劇情
 《Lie to me》 懸疑
 《Lie to me》 警匪

先簡單聊幾句理論：explode與lateral view在關係型數據庫中本身是不該出現的，因為他的出現本身就是在操作不滿足第一範式的數據（每個屬性都不可再分），本身已經違背了數據庫的設計原理（不論是業務系統還是數據倉庫系統），不過大數據技術普及後，很多類似pv，uv的數據，在業務系統中是存貯在非關係型數據庫中，用json存儲的概率比較大，直接導入hive為基礎的數倉系統中，就需要經過ETL過程解析這類數據，explode與lateral view在這種場景下大顯身手。

explode作用是處理map結構的字段，使用案例如下：

  //建表語句  create table movie_info(  movie string,  category array)  row format delimited fields terminated by '	'  collection items terminated by ',';  //加載數據  load data local inpath '/opt/data/movie.txt' into table movie_info;

看下explode函數效果，以拆解category為例，可與原數據表結構對比。

select explode(category) from movie_info;

LATERAL VIEW的使用：

用法：

LATERAL VIEW udtf(expression) tableAlias AS columnAlias

解釋：用於和split, explode等UDTF一起使用，它能夠將一列數據拆成多行數據，在此基礎上可以對拆分後的數據進行聚合。

  select movie,category_name  from movie_info  lateral view explode(category) table_emp as category_name;

效果如下：

其中lateral view explode(category) table_emp相當於一個虛擬表，與原表movie_info笛卡爾積關聯，也可以多重使用。那麼問題就這樣解決了。