歡迎您光臨本站 註冊首頁

python 刪除excel表格重複行,數據預處理操作

←手機掃碼閱讀     techdo @ 2020-07-07 , reply:0

使用python刪除excel表格重複行。

  # 導入pandas包並重命名為pd  import pandas as pd     # 讀取Excel中Sheet1中的數據  data = pd.DataFrame(pd.read_excel('test.xls', 'Sheet1'))     # 查看讀取數據內容  print(data)     # 查看是否有重複行  re_row = data.duplicated()  print(re_row)     # 查看去除重複行的數據  no_re_row = data.drop_duplicates()  print(no_re_row)     # 查看基於[物品]列去除重複行的數據  #wp = data.drop_duplicates(['物品'])  #print(wp)     # 將去除重複行的數據輸出到excel表中  no_re_row.to_excel("test2.xls")

 

補充知識:Python數據預處理(刪除重複值和空值)

pandas幾個函數的使用,大數據的預處理(刪除重複值和空值),人工刪除很麻煩

Python恰好能夠解決

註釋很詳細在這不一一解釋了

  ######################################  ##### 讀寫excel(xlsxlsx)文件  import pandas as pd  import numpy as np  df_excel = pd.read_excel('data3.xlsx')  print('數據量行*列',df_excel.shape)  # # df_excel.to_excel('df_excel.xlsx',header=None)#生成文件保存,無表頭  print('數據集中存在重複觀測的數量: ',np.sum(df_excel.duplicated())) #F為不存在,T為存在,用sum顯示重複的數量  print('刪除行重複後的數據 ',df_excel.drop_duplicates(subset=None,keep='first',inplace=None))#excel文件中設定第一和第二行為重複行,結果刪除了第二行保留第一行                ###df_excel.drop_duplicates(subset=['A','B'],keep='first',inplace=True)                #### 代碼中subset對應的值是列名,表示只考慮這兩列,將這兩列對應值相同的行進行去重。默認值為subset=None表示考慮所有列。                #####keep='first'表示保留第一次出現的重複行,是默認值。keep另外兩個取值為"last"和False,分別表示保留最後一次出現的重複行和去除所有重複行。                #####inplace=True表示直接在原來的DataFrame上刪除重複項,而默認值False表示生成一個副本    print('數據集列中是否存在缺失值: ',df_excel.isnull().any())       #F為不存在,T為存在  print('每一行的缺失值個數:',df_excel.isnull().sum(axis=1))  print('每一列的缺失值個數:',df_excel.isnull().sum(axis=0))              ####### df.isnull().sum(axis=0)每一列的缺失值個數            #####df.isnull().any()則會判斷哪些”列”存在缺失值  df=df_excel.dropna()  print(df_excel.dropna(thresh=5))                  # #axis=0: 刪除包含缺失值(NaN)的行                  # #axis=1: 刪除包含缺失值(NaN)的列                  # # how=‘any' :要有缺失值(NaN)出現刪除                  # # how=‘all': 所有的值都缺失(NaN)才刪除                  # 還有一個thresh參數                  # thresh=n,保留至少有 n 個非 NaN 數的行    ######drop用法  print(df_excel.drop(['edu'],axis=1))#按照列刪除edu這一列  print(df_excel.drop([0],axis=0))#按照行刪除0這一行

 


[techdo ] python 刪除excel表格重複行,數據預處理操作已經有170次圍觀

http://coctec.com/docs/python/shhow-post-241566.html