歡迎您光臨本站 註冊首頁

pytorch 限制GPU使用效率詳解(計算效率)

←手機掃碼閱讀     retouched @ 2020-06-28 , reply:0

問題

用過 tensorflow 的人都知道, tf 可以限制程序在 GPU 中的使用效率,但 pytorch 中沒有這個操作。

思路

於是我想到了一個代替方法,玩過單片機點燈的同學都知道,燈的亮度是靠佔空比實現的,這實際上也是計算機的運行原理。 那我們是不是也可以通過增加 GPU 不工作的時間,進而降低 GPU 的使用效率 ?

主要代碼

  import time  ...  rest_time = 0.15  ...  for _ in range( XXX ):    ...    outputs = all_GPU_operations( data_set ) # 假設所有的GPU運算都在這裡    time.sleep( rest_time )         # 讓顯卡休息一會再進行下個循環的使用    ...  ...

 


這樣子 GPU 的使用效率就可以減小了。

rest_time 的越大 GPU 使用率越低,rest_time 的越小 GPU 使用率越高。

缺點是很難直接控制 GPU 的具體使用率,rest_time 得自己調試後確定。

補充知識:深度學習PyTorch,TensorFlow中GPU利用率較低,使用率週期性變化的問題

在用tensorflow訓練神經網絡時,發現訓練迭代的速度時而快時而慢,監督的GPU使用率也是週期性變化,通過了解,發現原因是:

GPU在等待CPU讀取,預處理,並傳輸數據過來,因此要提高GPU的使用率,降低GPU的等待時間,需要加快CPU的處理速度.

在PYTORCH中的解決方案是用torch.utils.data.DataLoader,用num_workers設置線程數:

  torch.utils.data.DataLoader(image_datasets[x],    batch_size=batch_size,     shuffle=True,     num_workers=8,    pin_memory=True)

 


在tensorflow中的解決方案是用tf.data.Dataset.map(num_parallel_calls=8)中的num_parallel_calls設置讀取數據的線程數:

用 tf.data讀取數據, tf.data.Dataset中有一個map函數,它有個num_parallel_calls參數,可以控制CPU的線程,加快數據的讀取速度,一般將線程設置為8效果最好.


   


[retouched ] pytorch 限制GPU使用效率詳解(計算效率)已經有156次圍觀

http://coctec.com/docs/python/shhow-post-240056.html