作者PttCraft (WOT NA 怒伯)
看板DataScience
標題Fw: [問題] 深度學習SSD壽命
時間Thu Jan 20 07:06:59 2022
※ [本文轉錄自 Storage_Zone 看板 #1XuTWnaZ ]
剛剛才發現有這個板
有一些問題轉過來向先進們請教
作者: PttCraft (WOT NA 怒伯) 看板: Storage_Zone
標題: [問題] 深度學習SSD壽命
時間: Sat Jan 15 04:08:15 2022
最近下載了faceswap玩玩
看了一下說明
在訓練機器創建模型的時候
session iteration動輒上百萬次
目前電腦上有SSD也有傳統硬碟
想請教一下有經驗的前輩
這類程式的使用，對SSD壽命會不會有影響?
可以放心地把工作區域放在SSD上嗎?
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 174.103.163.88 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Storage_Zone/M.1642190897.A.923.html
1F：→ school4303 : 你的ram不做事嗎 01/15 04:54
https://i.imgur.com/ikPF9kB.jpg
我現在工作區放在傳統硬碟上
看他的atcitive time上上下下常常跳到高檔
所以有此一問
RAM穩定維持在使用20GB/32GB (有一邊開視窗跑其他遊戲程式)
CPU(AMD 5 3600)使用率大約維持在60%上下
GUP(1070 8G)使用率約在70-80%，8G vram持續維持在滿檔
2F：→ ddity : 寫入比較損耗壽命 01/15 07:05
3F：→ maniaque : 建議原PO跑一次建模前後各開啟看一下smart 數值 01/15 08:17
4F：→ maniaque : 這樣就知道累積的寫入讀取量 01/15 08:17
5F：推 giorno78 : 買更多ram 用 ramDisk 01/15 09:04
6F：推 fujisawa : 你找個監控軟體例如HWInfo看一下大約的寫入量 再去 01/15 09:26
7F：→ fujisawa : 對照一下SSD的TBW 就知道大略的壽命影響了 01/15 09:26
OK我試試看
8F：推 skywgu : 980 pro寫掉40t，CDI只掉1%給你計算參考 01/15 10:03
9F：推 skywgu : 當然如果不在意機械硬碟那精美的延遲及噪音那就繼 01/15 10:06
10F：→ skywgu : 續無腦用…畢竟企業碟都有250萬mtbf … 01/15 10:06
11F：推 nissptt : 花大把時間計算，儲存量也不大，該擔心的不是SSD使 01/15 10:07
12F：→ nissptt : 用壽命，而是SSD的猝死可能性吧！！ 01/15 10:07
13F：→ maniaque : raid0 ssd can solve problem 01/15 10:44
14F：→ maniaque : raid1 ssd can solve problem 01/15 10:44
15F：→ tomsawyer : raid can NOT solve problem, only ramdisk can 01/15 10:48
16F：→ maniaque : no , only Money can solve problem ....:D 01/15 10:50
17F：推 greg7575 : this is a book 01/15 10:58
18F：→ maniaque : that is a cat 01/15 12:10
19F：推 s860355 : meow 01/15 14:14
20F：推 ilanese : 買夠多的RAM，裝終保的RAM disk軟體 01/15 16:35
21F：推 FreedomTrail: Weeeeeeee~~~ 01/15 21:41
22F：推 teddyissad : 記得回報喔 我也想看看吃多少 01/17 21:40
上次training沒有成功結束就crash了
大約是275000 iteration
HWinfo64的紀錄寫入了大約400GB
磁碟空間沒有顯著的減少，所以大概是同一個檔重複寫入更新吧
這樣算起來如果跑個一百萬次 寫入的量大概會接近2TB
我的SSD 壽命大約是600TBW
2TB說多不多說少不少
所以我就想說再回去用HDD把整套流程玩熟了再回來用SSD產出
但是很怪的是用HDD每隔一陣子就會卡住
task manager會看到HDD Active time 100%滿檔 可是傳輸速度很低
卡住的時候session iteration的數字就不跳了，好像暫停程序的感覺
卡一陣子之後才會又開始跑
但是跑了48小時都還沒crash
不知道是什麼問題
23F：推 linlongchau : 棺材裝死人不是裝老人, SSD猝死非常可能 01/18 16:08
※ 發信站: 批踢踢實業坊(ptt.cc)
※ 轉錄者: PttCraft (174.103.163.88 美國), 01/20/2022 07:06:59
24F：→ chang1248w: 怕的話就把模型和參數存在hdd裡 01/20 13:28
25F：→ chang1248w: 要把sdd寫死之前先考慮你gram和顯卡頻寬能不能做到 01/20 13:29
26F：→ yoyololicon: 怎麼會寫這麼多...通常會寫入不就存checkpoint而已 01/20 16:20
27F：→ yoyololicon: 還是faceswap的訓練需要存gradient checkpoint? 01/20 16:20
28F：→ yoyololicon: 有沒有CV比較熟的可以解釋一下 01/20 16:20
29F：→ yoyololicon: 我猜是可能是存checkpoint的間隔step很少 01/20 16:21
30F：→ yoyololicon: 跑沒幾步就存一次 原po要不要看看有沒有參數可以改 01/20 16:22
有可能
他預設250次就存一次
因為是預設我就沒去動他
我來改改看再測測看
謝謝
31F：→ RumiManiac: iteration 通常是指計算更新一次參數，通常不會做完 01/22 12:02
32F：→ RumiManiac: 喔 我發現要講的樓上講完了 01/22 12:03
我一口氣把250次的儲存間隔拉到5000次
到目前450000次過去了
寫入大約60GB
果然降了很多
※ 編輯: PttCraft (174.103.163.88 美國), 01/22/2022 12:38:22