作者gilingking (精灵游侠)
看板DataScience
标题[问题] (已解决)Tensorflow session 初始化时间很久
时间Thu Oct 22 22:47:58 2020
作业系统: WIN10 64
问题类别: DL、CNN
使用工具: Keras-2.3.1
Tensorflow-2.1.0
cudnn-7.6.5
Cuda-10.1.243
硬体配置: I5-8400、技嘉GTX3090、RAM64G
同样的程式码，都配置同样的虚拟环境
我在2080Ti在初始化模型训练的过程大概花费2~3分钟
但换成3090时却需要20分钟，如附图
https://imgur.com/zxhyJre
模型是一个Binary classification model
简单说明一些使用的参数:
image_size: 224x224x3
Batch_size: 32
Optimizer: Adam
CNN架构仅是五层的2Dconv+BN+ReLU
最後面接GAP+Dense(32)+Dense(1)
蓝色处是第一次model.complie()，花费五分钟
红色处是第一次model.fit_generator，花费十七分钟
而即使启动训练後，模型也感觉没在训练，train loss仅有些微的变动
val_loss跟val_accuracy则是完全没变。
但相同的程式码我在另外一台跑是正常且loss会收敛的。
我有考量到是不是GPU有问题，我知道之前国外有crash的灾情
目前驱动已经更新到最新版(456.71)
我搜寻网上没有找到类似的问题(但我觉得可能是我不太会找)
还请各位高手替我解惑，先谢谢各位了
-------------------------------------------------------
由於30系列的显卡目前只支援cuda11.1
所以若要正常使用tensorflow做训练目前我搜寻到的结果只有两种
1. 自己重新编译一版能支援cuda11.1的tensorflow
2. 用tf-nightly (tensorflow-2.4 以上的版本似乎都有支援Cuda11.1)
我目前是用第二种，现在训练的状况就正常了
也分享一下我自己建环境的心得
https://tinyurl.com/y6o83p6w
最後谢谢各位留言回覆的大神们帮忙
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.175.112.198 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1603378080.A.104.html
※ 编辑: gilingking (1.175.112.198 台湾), 10/22/2020 23:07:02
1F：推 min86615: 好像很多人2.1版都会有这个问题（非3090的锅），你降版 10/22 23:55
2F：→ min86615: 试试 10/22 23:55
3F：→ min86615: 啊啊啊抱歉我想问一下 cuda10.1支援3090吗也可能是CUDA 10/23 00:03
4F：→ min86615: 上的问题 10/23 00:03
5F：→ gilingking: 我也想过可能是cuda 那所以都换个版本试试看吗 10/23 00:15
7F：→ gilingking: 也许cuda版本是一个好的方向 谢谢你的提点 我明天测 10/23 00:18
8F：→ gilingking: 试看看效果如何 10/23 00:18
9F：→ gilingking: 我是没有碰到error 不过可以把版本升上去试试看 当初 10/23 00:19
10F：→ gilingking: 降到2.1是因为跟其他函式库版本有冲突 10/23 00:19
11F：→ chang1248w: 在等tensorflow支援cuda11 10/23 00:52
12F：→ gilingking: 所以是目前30系列只能支持cuda11.1的版本关系吗？ 那 10/23 08:23
13F：→ gilingking: 看来只能等TF2.4版了 10/23 08:23
14F：→ followwar: pytorch makes life easier XD 10/25 21:40
15F：推 jasonspacex: tf-nighty 支援 cuda11.1 10/29 19:06
16F：推 jasonspacex: 30系列好像只支援cuda11 10/29 19:07
17F：推 jasonspacex: 用3080跑 目前没什麽问题 10/29 19:10
18F：→ gilingking: 嗯嗯 我目前也是用tf-nightly 谢谢你哦 10/30 09:54
※ 编辑: gilingking (49.216.244.8 台湾), 10/30/2020 10:24:41