作者subgn ( )
看板DataScience
标题[问题] 不同硬体下训练，验证组表现出现差异
时间Sun Mar 13 19:04:12 2022
作业系统:(ex:mac,win10,win8,win7,linux,etc...)
mac, linux
问题类别:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
CNN
使用工具:(ex:python,Java,C++,tensorflow,keras,MATLAB,etc...)
tensorflow, keras
问题内容:
自从tensorflow也出了支援用mac的m1来加速训练後，mac使用者也可以爽用GPU加速
但我很好奇他对比nvidia的速度如何，上网搜寻到这篇文章
https://tinyurl.com/4ubwkmya
硬体： mac mini m1 VS Nvidia V100
资料集: Cifar 10
模型：MobileNetV2
训练结果
速度方面，在只训练最後一层的时候，m1辗压v100，大概是归功於m1是soc的记忆体架构
如果训练整个网路的话m1略输v100
功耗与温度方面
m1不愧是ARM架构所以功耗与温度全面碾压v100
(作者说m1全程连风扇的声音都没听到，手去摸机壳也没问题)
但奇怪的是，m1在只训练最後一层的情况下，validation loss比v100差很多
差距可以到2.6 vs 0.73，作者说把learning rate调小才解决问题。
但这不是很奇怪吗？ 同样的演算法，同样的模型架构，同样的资料集，
用不同的硬体，顶多会有速度跟功耗的差异，为何连准确度也会有差异？
唯一的可能是m1版的tensorflow还没有到很完美，可能有些小bug, 例如optimizer
大家怎麽看呢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.193.248.45 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1647169455.A.7FC.html
1F：→ wuyiulin: PyTorch 换版都会降 accuracy 了 何况你CPU架构还不一 03/13 19:47
2F：→ wuyiulin: 样 03/13 19:47
3F：推 goldflower: 出包的可能环节很多啊 cuda/tf/onnx/m1 blabla 03/15 23:37
4F：→ school4303: rng的seed? 03/22 00:20