作者lytn (sapphira)
看板Visual_Basic
標題[VBA ] 數值精度的問題
時間Tue Jul 3 22:41:39 2012
遇到了個很基本卻不會的問題
程式碼:
dim A as double
dim Err double
Err = A - Cells("A1")
執行時用監看式看
A: 1.06 double
cells: 1.06 Variant
Err: 1.xxE-14 double
想問一下為什麼執行時,Err有時為0,有時非0
要如何改才會都為0呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 219.68.138.212
1F：推 ooooooo:四捨五入到整數? 反正Err 肯定是個趨近 0 的數 07/03 22:53
2F：→ ooooooo:若四捨五入到整數位精度不夠，可以往後延長ex 小數第五位 07/03 22:55
3F：→ lytn:在想應該有可以不用捨去的精確方法? 07/03 23:00
4F：→ lytn:因為看ERR值這件事還挺常用的,想學很堅實的方法 07/03 23:01
5F：→ lytn:想了解成因跟解法 07/03 23:01
6F：→ MOONRAKER:沒有什麼「堅實」的方法 07/04 00:18
7F：→ MOONRAKER:所有的浮點數輸出或使用時都要有有效數字的觀念 07/04 00:19
8F：→ MOONRAKER:要求超過實用以外的精確度 是沒有意義的 07/04 00:26
9F：→ MOONRAKER:反過來講這才是最堅實(rigid)的方法 07/04 00:26
10F：→ lytn:感謝兩位指點 07/04 11:40