作者lytn (sapphira)
看板Visual_Basic
标题[VBA ] 数值精度的问题
时间Tue Jul 3 22:41:39 2012
遇到了个很基本却不会的问题
程式码:
dim A as double
dim Err double
Err = A - Cells("A1")
执行时用监看式看
A: 1.06 double
cells: 1.06 Variant
Err: 1.xxE-14 double
想问一下为什麽执行时,Err有时为0,有时非0
要如何改才会都为0呢?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 219.68.138.212
1F：推 ooooooo:四舍五入到整数? 反正Err 肯定是个趋近 0 的数 07/03 22:53
2F：→ ooooooo:若四舍五入到整数位精度不够，可以往後延长ex 小数第五位 07/03 22:55
3F：→ lytn:在想应该有可以不用舍去的精确方法? 07/03 23:00
4F：→ lytn:因为看ERR值这件事还挺常用的,想学很坚实的方法 07/03 23:01
5F：→ lytn:想了解成因跟解法 07/03 23:01
6F：→ MOONRAKER:没有什麽「坚实」的方法 07/04 00:18
7F：→ MOONRAKER:所有的浮点数输出或使用时都要有有效数字的观念 07/04 00:19
8F：→ MOONRAKER:要求超过实用以外的精确度 是没有意义的 07/04 00:26
9F：→ MOONRAKER:反过来讲这才是最坚实(rigid)的方法 07/04 00:26
10F：→ lytn:感谢两位指点 07/04 11:40