Samwatas
|
 Posted: Sat Oct 02, 2010 14:42 Post subject: Проблемы округления типа ft_numeric_floating в Тотале |
 |
|
Вылизываю я тут свою библиотеку работы с wdx, и сталкиваюсь с разными проблемами. Часть я конечно решил, но встречаются различные ньюансы, об одном из которых я бы хотел поговорить. Это тип данных ft_numeric_floating (64-bit floating point variable (ISO standard double precision)). Плагин (в данном случае wdx4i.wdx) возвращает 1.25 , но тотал показывает 1.3 (то есть видимо радикально округляет). На английском форуме я нашел обсуждение этой проблемы (которое началось еще в 2005 году!). Короче судя по ответам (в том числе самого Гислера) так и было задумано. Но тогда непонятно, как должна возвращать значение моя утилита - так же округляя, как и тотал (в целях совместимости)? Но как именно тотал округляет? Один пользователь высказал предположение
| Quote: | | It seems that the rule is: if number<1 then 2 significant digits; if 1<=number<10 then 1 significant digit; if number>=10 then no significant digits |
Правда подтверждения от Гислера не последовало. Действительно тотал именно так округляет? И что именно он делает - округляет или отбрасывает незначащие цифры? |
|
Rules
Search
FAQ
Memberlist
Usergroups
Register
Profile
Log in to check your private messages
Log in
