日常の戯言とかなんとか

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
-------- : スポンサー広告 :
Pagetop

小数点の計算の謎

[floor(80*80*0.01)=64]になるのだけど
なぜか[floor(0.01*80*80)=63]になる

らしい

MUGENの浮動小数点型変数は32ビットだから2^-23までの精度のはず
0.01を2進にすると
00000000 00000010100011110101110
のはず
んで80は
01010000 00000000000000000000000
でいいんだよねたぶん
これを使って掛け算をする

まず、80×80は1100100000000 00000000000000000000000
これに0.01をかけたら000111111 11111111111111000000000
これをfloorすると000111111=63

一方、0.01×80は0 00000000 11001100110011001100000
それに80をかけると0 000111111 11111111111111000000000
これをfloorすると000111111=63

…あれ?

誰か詳しい人ツッコミ入れてください
正直浮動小数点型とかわかんねえっす
スポンサーサイト
2013-03-16 : 雑記 : コメント : 0 : トラックバック : 0
Pagetop
コメントの投稿
非公開コメント

Pagetop
« next  ホーム  prev »

プロフィール

@ひたち

Author:@ひたち
「@」を忘れるべからず
読みは普通に「ひたち」でいいんじゃないの

検索フォーム

アクセスカウンター

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。