float と half float の線形補間の誤差 #33
Description
背景
Resolve の 3DLUT の出力値を分析していたところ、誤差が発生し、しかも正規分布になっていた。もしかして Resolve は 3DLUTの補間計算が half float だったりする？という仮説の検証をしたい。
目的
float と half float とで線形補間計算を行った場合の誤差の分布がどのような形になるかを調べる。
{{ message }}
Resolve の 3DLUT の出力値を分析していたところ、誤差が発生し、しかも正規分布になっていた。もしかして Resolve は 3DLUTの補間計算が half float だったりする？という仮説の検証をしたい。
float と half float とで線形補間計算を行った場合の誤差の分布がどのような形になるかを調べる。