为什么输入的数据是彩色图像和法向量估计值？

[isunLt]

感谢您开源代码，我有一个小疑惑，为什么代码要求的输入数据是彩色图像和法向量估计值，和论文里写的，彩色图像加深度值不一致？

[Francisco-liu]

因为预训练的编码器的输入是3通道的，为了方便编码器的输入，就把深度图变成3通道的法向量了，当然可以直接用深度图

[isunLt]

因为预训练的编码器的输入是3通道的，为了方便编码器的输入，就把深度图变成3通道的法向量了，当然可以直接用深度图

感谢您的回复，请问是使用什么算法，将深度图转化成法向量的？另外，为什么代码里是将SGF模块和VGSP模块分成两步来训练，而论文里写的两个模块似乎是一起训练的？

[Francisco-liu]

可以直接将深度图的通道复制三遍并归一化0-1，效果是差不多的。SGF模块和VGSP模块合并在一起训练效果更好，但是显存占用太大，且需要先训练2D部分再训练3D部分最后一起细化，比较麻烦，公布的两阶段更简单，效果差别不是太多

[isunLt]

可以直接将深度图的通道复制三遍并归一化0-1，效果是差不多的。SGF模块和VGSP模块合并在一起训练效果更好，但是显存占用太大，且需要先训练2D部分再训练3D部分最后一起细化，比较麻烦，公布的两阶段更简单，效果差别不是太多

感谢您的回复，我按您所说的方法，将深度图的通道复制三遍并归一化0-1，得到的结果为：IoU=72.4，mIoU=51.2，我们使用法向量训练时，得到的结果为：IoU=75.6，mIoU=60.1，mIoU相差较大，以下是我深度图读取代码，请问有什么能改进的地方，使得使用深度图训练的效果能更加接近使用法向量的训练方法。

    def read_depth(self, prefix):
        d = io.imread('{}.png'.format(prefix)) / 8000.0
        m = d > 0.
        d[m] = 1 / d[m]
        d_min, d_max = d[m].min(), d[m].max()
        d[m] = (d[m] - d_min) / (d_max - d_min)
        return np.stack([d, d, d], axis=2)

[Zdie]

您好，麻烦请教一下，您的法向量是如何得到的呢？非常感谢您抽空阅读！很期待您的分享，谢谢！