简单有效的工作！有一些疑问对于训练推断的数据输入

[Hoantrbl]

感谢作者高质量的开源，完整review完所有的code之后，仍有一些疑问向作者请教：

1. 训练阶段，应该是只有spike作为输入信号，采取的uniform模式，去平均采样帧数生成模糊图像来生成监督信号；在测试阶段，只是采样spike的某一帧来作为监督信号，所以这个时候模型ouput的就是清晰的图，这个时候就是sharp_data作为监督？而且只有采用mid来作为测试指标的输出，请问这样的选择以及误差范围有没有考虑过呢？
2. 在render阶段，就是直接根据插值位姿以及点云来生成对应的场景了是吗？

[Hoantrbl]

同时请问作者， 我参照您的教程用blender输出factory场景（from Deblur-nerf），最多只能产出33张图像，没有您所说的 455 images，是否您做了一些其他blender的处理呢？

[chenkang455]

1. 训练阶段，应该是只有spike作为输入信号，采取的uniform模式，去平均采样帧数生成模糊图像来生成监督信号；在测试阶段，只是采样spike的某一帧来作为监督信号，所以这个时候模型ouput的就是清晰的图，这个时候就是sharp_data作为监督？而且只有采用mid来作为测试指标的输出，请问这样的选择以及误差范围有没有考虑过呢？

Hi, @Hoantrbl 感谢您对我们工作的兴趣。接下来，我逐个回答您提出的疑惑：

训练阶段，应该是只有spike作为输入信号，采取的uniform模式，去平均采样帧数生成模糊图像来生成监督信号。

是的，在我们的整个框架当中，输入只是脉冲spike，监督信号为脉冲信号进行长曝光累计得到的模糊图像。直接利用模糊图来分别训练重构网络Recon-Net和3DGS，会导致两者输出的图像都是模糊的。为了克服这个问题，我们引入了模糊分解损失函数（见论文公式8和9），使得Recon-Net和3DGS在监督信号为模糊图的情况下依然能重构出清晰图像。

在测试阶段，只是采样spike的某一帧来作为监督信号，所以这个时候模型ouput的就是清晰的图，这个时候就是sharp_data作为监督？而且只有采用mid来作为测试指标的输出，请问这样的选择以及误差范围有没有考虑过呢？

这里您可能理解错了，在测试阶段，无论是3DGS还是Recon-Net，均不进行训练。这里选取mid = 88，只是为了让3DGS和Recon-Net渲染对应曝光时段在中间时刻的成像，以和GT对比来计算PSNR等指标。为了帮助您更好理解整个论文框架，我重新叙述如下：本文的设定是利用单一的脉冲相机来完成脉冲重构网络和3DGS的联合训练，故这里不存在利用清晰图像作为监督信号的过程（合成数据集中提供清晰图像只是为了方便计算指标，而不是作为监督信号，参考真实场景中不包含清晰图我们依然可以完成训练）。为了直接从脉冲流中完成3DGS和Recon-Net的联合优化，我们首先直接从脉冲中重构出模糊图像，接着利用模糊分解损失函数来使得3DGS和Recon-Net能从模糊图中学到清晰图的表征。那为什么我们在训练阶段需要采用uniform模式来采样？因为我们对于每一段模糊图，我们需要恢复出来一个图像序列（在这个例子中是13）来实现模糊损失函数。在训练完毕后，由于我们的目标是给一段脉冲，让Recon-Net从中重构出图像/给定一个pose，让3DGS从中渲染出对应的图像，所以我们只选取了mid point作为测试，来衡量它和给定GT的差异。

而且只有采用mid来作为测试指标的输出，请问这样的选择以及误差范围有没有考虑过呢？
这里采取mid作为测试是和BAD-Gaussian保持一致，也可以对多张图同时测试，但整体指标差异应该不会太大，谢谢您的意见，我后续会考虑进去。

在render阶段，就是直接根据插值位姿以及点云来生成对应的场景了是吗？
这个是的，render阶段，由于我们已经优化好了对应的高斯球，既可以在训练位姿上插值来渲染，也可以自己任意选定一条相机轨迹。

[chenkang455]

同时请问作者， 我参照您的教程用blender输出factory场景（from Deblur-nerf），最多只能产出33张图像，没有您所说的 455 images，是否您做了一些其他blender的处理呢？

是的，我们在此基础上进行了插值，可以修改.blend文件里面时间拉伸来改变单个场景图片渲染个数的限制。后续整理下，我们会上传修改后的.blend文件。

[Hoantrbl]

感谢您的回答！受益匪浅！

[chenkang455]

感谢您的回答！受益匪浅！

不客气~~也感谢您对我们工作敢兴趣，欢迎继续提问~

[Hoantrbl]

同时请问作者， 我参照您的教程用blender输出factory场景（from Deblur-nerf），最多只能产出33张图像，没有您所说的 455 images，是否您做了一些其他blender的处理呢？

是的，我们在此基础上进行了插值，可以修改.blend文件里面时间拉伸来改变单个场景图片渲染个数的限制。后续整理下，我们会上传修改后的.blend文件。

请问作者能上传一下对应的blend文件吗

[chenkang455]

你好，@Hoantrbl，源blend文件已上传，见：https://pan.baidu.com/s/1-jXca3FuYlNIc1jZoMs_xw?pwd=0623

[Hoantrbl]

你好，@Hoantrbl，源blend文件已上传，见：https://pan.baidu.com/s/1-jXca3FuYlNIc1jZoMs_xw?pwd=0623

Cool!