Color training problems.

[qiaobendong]

您好，训练彩色图像的数据集还是这个吗？怎么训练彩色图像数据？

[chenkang455]

@qiaobendong 你好，提供的GOPRO数据集包含彩色的模糊图、清晰图和对应的事件流信息，运行 python train_GoPro.py --rgb True --save_path Model/RE_Net_RGB.pth 即可。

[qiaobendong]

谢谢您的回答，训练彩色图像的话请问代码里面有哪些地方需要修改？

[chenkang455]

谢谢您的回答，训练彩色图像的话请问代码里面有哪些地方需要修改？

不需要的，我们已经在数据读入阶段和模型处理阶段进行了相关处理：

To train our model from scratch on GRAY-GOPRO:
python train_GoPro.py --rgb False --save_path Model/RE_Net_GRAY.pth
To train our model from scratch on RGB-GOPRO:
python train_GoPro.py --rgb True --save_path Model/RE_Net_RGB.pth

数据部分彩色图像的修改代码见 https://github.com/chenkang455/TRMD/blob/d2a5c9d51994ad49ed421e10d3094bde84c6edb4/dataset_h5.py#L62C1-L63C1

原理部分彩色图像的修改代码见

TRMD/train_GoPro.py

Line 78 in d2a5c9d

def cal_res(blur_image,res_pre):

[qiaobendong]

非常感谢您，我想请问一下，在数据集中的对应的事件流信息中的事件帧只有灰度图吗？不是您论文中的那种红蓝点图？

[chenkang455]

非常感谢您，我想请问一下，在数据集中的对应的事件流信息中的事件帧只有灰度图吗？不是您论文中的那种红蓝点图？

数据集里的是经过SCER处理之后得到的事件体素，事件体素是对正负事件强度进行叠加得到的结果，只包含灰度信息。

[qiaobendong]

谢谢，你好，我把您的数据集转化为图片格式了，为什么彩色图片很不真实？很多颜色都不显示，好多不真实的颜色，和真实的gropro彩色图不一样，而且经过模型训练之后的去模糊图也是这样，我看您论文里的彩色图是真实的，是有什么地方需要设置还是？谢谢您！

[chenkang455]

谢谢，你好，我把您的数据集转化为图片格式了，为什么彩色图片很不真实？很多颜色都不显示，好多不真实的颜色，和真实的gropro彩色图不一样，而且经过模型训练之后的去模糊图也是这样，我看您论文里的彩色图是真实的，是有什么地方需要设置还是？谢谢您！

你可以提供一下你的图片吗？

[qiaobendong]

好的，就是这样的，您看下

[chenkang455]

好的，就是这样的，您看下

这应该是你的rgb通道错了，opencv默认读入是bgr方式，不知道你保存图片如何保存的，可以把最后一维通道倒置一下[:,:,-1]

[qiaobendong]

好的，谢谢您!

[qiaobendong]

您好，关于代码中的保存事件图像代码：

TRMD/utils.py

Line 258 in d2a5c9d

def save_event_image(voxel, title,mode='red-blue'):

我尝试保存red-blue事件图像，出现这样的错误，我是按照保存图像的方法一样进行保存，请问是我把保存的方式还是代码哪里需要修改？（save_event_image(np.array(voxel[j,:].detach().cpu()),f'{epoch}/{str(i).zfill(4)}event{j}')）
报错：
b[voxel > 0] = 255
IndexError: too many indices for array: array is 2-dimensional, but 3 were indexed

[chenkang455]

您好，关于代码中的保存事件图像代码：

TRMD/utils.py

Line 258 in d2a5c9d

def save_event_image(voxel, title,mode='red-blue'):

我尝试保存red-blue事件图像，出现这样的错误，我是按照保存图像的方法一样进行保存，请问是我把保存的方式还是代码哪里需要修改？（save_event_image(np.array(voxel[j,:].detach().cpu()),f'{epoch}/{str(i).zfill(4)}event{j}')）
报错：
b[voxel > 0] = 255
IndexError: too many indices for array: array is 2-dimensional, but 3 were indexed

这里输入的voxel shape为[h,w]，大于1的voxel为红，小于-1的voxel为蓝。

[qiaobendong]

我看在您数据集里面的voxe的size为【1，6，360，640】，使用您这个数据集怎么修改可以保存red-blue事件图像？感谢

[chenkang455]

保存voxel[0,0]即可

[qiaobendong]

好的谢谢您，但是保存之后背景是黑色的，和您论文里的事件图好像不一样，是哪里需要修改一下代码还是？感谢