weather数据集结果与论文结果存在较大偏差

[yiyouchens1]

作者你好，感谢您提供的模型，您的模型非常好。但是在使用复现weather数据集结果的时候，出现了一些问题。weather数据集输入序列基本上从512遍历到了5376 间隔256，预测长度96。最好的结果：MSE是0.188左右，MAE是0.233左右，输入序列长度在3328附近。与论文相差较大。是否作者您的模型参数上传错误？论文中的结果：MSE是0.145 ，MAE是0.179。期待您的回答。测试了两次模型参数，使用了一周前更新的visiontspp_base.ckpt模型参数和第一次发布的visiontspp_model.ckpt模型参数。

test shape: (10432, 96, 21) (10432, 96, 21)
mae:0.23738666, mse:0.19414121, rmse:0.44061458, smape:59.68849945
==================================================
测试结果:
数据集: weather
序列长度: 2304
预测长度: 96
MSE: 0.194141
MAE: 0.237387
==================================================

test shape: (10432, 96, 21) (10432, 96, 21)
mae:0.23690571, mse:0.19263634, rmse:0.43890357, smape:59.51875687
==================================================
测试结果:
数据集: weather
序列长度: 2560
预测长度: 96
MSE: 0.192636
MAE: 0.236906
==================================================
.....................................................................................
..........................  省略...............................................
test shape: (10432, 96, 21) (10432, 96, 21)
mae:0.23370703, mse:0.18818513, rmse:0.43380308, smape:58.83847809
==================================================
测试结果:
数据集: weather
序列长度: 3328
预测长度: 96
MSE: 0.188185
MAE: 0.233707
==================================================
.....................................................................................
..........................  省略...............................................
test shape: (10432, 96, 21) (10432, 96, 21)
mae:0.24294962, mse:0.19752032, rmse:0.44443259, smape:60.48709106
==================================================
测试结果:
数据集: weather
序列长度: 4864
预测长度: 96
MSE: 0.197520
MAE: 0.242950
==================================================

[HALF111]

您好，谢谢关注！不过能否问下您运行的测试代码是哪一个呢。如果是您自己写的话能否提供给我呢，我会尝试复现并排查下。多谢~

[yiyouchens1]

作者您好，非常感谢您的回复。附件压缩包含有我的详细测试代码，包含sh命令行，启动代码和模型代码，数据加载代码，工具代码和我这边的详细运行日志。希望这些内容能够帮助您复现。 很感谢您对此问题的关心，您的科研工作很有价值，祝您科研顺利。 [test.zip](https://github.com/user-attachments/files/23566207/test.zip)

[yiyouchens1]

@HALF111 作者您好，打扰您了。可以询问一下我提交的测试代码存在问题吗？如果存在问题，欢迎您的指正。希望能够得到您的答复，祝您科研顺利、生活愉快。

[HALF111]

您好！很抱歉最近有点忙，漏掉了这个issue未能及时回复，非常抱歉。

我看过您之前的代码了，目不一致主要的问题是这样的。因为我们在训练时为了保证每个变量有相对充足的纵向像素点来避免信息被过分压缩，会设置训练时采样的变量个数max_channel_per_image不会超过16。（max_channel_per_image下面简称为max_ch）

但是下游任务，例如Weather有21个变量，超出了预训练范围。所以我们的策略是对变量按照max_ch做分组，例如一个朴素的分组就是顺序切割，分成[1, 2, ..., 15, 16]和[17, 18, 19, 20, 21]两组，并用两张图片分别跑两次预测后，将结果拼接回来，得到最终的预测结果。（但这只是一个朴素方法，可以进一步利用如channel clustering的相关工作方式来更合理分组）。

而在huggingface space里我们没有这么做，而是直接把21个变量拼在一张图里，主要是为了方便展示。您的代码最初跑出的结果也是这样的。

进一步：这里inference时切割的max_ch也可以作为超参来调整，例如按照max_ch=8则分为[1, ..., 8], [9, ..., 16], [17, ..., 21]三组。max_ch也可以为4，2，1等值。而在论文里我们汇报的是max_ch=1的情况，这相当于类似于channel independence的mechanism，这个mechanism在时序里面也是非常常用的；channel dependence和independence的讨论也一直存在。所以这导致结果和您复现的产生了分歧。

以下是我一组本地跑出的结果，输入序列长度为1728，base模型，max_ch分别从16到1：

max_ch=16：
mse:0.16845792531967163, mae:0.20957551896572113

max_ch=8：
mse:0.15646693110466003, mae:0.19486303627490997

max_ch=4：
mse:0.15068663656711578, mae:0.18755857646465302

max_ch=2：
mse:0.14275985956192017, mae:0.17673766613006592

max_ch=1：
mse:0.1445048600435257, mae:0.17741423845291138

另外max_ch=21的结果如下，和您跑的结果也接近：
mse:0.1996123343706131, mae:0.2398824840784073

可以看到max_ch=1也不一定最优，所以这个也可以作为一个超参来调整。由于max_ch过高会导致每个变量有效信息压缩过多，max_ch过低可能推理速度过慢。建议实际应用设置为2-4更合适。

另外，我大概这几天会增加跑LTSF benchmark的脚本，方便您和其他人复现实验结果。

希望这能帮到您，多谢！

[yiyouchens1]

非常感谢您的回复。我这边刚开始时确实是按照huggingface space上面的操作流程来使用该模型，默认了通道不独立。非常抱歉打扰了您由于我的了解浅薄。感谢作者您的回复，给我解答了疑问。

[HALF111]

您太客气了，确实也是我论文里其实没有写清楚导致的。我在后续论文版本中也会进行相应修改~

[HALF111]

另外我似乎收到了您那边想要测试Traffic数据集的邮件，但是issue上没看到诶。如果可以的话您也可以尝试使用不同的sep_dim分组预测来测试下结果。我后续时间空余的话本地也会尝试运行实验结果~