请问可以提供一下已训练的模型吗

[z1mpleee]

你好，请问可以提供一下使用mutil model defense训练后的模型的权重吗？

[finger-monkey]

strong_baseline 的 multi-modal defense 模型权重如下：
https://drive.google.com/file/d/1YY3QVFbwHncUFMn8n3SUutxxFjoISWQr/view?usp=sharing
由于时间比较久远，加上期间硬盘问题丢失了许多数据，不确定这个模型权重的防御效果如何，如果您测试后发现没有问题希望能告知我一下，谢谢。

新版本论文的完整开源代码将在论文发表后公布。新版本论文是基于其他基准代码来开发的。

[z1mpleee]

好的我这两天测试一下，谢谢

[z1mpleee]

你好，我试了一下您提供的模型，在测试集数据处理中添加Resize((110, 50))的话是可以复现您论文中的效果的。
但是如果直接Resize((256, 128))的话，结果会相差很大，结果如下：
mAP: 0.5%, Rank-1 :0.0%, Rank-5 :0.7%, Rank-10 :1.3%
请问是正常现象吗？

[z1mpleee]

使用的数据集是您提供的MS-SSIM

[finger-monkey]

您好，这是正常现象，在最新的论文《Robust Person Re-identification with Multi-Modal Joint Defence》（http://arxiv.org/abs/2111.09571）里对它做了相关的解释。简单来说，Resize((110, 50))是论文中提出的被动防御方案，它能有效破坏对抗噪声的结构。在这样的预处理后再送入具有更好的鲁棒性的多模态防御模型就会获得不错的增益效果（单单依靠多模态防御模型抵御不了攻击性很强的攻击，如果使用攻击性较弱的攻击样本就可以明显的看到效果），其次是由于文中提出的多模态图像训练方法所能得到的防御能力不够稳定，可能要训练8个模型才能得到一个防御能力能够正常发挥的模型，具体论文中都给出的解释。

[finger-monkey]

如果想验证的’如果使用攻击性较弱的攻击样本就可以明显的看到效果‘这一点的话，我可以上传一个 攻击性较弱的MS-SSIM攻击样本数据集 提供验证。

[finger-monkey]

或者您可以对比一下 正常训练的模型+Resize((110, 50)) 与多模态防御模型+Resize((110, 50)) 的防御效果，应该还是会有差异的。不过针对不同的攻击这种差异会有所不同。在新版论文中的实验可以观察到 多模态防御模型 大概能提升10个百分点左右的防御。

[z1mpleee]

是的，我刚刚测试了其他攻击算法产生的数据和正常训练的模型，确实如您所说的一样，十分感谢🙏

[finger-monkey]

不客气，有问题欢迎随时提问。
祝好~