关于论文CKD忽略reg分支的疑惑

[ufestkc]

作者您好，最近在看HEAD这篇论文，对于CKD部分，为什么要忽略reg分支呢，忽略了怎么学习定位知识呢，我也看了G-DetKD这篇文章但还是不太明白，麻烦作者您指导一下。
还有一个问题是教师输出的F1 F2分别是对ROI的分类预测和回归框预测吗？

[LutingWang]

很多以往的检测蒸馏工作都是针对分类分支设计的，我们的一些前期实验也表明蒸馏回归分支的收益很小。对于这个现象，我个人的理解是，在检测任务中，提升分类性能可以降低回归错误带来的影响。举例来说，如果回归分支输出了一个错误的目标框，这时只要分类分支正确将其分类为背景，就可以抑制这个错误。所以蒸馏分类分支是更重要的。同时，我们工作中的 assistant （以及其他工作中的 neck 蒸馏），都有助于提升 backbone 的能力，也可以帮助回归分支实现更准确的定位。

关于第二个问题，可以参考论文 eq. (4) 上方的解释，F1 和 F2 都是教师检测器的 R-CNN head 的中间特征。分类头和回归头都是以最后一个中间特征作为输入进行预测的。