The recall and F1 results for dataset Fan are 0

[goodboyl]

The dataset named Fan is very imbalanced, resulting in all predicted results being 0, resulting in both F1 and recall being 0. How can I handle this ?

[lima5264]

名为 Fan 的数据集非常不平衡，导致所有预测结果均为 0，导致 F1 和召回率均为 0。我该如何处理这个问题？

Can I communicate with you? WeChat 19862708169

[zzhisthebest]

in the reveal dataset，I also meet this problem,how did you solve it?

[1code12]

in the reveal dataset，I also meet this problem,how did you solve it?在揭示数据集中，我也遇到了这个问题，你是怎么解决的？

Since the author's first innovative graph simplification caused a lot of data sets to be lost, we don't know how many data sets he used to get the experimental results, and we are very suspicious about this.

[foresta-yang]

The dataset named Fan is very imbalanced, resulting in all predicted results being 0, resulting in both F1 and recall being 0. How can I handle this ?

Have you already solved this problem? I've also encountered it, could you help me something?

[mipu3]

名为 Fan 的数据集非常不平衡，导致所有预测结果均为 0，导致 F1 和召回率均为 0。我该如何处理这个问题？

Can I communicate with you? WeChat 19862708169

请问您复现出来了吗？

[huangyuyan3]

名为 Fan 的数据集非常不平衡，导致所有预测结果均为 0，导致 F1 和召回率均为 0。我该如何处理这个问题？

Can I communicate with you? WeChat 19862708169

请问您复现出来了吗？

请问您解决了吗

[1code12]

这篇顶会其实有问题，它第一个创新点，图简化会导致数据集缺失（因为本来就是代码片段，用Joern解析肯定是不完全的），然后他在论文中并没有说自己缺了多少，最后又是用缺了多少的测试集进行的实验，事实上，除了第一个数据集结果能复现，但是远远达不到它文中的效果（我们也不知道它最后测试集用的是啥），它后面用的两个数据集，我当时也是和你一样，在他给出的代码中，他对于正样本（有漏洞的样本）加大惩罚力度，所以它的recall很高，就是为了让他的f1提升，别在这篇身上浪费时间，它是在REVEAL这篇上改的，我记得用原REVEAL作者的REVRAL去复现，是复现不出来的，我是用的一篇顶会综述里面给出来的代码复现了，然后一看ample就是在它上面加了数据处理部分，也就是它图简化算法，再把模型部分改了一改。我现在已经毕业了，有一些东西我也忘记了，加我微信交流也交流不起来，我是看到你两点多发的，觉得你现在也挺苦的，所以回复下你

…

---Original--- From: ***@***.***> Date: Sat, Oct 25, 2025 02:22 AM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [AMPLE001/AMPLE] The recall and F1 results for dataset Fan are 0(Issue #3) huangyuyan3 left a comment (AMPLE001/AMPLE#3) 名为 Fan 的数据集非常不平衡，导致所有预测结果均为 0，导致 F1 和召回率均为 0。我该如何处理这个问题？ Can I communicate with you? WeChat 19862708169 请问您复现出来了吗？ 请问您解决了吗 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[huangyuyan3]

你应该是中国人吧，这篇顶会其实有问题，它第一个创新点，图简化会导致数据集缺失（因为本来就是代码片段，用Joern解析肯定是不完全的），然后他在论文中并没有说自己缺了多少，最后又是用缺了多少的数据集进行的实验，事实上，除了第一个数据集结果能复现，但是远远达不到它文中的效果（我们也不知道它最后测试集用的是啥），后面它后面用的两个数据集，我当时也是和你一样的情况，在他给出的代码中，他对于正样本（有漏洞的样本）加大惩罚力度，所以它的recall很高，就是为了让他的f1提升，AMPLE我觉得是造假了，别在这篇身上浪费时间，它是在REVEL这篇上改的，我记得用作者的REVRAL去复现，是复现不出来的，我是用的一篇顶会综述里面给出来的代码复现了，然后一看ample就是在它上面加了数据处理部分，也就是它图简化算法，再把模型部分改了一改。我现在已经毕业了，有一些东西我也忘记了，加我微信交流也交流不起来，我是看到你两点多发的，觉得你现在也挺苦的，所以回复下你
…

非常非常非常谢谢您 祝您生活一切顺利

[huangyuyan3]

你应该是中国人吧，这篇顶会其实有问题，它第一个创新点，图简化会导致数据集缺失（因为本来就是代码片段，用Joern解析肯定是不完全的），然后他在论文中并没有说自己缺了多少，最后又是用缺了多少的数据集进行的实验，事实上，除了第一个数据集结果能复现，但是远远达不到它文中的效果（我们也不知道它最后测试集用的是啥），后面它后面用的两个数据集，我当时也是和你一样的情况，在他给出的代码中，他对于正样本（有漏洞的样本）加大惩罚力度，所以它的recall很高，就是为了让他的f1提升，AMPLE我觉得是造假了，别在这篇身上浪费时间，它是在REVEL这篇上改的，我记得用作者的REVRAL去复现，是复现不出来的，我是用的一篇顶会综述里面给出来的代码复现了，然后一看ample就是在它上面加了数据处理部分，也就是它图简化算法，再把模型部分改了一改。我现在已经毕业了，有一些东西我也忘记了，加我微信交流也交流不起来，我是看到你两点多发的，觉得你现在也挺苦的，所以回复下你
…

抱歉，有一个问题经过思考确实没有想出来，抱歉再打扰问一下，为什么这篇论文的简化思路会导致数据集缺失呢，joern不是处理的函数级单样本吗，简化操作也应该是在单样本上操作，为什么会导致数据集的缺失呢？现在尝试用基于图的方法（用joern工具）在这三个函数级的数据集研究了很久了效果都非常不理想，确实是挺痛苦，不知道是不是自己陷入误区了，看您说joern处理的就已经不全了，所以想再确认一下

[foresta-yang]

你应该是中国人吧，这篇顶会其实有问题，它第一个创新点，图简化会导致数据集缺失（因为本来就是代码片段，用Joern解析肯定是不完全的），然后他在论文中并没有说自己缺了多少，最后又是用缺了多少的数据集进行的实验，事实上，除了第一个数据集结果能复现，但是远远达不到它文中的效果（我们也不知道它最后测试集用的是啥），后面它后面用的两个数据集，我当时也是和你一样的情况，在他给出的代码中，他对于正样本（有漏洞的样本）加大惩罚力度，所以它的recall很高，就是为了让他的f1提升，AMPLE我觉得是造假了，别在这篇身上浪费时间，它是在REVEL这篇上改的，我记得用作者的REVRAL去复现，是复现不出来的，我是用的一篇顶会综述里面给出来的代码复现了，然后一看ample就是在它上面加了数据处理部分，也就是它图简化算法，再把模型部分改了一改。我现在已经毕业了，有一些东西我也忘记了，加我微信交流也交流不起来，我是看到你两点多发的，觉得你现在也挺苦的，所以回复下你
…

抱歉，有一个问题经过思考确实没有想出来，抱歉再打扰问一下，为什么这篇论文的简化思路会导致数据集缺失呢，joern不是处理的函数级单样本吗，简化操作也应该是在单样本上操作，为什么会导致数据集的缺失呢？现在尝试用基于图的方法（用joern工具）在这三个函数级的数据集研究了很久了效果都非常不理想，确实是挺痛苦，不知道是不是自己陷入误区了，看您说joern处理的就已经不全了，所以想再确认一下

这里确实会导致数据集缺失的，Joern在遇到一些不规则的函数代码也会出错，而且该作者的代码不适用所有样本，一些抛异常的应该是直接被丢弃了。这篇论文作为一个SOTA基线去对比就行了，也复现不出原论文报告的结果，这是正常的，漏洞检测这个方向的顶刊顶会我到现在也没复现出来与原论文逼近的结果，可以说90%以上都复现不出来。现在不结合大模型很难发论文，基于图的方法继续研究意义不大了。

[1code12]

他这些数据集都是由一个完整的开源项目上切的函数，把这些函数作为数据集，从完整的项目上切，这就会导致你像全局变量之类的定义就没有，然后用joern工具去解析，它得到的究竟完不完整？所有的基于代码图结构论文都没有说，大部分的操作都是如果结果为空的话，就直接把那一整条的数据集扔掉，当然也有可能是工具版本的问题，最新版本的joern可能能解析更完整的图结构，但是又很难用，所以大部分人对于这一个问题就视而不见。你也可以看看EPVD那篇论文，是用另一种方法构图CFG，然后从上面提取控制流路径，当然，这篇我当时代码没有细看，只是把它复现了，EPVD复现的设备要求就很高，这个方向其实就没有那么好，按照道理能提升，但是做出来往往没有实际的效果，是很正常的，就比如你也知道像AMPLE这一篇它的图节点，它甚至都没有把代码行做一个标准化处理，比如FUN1，VAR1，VAR2，最后出来的那张词表你可以想想看，在此基础上，再用word2vec进行向量化，所以虽然我这个方向也搞了三年，但是我也一直觉得很奇怪，效果不是靠创新做出来的，而是靠调出来的，你做很多创新，其实上不一定调得出效果，尤其是它目前采用的三大主流真实漏洞数据集极不平衡。

…

---Original--- From: ***@***.***> Date: Sat, Oct 25, 2025 07:49 AM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [AMPLE001/AMPLE] The recall and F1 results for dataset Fan are 0(Issue #3) huangyuyan3 left a comment (AMPLE001/AMPLE#3) 你应该是中国人吧，这篇顶会其实有问题，它第一个创新点，图简化会导致数据集缺失（因为本来就是代码片段，用Joern解析肯定是不完全的），然后他在论文中并没有说自己缺了多少，最后又是用缺了多少的数据集进行的实验，事实上，除了第一个数据集结果能复现，但是远远达不到它文中的效果（我们也不知道它最后测试集用的是啥），后面它后面用的两个数据集，我当时也是和你一样的情况，在他给出的代码中，他对于正样本（有漏洞的样本）加大惩罚力度，所以它的recall很高，就是为了让他的f1提升，AMPLE我觉得是造假了，别在这篇身上浪费时间，它是在REVEL这篇上改的，我记得用作者的REVRAL去复现，是复现不出来的，我是用的一篇顶会综述里面给出来的代码复现了，然后一看ample就是在它上面加了数据处理部分，也就是它图简化算法，再把模型部分改了一改。我现在已经毕业了，有一些东西我也忘记了，加我微信交流也交流不起来，我是看到你两点多发的，觉得你现在也挺苦的，所以回复下你 … 抱歉，有一个问题经过思考确实没有想出来，抱歉再打扰问一下，为什么这篇论文的简化思路会导致数据集缺失呢，joern不是处理的函数级单样本吗，简化操作也应该是在单样本上操作，为什么会导致数据集的缺失呢？现在尝试用基于图的方法（用joern工具）在这三个函数级的数据集研究了很久了效果都非常不理想，确实是挺痛苦，不知道是不是自己陷入误区了，看您说joern处理的就已经不全了，所以想再确认一下 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[huangyuyan3]

他这些数据集都是由一个完整的开源项目上切的函数，把这些函数作为数据集，从完整的项目上切，这就会导致你像全局变量之类的定义就没有，然后用joern工具去解析，它得到的究竟完不完整？所有的基于代码图结构论文都没有说，大部分的操作都是如果结果为空的话，就直接把那一整条的数据集扔掉，当然也有可能是工具版本的问题，最新版本的joern可能能解析更完整的图结构，但是又很难用，所以大部分人对于这一个问题就视而不见。你也可以看看EPVD那篇论文，是用另一种方法构图CFG，然后从上面提取控制流路径，当然，这篇我当时代码没有细看，只是把它复现了，EPVD复现的设备要求就很高，这个方向其实就没有那么好，按照道理能提升，但是做出来往往没有实际的效果，是很正常的，就比如你也知道像AMPLE这一篇它的图节点，它甚至都没有把代码行做一个标准化处理，比如FUN1，VAR1，VAR2，最后出来的那张词表你可以想想看，在此基础上，再用word2vec进行向量化，所以虽然我这个方向也搞了三年，但是我也一直觉得很奇怪，效果不是靠创新做出来的，而是靠调出来的，你做很多创新，其实上不一定调得出效果，尤其是它目前采用的三大主流真实漏洞数据集极不平衡。
…

确实是这样的，在解析到宏的时候joern会隐式出错不报错，舍弃后面所有节点，对于报错error的看大家都是直接丢弃，目前看过的所有论文代码没有一个可以成功复现，几乎都是不全或者对不上号，现在自己做的又出现 去掉所有边和完整的图的得分是一样的，所以有点怀疑基于图的方法是否可行

[foresta-yang]

他这些数据集都是由一个完整的开源项目上切的函数，把这些函数作为数据集，从完整的项目上切，这就会导致你像全局变量之类的定义就没有，然后用joern工具去解析，它得到的究竟完不完整？所有的基于代码图结构论文都没有说，大部分的操作都是如果结果为空的话，就直接把那一整条的数据集扔掉，当然也有可能是工具版本的问题，最新版本的joern可能能解析更完整的图结构，但是又很难用，所以大部分人对于这一个问题就视而不见。你也可以看看EPVD那篇论文，是用另一种方法构图CFG，然后从上面提取控制流路径，当然，这篇我当时代码没有细看，只是把它复现了，EPVD复现的设备要求就很高，这个方向其实就没有那么好，按照道理能提升，但是做出来往往没有实际的效果，是很正常的，就比如你也知道像AMPLE这一篇它的图节点，它甚至都没有把代码行做一个标准化处理，比如FUN1，VAR1，VAR2，最后出来的那张词表你可以想想看，在此基础上，再用word2vec进行向量化，所以虽然我这个方向也搞了三年，但是我也一直觉得很奇怪，效果不是靠创新做出来的，而是靠调出来的，你做很多创新，其实上不一定调得出效果，尤其是它目前采用的三大主流真实漏洞数据集极不平衡。
…

其实根源的问题是，深度学习模型根本无法发现漏洞，也无法学习漏洞模式。模型只是在根据代码相似程度做出判断，他根本不知道漏洞特征是什么，因为代码漏洞特征太不规则了，太复杂了，即使同类型的漏洞，特征也千奇百怪，代码的随机性太大。所以大家都是在获得效果后自圆其说，无论怎么解释，漏洞是怎么被发现的都没法说明白。

[huangyuyan3]

他这些数据集都是由一个完整的开源项目上切的函数，把这些函数作为数据集，从完整的项目上切，这就会导致你像全局变量之类的定义就没有，然后用joern工具去解析，它得到的究竟完不完整？所有的基于代码图结构论文都没有说，大部分的操作都是如果结果为空的话，就直接把那一整条的数据集扔掉，当然也有可能是工具版本的问题，最新版本的joern可能能解析更完整的图结构，但是又很难用，所以大部分人对于这一个问题就视而不见。你也可以看看EPVD那篇论文，是用另一种方法构图CFG，然后从上面提取控制流路径，当然，这篇我当时代码没有细看，只是把它复现了，EPVD复现的设备要求就很高，这个方向其实就没有那么好，按照道理能提升，但是做出来往往没有实际的效果，是很正常的，就比如你也知道像AMPLE这一篇它的图节点，它甚至都没有把代码行做一个标准化处理，比如FUN1，VAR1，VAR2，最后出来的那张词表你可以想想看，在此基础上，再用word2vec进行向量化，所以虽然我这个方向也搞了三年，但是我也一直觉得很奇怪，效果不是靠创新做出来的，而是靠调出来的，你做很多创新，其实上不一定调得出效果，尤其是它目前采用的三大主流真实漏洞数据集极不平衡。
…

其实根源的问题是，深度学习模型根本无法发现漏洞，也无法学习漏洞模式。模型只是在根据代码相似程度做出判断，他根本不知道漏洞特征是什么，因为代码漏洞特征太不规则了，太复杂了，即使同类型的漏洞，特征也千奇百怪，代码的随机性太大。所以大家都是在获得效果后自圆其说，无论怎么解释，漏洞是怎么被发现的都没法说明白。

我看现在基于图的方法很多开始在可解释性做研究，想问问我们只做分类提点的话是不是图结构本身怎么细心设计占比不是很大呢？重要的依旧是怎么堆模型？这个方向感觉想idea也蛮难的，写代码也很困难，我现在想复现一个简单的cpg经过w2v+LSTM到gnn和mlp，结果发现无边和有边效果一样，在这个简单的pipeline就卡了好几个月，理论上是不应该，但是代码也看不出问题，看各个论文的解释实在实在找不到自己哪里出问题了，想问问这是不正常还是正常情况呀

[huangyuyan3]

他这些数据集都是由一个完整的开源项目上切的函数，把这些函数作为数据集，从完整的项目上切，这就会导致你像全局变量之类的定义就没有，然后用joern工具去解析，它得到的究竟完不完整？所有的基于代码图结构论文都没有说，大部分的操作都是如果结果为空的话，就直接把那一整条的数据集扔掉，当然也有可能是工具版本的问题，最新版本的joern可能能解析更完整的图结构，但是又很难用，所以大部分人对于这一个问题就视而不见。你也可以看看EPVD那篇论文，是用另一种方法构图CFG，然后从上面提取控制流路径，当然，这篇我当时代码没有细看，只是把它复现了，EPVD复现的设备要求就很高，这个方向其实就没有那么好，按照道理能提升，但是做出来往往没有实际的效果，是很正常的，就比如你也知道像AMPLE这一篇它的图节点，它甚至都没有把代码行做一个标准化处理，比如FUN1，VAR1，VAR2，最后出来的那张词表你可以想想看，在此基础上，再用word2vec进行向量化，所以虽然我这个方向也搞了三年，但是我也一直觉得很奇怪，效果不是靠创新做出来的，而是靠调出来的，你做很多创新，其实上不一定调得出效果，尤其是它目前采用的三大主流真实漏洞数据集极不平衡。
…

其实根源的问题是，深度学习模型根本无法发现漏洞，也无法学习漏洞模式。模型只是在根据代码相似程度做出判断，他根本不知道漏洞特征是什么，因为代码漏洞特征太不规则了，太复杂了，即使同类型的漏洞，特征也千奇百怪，代码的随机性太大。所以大家都是在获得效果后自圆其说，无论怎么解释，漏洞是怎么被发现的都没法说明白。

或许可以求一个baseline推荐吗..找不到任何一个可以复现的