Questions about code

[weizhehuang0827]

您好，很感谢您的工作，我非常喜欢
请问

1. 为什么HotpotQA的部分env代码跟reflexion中不一样，在我运行的时候很容易发生死循环

while True:
         try:
                observation = self.explorer.search(argument).strip('\n').strip()
                break
          except Exception as e:
                print(e)
                time.sleep(5)

2. 另外，在运行react和reflexion的时候需要将agent_type指定吗，还是只用控制agent.max_reflection_depth
3. 在代码中是如何体现数据集的划分的呢，按照我的理解文章应该是有划分train set和eval set

[yanweiyue]

您好，我同样在复现这篇论文。十分感谢您的这个issue，印证了我对该代码的很多疑虑。针对您所提到的问题三，我也发现代码似乎没有进行训练集和测试集的划分。请问您现在对该代码的数据集划分是怎么理解的？如果能得到您的回答，我将十分感激。

[ayyyq]

您好，我同样在复现这篇论文。十分感谢您的这个issue，印证了我对该代码的很多疑虑。针对您所提到的问题三，我也发现代码似乎没有进行训练集和测试集的划分。请问您现在对该代码的数据集划分是怎么理解的？如果能得到您的回答，我将十分感激。

你好，请问你有新的发现吗？对于问题3，alfworld的train和eval用的同样的数据集，而step 2 insight_extraction记录了所有的insights，这应该很难避免数据泄露。react使用同样的134条数据，但是independent evaluation，不会有数据泄露的问题。