楼主你好，训练了600次了 可生成的文本都是重复的，什么原因呢

[liuhy0908]

[hit-computer]

我也遇到过有重复的情况额，感觉很难重现karpathy的结果啊.....貌似用他写的程序训练也会出现重复的现象，估计和参数设定有关吧

[liuhy0908]

确实是，在github上找了好多相关的项目，都没有karpathy的python版跑出的结果好（对torch不了解）

[liuhy0908]

但应该也不是参数的问题，训练karpathy的程序时，换过各种参数，效果都还可以，应该不是参数的问题

[hit-computer]

是吗，我没有试过他torch的代码额。我试过他用numpy写的简易模型，貌似效果也不是很好额，估计torch写的那个模型应该有一些小trick吧，我对torch也不是很熟悉-_-

[zhang-jinyi]

https://github.com/hejunqing/tf-char-cnn-lstm

可以看看这个更新版本。无限接近Yoon Kim's paper。

[apeterswu]

所以请假一下，不停重复翻译的原因是？我也遇到了同样的情况

[hit-computer]

@apeterswu 在做生成的时候其实有两种策略，一种是argmax还有一种是sample，本程序用的是argmax策略，这个策略会导致重复的现象，而sample策略不会但句子连贯性会比argmax策略差一些（karpathy的程序默认采用的是sample策略）。同时，我最近用tensorflow重写这个模型后发现增加训练语料以及采用多层RNN能使重复现象出现时序列长度更长（采用argmax策略时）。

[apeterswu]

@hit-computer 不过在decoding的时候用beam search，所以还是使用argmax，因此这个问题还是会存在？

[hit-computer]

@apeterswu 是的，beam search每次选的是top-N max，也是会出现重复问题。所以建议还是增加语料，增加隐层参数和迭代次数，然后采用sample策略是比较好的

[xslittlegrass]

谢谢分享，你知道karpathy blog里面例子的参数吗？