作者能优化一下代码吗？加载txt大文件内存全被吃光了

[shinebay]

谢谢作者开发这么优秀一个工具，但是这个工具对大文件貌似内存开销很大，一个500M的txt字典，几分钟就把我小电脑的8G内存吃光了，生成不了文件啊，能不能把优化一下，比如可以分批次加入一些txt文件到目标字典中之类的，这样也便于以后添加一些新词到里面去，谢啦~

[smithyj]

估计没啥优化的了 他这个跟一个node 版本的很像 原理 Node 速度快

[benhuang1024]

谢谢作者开发这么优秀一个工具，但是这个工具对大文件貌似内存开销很大，一个500M的txt字典，几分钟就把我小电脑的8G内存吃光了，生成不了文件啊，能不能把优化一下，比如可以分批次加入一些txt文件到目标字典中之类的，这样也便于以后添加一些新词到里面去，谢啦~

如果内存使用过多可以排查是否有循环引用和复制，可以使用 yield 进行处理

[nowgoo]

生成词典的时候临时使用 redis 可以么？

[benhuang1024]

生成词典的时候临时使用 redis 可以么？

变量存取时直接使用 Redis 应该可行，对性能应该没有提升，除非需要长期存储