贡献最新合成的 jp 语料数据集以协助您优化 目前模型在 jp 语境下的 NER 能力

[1235357]

@neavo 已为您添加权限，可以直链访问 Dataset 下载数据集

其中除了包含 原始文件 还有 合并后的 json 文件：

DATASET_PATH = [
("dataset/ner/glm-4-air_35744.json", 1 * 35744),
("dataset/ner/glm-4-flash_116551.json", 1 * 116551),
("dataset/ner/glm-4-plus_49127.json", 1 * 49127),
("dataset/ner/grok-beta_15711.json", 1 * 15711),
]

就语料质量来看，个人认为 grok-beta $\approx$ glm-4-plus $>$ glm-4-flash $>$ glm-4-air (?) 您可以看看语料质量如何，是否可以用于微调

另外想请问您，最新的模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“ 是否仍未发布？

不论是您的 HF 主页， 还是 您最新的 KG release，均无法找到 模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“

个人想专门微调出一个 jp 专精的 NER 模型（不考虑其它语言），请问您有无具体思路、方法？

[neavo]

@neavo 已为您添加权限，可以直链访问 Dataset 下载数据集

其中除了包含 原始文件 还有 合并后的 json 文件：

DATASET_PATH = [ ("dataset/ner/glm-4-air_35744.json", 1 * 35744), ("dataset/ner/glm-4-flash_116551.json", 1 * 116551), ("dataset/ner/glm-4-plus_49127.json", 1 * 49127), ("dataset/ner/grok-beta_15711.json", 1 * 15711), ]

就语料质量来看，个人认为 grok-beta ≈ glm-4-plus > glm-4-flash > glm-4-air (?) 您可以看看语料质量如何，是否可以用于微调

另外想请问您，最新的模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“ 是否仍未发布？

不论是您的 HF 主页， 还是 您最新的 KG release，均无法找到 模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“

个人想专门微调出一个 jp 专精的 NER 模型（不考虑其它语言），请问您有无具体思路、方法？

谢谢，收到，晚些时候我会具体看一下语料数据，先回答你的问题：

1、基于 mdeberta 的模型训练出来实际效果比较差，所以并未对外发布过
2、NLP 模型的训练我也不是专家，摸索出来的一点经验是：

• 首先要在合适的 Base 模型上进行较大文本量（数 G 纯文本或者更多）的二次预训练，最好直接使用最终领域文本
• 比如最终领域是 RMMaker 游戏，那二次预训练预料就应该加入 RMMaker 的文本；
• 然后在二次预训练的模型的基础上再进行下游任务（NER）的训练
• 但是从我尝试的经验来看，BERT 类模型是有上限的，特别是在日语上表现的不是特别好
• 少量的领域语料就可以得到一定的效果，但是增大规模以后却并不能持续提升，可能还是模型规模或者合成语料本身的问题

[1235357]

@neavo 已为您添加权限，可以直链访问 Dataset 下载数据集
其中除了包含 原始文件 还有 合并后的 json 文件：
DATASET_PATH = [ ("dataset/ner/glm-4-air_35744.json", 1 * 35744), ("dataset/ner/glm-4-flash_116551.json", 1 * 116551), ("dataset/ner/glm-4-plus_49127.json", 1 * 49127), ("dataset/ner/grok-beta_15711.json", 1 * 15711), ]
就语料质量来看，个人认为 grok-beta ≈ glm-4-plus > glm-4-flash > glm-4-air (?) 您可以看看语料质量如何，是否可以用于微调
另外想请问您，最新的模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“ 是否仍未发布？
不论是您的 HF 主页， 还是 您最新的 KG release，均无法找到 模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“
个人想专门微调出一个 jp 专精的 NER 模型（不考虑其它语言），请问您有无具体思路、方法？

谢谢，收到，晚些时候我会具体看一下语料数据，先回答你的问题：

1、基于 mdeberta 的模型训练出来实际效果比较差，所以并未对外发布过 2、NLP 模型的训练我也不是专家，摸索出来的一点经验是：

• 首先要在合适的 Base 模型上进行较大文本量（数 G 纯文本或者更多）的二次预训练，最好直接使用最终领域文本
• 比如最终领域是 RMMaker 游戏，那二次预训练预料就应该加入 RMMaker 的文本；
• 然后在二次预训练的模型的基础上再进行下游任务（NER）的训练
• 但是从我尝试的经验来看，BERT 类模型是有上限的，特别是在日语上表现的不是特别好
• 少量的领域语料就可以得到一定的效果，但是增大规模以后却并不能持续提升，可能还是模型规模或者合成语料本身的问题

感谢解答！

诚如您所言，进一步完善 KG 的核心有二：

1、选择“合适的 Base 模型”

2、【直接使用最终领域文本】“进行较大文本量（数 G 纯文本或者更多）的二次预训练”

base模型的选择需要大量实验，前提是优质数据集的获取；

但对于二次预训练数据集，🤔我们能否联系 机翻站 站长，直接从后台导出 机翻站现存的 “所有日文原文” 作为二次预训练的语料，并 以月为单位/定期 持续维护扩充该数据集？

一旦“base”数据集足够 大量、优质，模型的性能提升 及 下游任务（NER）的训练也会容易许多？

[neavo]

@neavo 已为您添加权限，可以直链访问 Dataset 下载数据集
其中除了包含 原始文件 还有 合并后的 json 文件：
DATASET_PATH = [ ("dataset/ner/glm-4-air_35744.json", 1 * 35744), ("dataset/ner/glm-4-flash_116551.json", 1 * 116551), ("dataset/ner/glm-4-plus_49127.json", 1 * 49127), ("dataset/ner/grok-beta_15711.json", 1 * 15711), ]
就语料质量来看，个人认为 grok-beta ≈ glm-4-plus > glm-4-flash > glm-4-air (?) 您可以看看语料质量如何，是否可以用于微调
另外想请问您，最新的模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“ 是否仍未发布？
不论是您的 HF 主页， 还是 您最新的 KG release，均无法找到 模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“
个人想专门微调出一个 jp 专精的 NER 模型（不考虑其它语言），请问您有无具体思路、方法？

谢谢，收到，晚些时候我会具体看一下语料数据，先回答你的问题：
1、基于 mdeberta 的模型训练出来实际效果比较差，所以并未对外发布过 2、NLP 模型的训练我也不是专家，摸索出来的一点经验是：

• 首先要在合适的 Base 模型上进行较大文本量（数 G 纯文本或者更多）的二次预训练，最好直接使用最终领域文本
• 比如最终领域是 RMMaker 游戏，那二次预训练预料就应该加入 RMMaker 的文本；
• 然后在二次预训练的模型的基础上再进行下游任务（NER）的训练
• 但是从我尝试的经验来看，BERT 类模型是有上限的，特别是在日语上表现的不是特别好
• 少量的领域语料就可以得到一定的效果，但是增大规模以后却并不能持续提升，可能还是模型规模或者合成语料本身的问题

感谢解答！

诚如您所言，进一步完善 KG 的核心有二：

1、选择“合适的 Base 模型”

2、【直接使用最终领域文本】“进行较大文本量（数 G 纯文本或者更多）的二次预训练”

base模型的选择需要大量实验，前提是优质数据集的获取；

但对于二次预训练数据集，🤔我们能否联系 机翻站 站长，直接从后台导出 机翻站现存的 “所有日文原文” 作为二次预训练的语料，并 以月为单位/定期 持续维护扩充该数据集？

一旦“base”数据集足够 大量、优质，模型的性能提升 及 下游任务（NER）的训练也会容易许多？

事实上我已经试过了，注意我说的最后一句话，增加更多的语料以后并没有继续表现出明显的性能提升

[1235357]

@neavo 已为您添加权限，可以直链访问 Dataset 下载数据集
其中除了包含 原始文件 还有 合并后的 json 文件：
DATASET_PATH = [ ("dataset/ner/glm-4-air_35744.json", 1 * 35744), ("dataset/ner/glm-4-flash_116551.json", 1 * 116551), ("dataset/ner/glm-4-plus_49127.json", 1 * 49127), ("dataset/ner/grok-beta_15711.json", 1 * 15711), ]
就语料质量来看，个人认为 grok-beta ≈ glm-4-plus > glm-4-flash > glm-4-air (?) 您可以看看语料质量如何，是否可以用于微调
另外想请问您，最新的模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“ 是否仍未发布？
不论是您的 HF 主页， 还是 您最新的 KG release，均无法找到 模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“
个人想专门微调出一个 jp 专精的 NER 模型（不考虑其它语言），请问您有无具体思路、方法？

谢谢，收到，晚些时候我会具体看一下语料数据，先回答你的问题：
1、基于 mdeberta 的模型训练出来实际效果比较差，所以并未对外发布过 2、NLP 模型的训练我也不是专家，摸索出来的一点经验是：

• 首先要在合适的 Base 模型上进行较大文本量（数 G 纯文本或者更多）的二次预训练，最好直接使用最终领域文本
• 比如最终领域是 RMMaker 游戏，那二次预训练预料就应该加入 RMMaker 的文本；
• 然后在二次预训练的模型的基础上再进行下游任务（NER）的训练
• 但是从我尝试的经验来看，BERT 类模型是有上限的，特别是在日语上表现的不是特别好
• 少量的领域语料就可以得到一定的效果，但是增大规模以后却并不能持续提升，可能还是模型规模或者合成语料本身的问题

感谢解答！
诚如您所言，进一步完善 KG 的核心有二：
1、选择“合适的 Base 模型”
2、【直接使用最终领域文本】“进行较大文本量（数 G 纯文本或者更多）的二次预训练”
base模型的选择需要大量实验，前提是优质数据集的获取；
但对于二次预训练数据集，🤔我们能否联系 机翻站 站长，直接从后台导出 机翻站现存的 “所有日文原文” 作为二次预训练的语料，并 以月为单位/定期 持续维护扩充该数据集？
一旦“base”数据集足够 大量、优质，模型的性能提升 及 下游任务（NER）的训练也会容易许多？

事实上我已经试过了，注意我说的最后一句话，增加更多的语料以后并没有继续表现出明显的性能提升

抱歉 我的理解有误，看成 “少量的 NER 语料”了；

那根据您的经验，是否可以预估 领域语料 的“规模”在多少合适？（一般需要搜集 多少 MB/G 的纯文本）

或者 是否有可能/有渠道 获取 “您已经尝试过的” 数据集，等未来空闲时 个人想在尝试将其应用到 不同的模型上🧐，探索其它模型在 与KG 任务的契合度（日文 NER 任务 的可用性）？

[neavo]

@neavo 已为您添加权限，可以直链访问 Dataset 下载数据集
其中除了包含 原始文件 还有 合并后的 json 文件：
DATASET_PATH = [ ("dataset/ner/glm-4-air_35744.json", 1 * 35744), ("dataset/ner/glm-4-flash_116551.json", 1 * 116551), ("dataset/ner/glm-4-plus_49127.json", 1 * 49127), ("dataset/ner/grok-beta_15711.json", 1 * 15711), ]
就语料质量来看，个人认为 grok-beta ≈ glm-4-plus > glm-4-flash > glm-4-air (?) 您可以看看语料质量如何，是否可以用于微调
另外想请问您，最新的模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“ 是否仍未发布？
不论是您的 HF 主页， 还是 您最新的 KG release，均无法找到 模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“
个人想专门微调出一个 jp 专精的 NER 模型（不考虑其它语言），请问您有无具体思路、方法？

谢谢，收到，晚些时候我会具体看一下语料数据，先回答你的问题：
1、基于 mdeberta 的模型训练出来实际效果比较差，所以并未对外发布过 2、NLP 模型的训练我也不是专家，摸索出来的一点经验是：

• 首先要在合适的 Base 模型上进行较大文本量（数 G 纯文本或者更多）的二次预训练，最好直接使用最终领域文本
• 比如最终领域是 RMMaker 游戏，那二次预训练预料就应该加入 RMMaker 的文本；
• 然后在二次预训练的模型的基础上再进行下游任务（NER）的训练
• 但是从我尝试的经验来看，BERT 类模型是有上限的，特别是在日语上表现的不是特别好
• 少量的领域语料就可以得到一定的效果，但是增大规模以后却并不能持续提升，可能还是模型规模或者合成语料本身的问题

感谢解答！
诚如您所言，进一步完善 KG 的核心有二：
1、选择“合适的 Base 模型”
2、【直接使用最终领域文本】“进行较大文本量（数 G 纯文本或者更多）的二次预训练”
base模型的选择需要大量实验，前提是优质数据集的获取；
但对于二次预训练数据集，🤔我们能否联系 机翻站 站长，直接从后台导出 机翻站现存的 “所有日文原文” 作为二次预训练的语料，并 以月为单位/定期 持续维护扩充该数据集？
一旦“base”数据集足够 大量、优质，模型的性能提升 及 下游任务（NER）的训练也会容易许多？

事实上我已经试过了，注意我说的最后一句话，增加更多的语料以后并没有继续表现出明显的性能提升

抱歉 我的理解有误，看成 “少量的 NER 语料”了；

那根据您的经验，是否可以预估 领域语料 的“规模”在多少合适？（一般需要搜集 多少 MB/G 的纯文本）

或者 是否有可能/有渠道 获取 “您已经尝试过的” 数据集，等未来空闲时 个人想在尝试将其应用到 不同的模型上🧐，探索其它模型在 与KG 任务的契合度（日文 NER 任务 的可用性）？

（如 新出的这篇文章 ）

就不分享了，感觉不太合适，你自己收集吧

目前 KG 的模型单一语言大概使用了1G左右的纯文本语料（整理前）进行预训练

其实如果不考虑配置要求，单独只是想要继续提高性能，直接换更大的底模就可以了

facebook 甚至提供了 10B 规模的 xlm-roberta

但是这样就没有实际使用价值了，因为没几个人能跑得起来，而且训练设备也很难搞

如果你有兴趣，而且搞得定训练用卡，可以尝试一下，我也很好奇实际效果到底怎么样

[1235357]

@neavo 已为您添加权限，可以直链访问 Dataset 下载数据集
其中除了包含 原始文件 还有 合并后的 json 文件：
DATASET_PATH = [ ("dataset/ner/glm-4-air_35744.json", 1 * 35744), ("dataset/ner/glm-4-flash_116551.json", 1 * 116551), ("dataset/ner/glm-4-plus_49127.json", 1 * 49127), ("dataset/ner/grok-beta_15711.json", 1 * 15711), ]
就语料质量来看，个人认为 grok-beta ≈ glm-4-plus > glm-4-flash > glm-4-air (?) 您可以看看语料质量如何，是否可以用于微调
另外想请问您，最新的模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“ 是否仍未发布？
不论是您的 HF 主页， 还是 您最新的 KG release，均无法找到 模型 ”microsoft_mdeberta_v3_base_pretrain_20240916_e2“
个人想专门微调出一个 jp 专精的 NER 模型（不考虑其它语言），请问您有无具体思路、方法？

谢谢，收到，晚些时候我会具体看一下语料数据，先回答你的问题：
1、基于 mdeberta 的模型训练出来实际效果比较差，所以并未对外发布过 2、NLP 模型的训练我也不是专家，摸索出来的一点经验是：

• 首先要在合适的 Base 模型上进行较大文本量（数 G 纯文本或者更多）的二次预训练，最好直接使用最终领域文本
• 比如最终领域是 RMMaker 游戏，那二次预训练预料就应该加入 RMMaker 的文本；
• 然后在二次预训练的模型的基础上再进行下游任务（NER）的训练
• 但是从我尝试的经验来看，BERT 类模型是有上限的，特别是在日语上表现的不是特别好
• 少量的领域语料就可以得到一定的效果，但是增大规模以后却并不能持续提升，可能还是模型规模或者合成语料本身的问题

感谢解答！
诚如您所言，进一步完善 KG 的核心有二：
1、选择“合适的 Base 模型”
2、【直接使用最终领域文本】“进行较大文本量（数 G 纯文本或者更多）的二次预训练”
base模型的选择需要大量实验，前提是优质数据集的获取；
但对于二次预训练数据集，🤔我们能否联系 机翻站 站长，直接从后台导出 机翻站现存的 “所有日文原文” 作为二次预训练的语料，并 以月为单位/定期 持续维护扩充该数据集？
一旦“base”数据集足够 大量、优质，模型的性能提升 及 下游任务（NER）的训练也会容易许多？

事实上我已经试过了，注意我说的最后一句话，增加更多的语料以后并没有继续表现出明显的性能提升

抱歉 我的理解有误，看成 “少量的 NER 语料”了；
那根据您的经验，是否可以预估 领域语料 的“规模”在多少合适？（一般需要搜集 多少 MB/G 的纯文本）
或者 是否有可能/有渠道 获取 “您已经尝试过的” 数据集，等未来空闲时 个人想在尝试将其应用到 不同的模型上🧐，探索其它模型在 与KG 任务的契合度（日文 NER 任务 的可用性）？
（如 新出的这篇文章 ）

就不分享了，感觉不太合适，你自己收集吧

目前 KG 的模型单一语言大概使用了1G左右的纯文本语料（整理前）进行预训练

其实如果不考虑配置要求，单独只是想要继续提高性能，直接换更大的底模就可以了

facebook 甚至提供了 10B 规模的 xlm-roberta

但是这样就没有实际使用价值了，因为没几个人能跑得起来，而且训练设备也很难搞

如果你有兴趣，而且搞得定训练用卡，可以尝试一下，我也很好奇实际效果到底怎么样

好的，再次感谢您指路！

自己目前能还能借到组里的 服务器权限，未来会按您的建议：先去尝试搜集数据集，再换用更大底模 看看有无效果👌