基于深度迁移学习的多语种NLP技术原理和实践
发布时间：2020-07-01 10:16:58 所属栏目：大数据 来源：站长网
导读：副标题#e# 全球存在着几千种语言，这就对NLP研究者带来了巨大的难题，因为在一个语种上训练的模型往往在另外一个语种上完全无效，而且目前的NLP研究以英语为主，很多其他语种上面临着标注语料严重不足的困境。在跨语种NLP研究方面，业界已经做了不少研究，
|
a. XLM的每个训练样本包含了来源于不同语种但意思相同的两个句子，而BERT中一条样本仅来自同一语言。BERT的目标是预测被masked的token，而XLM模型中可以用一个语言的上下文信息去预测另一个语言被masked的token。 b. 模型也接受语言ID和不同语言token的顺序信息，也就是位置编码。这些新的元数据能帮模型学习到不同语言的token间关系。 （编辑：源码网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
