腾讯云最高级别代理商腾讯虚拟云主机

由内容质量、互动评论、分享传播等多维度分值决定，勋章级别越高()，代表其在平台内的综合表现越好。

【聚搜云】是上海聚搜信息技术有限公司旗下品牌，坐落于魔都上海，服务于全球、2019年成为阿里云代理商生态合作伙伴。与阿里云代理商、腾讯云、华为云、西部数码、美橙互联、AWS亚马逊云国际站代理商、聚搜云,长期战略合作的计划！阿里云国际站代理商专业的云服务商！

近日，腾讯云小微提出的多语言预训练模型“神农MShenNonG”以平均分85分的成绩登顶XTREME榜单。与此同时，该模型仅包含5亿级别的小参数量，也一举刷新业界记录。

据了解，该榜单是目前最受国内外行业公司认可的多语言评测榜单，研究人员以多语言预训练模型在此榜单的表现作为其跨语言迁移能力的评价标准。

由于大多数的NLP预训练模型主要为中文、英文等高资源语种，低资源小语种的研究并未得到足够重视。2020年，来自CMU、谷歌研究院和DeepMind的科学家们提出了覆盖四十种语言、横跨了12个语系的大规模多语言多任务基准XTREME，其中包含了9项需要不同句法或语义层面进行推理的任务，并可以为语句文本分类、结构预测、语句检索和跨语言问答等自然语言处理任务提供有效支持。

此次登顶XTREME榜单，主要是由于“神农MShenNonG”在以下三个不同维度做了创新性的尝试。

首先，在数据层面，预训练模型的训练数据主要由两种形式的数据构成：单语种句子和双语平行句对。此前的模型处理方法是，对于单语种句子，单纯地将单语种信息输入模型，并以MLM作为训练目标，非常依赖相似语系之间“共享词”的预测来建模各语言间的语义对齐关系；对于平行句对，又依赖平行语料的规模和组合，模型对其对齐关系的建模存在一定缺陷。为缓解以上问题，腾讯云小微研究团队提出了基于混合编码的数据构造方式，分别利用双语对齐词典和句子检索工具，构造大量的“多语言混合”训练数据。

其次，在模型层面，研究团队提出了一种可插拔的、基于多尺度的多语言信息融合模块，分别从词级别和句子级别多个尺度融入多语言信息，期望在训练过程中，加强所有语种的词向量的更新和对齐，解决多语言模型对低资源语种、低频次词汇建模较弱的问题。

第
三，在训练方式上，研究团队分别通过语种层面和语义层面引入对比学习策略，使得相同语义的表示相互拉近，不同语义的表示相互远离，进一步强化多语言预训练模型对于多语言的语义建模能力和语义匹配能力。

值得注意的是，研究团队重视多尺度的多语言的一致性建模，以强化预训练模型的跨语言迁移能力，并将跨语言迁移开发由市场平均的月级降低至周级，同时，相较市场平均1个月以上的模型迭代周期，“神农MShenNonG”仅需10天。

“神农MShenNonG”登顶XTREME榜单，依托于腾讯云小微团队技术研发和行业知识的长期积累。此前，腾讯云小微的中文预训练模型ShenNonG就以十亿级参数量一举登顶CLUE总排行榜、1.1分类任务、阅读理解任务和命名实体任务四个榜单，刷新行业记录。

随着开发的不断成熟，优势产品向海外拓展成为不少国内企业的选择。但产品出海通常要面临适应新语种、业务本地化的挑战。过往，以机器翻译的方式将单语种迁移到多语言场景，不仅费时费力，效果也差强人意。相对于传统的机器翻译模式，腾讯云小微“神农MShenNonG”预训练模型有着低成本、低门槛的优势，以轻量参数为多行业、小语种提供跨语言迁移服务，助力企业降本增效，落地出海业务。

未来，腾讯云小微团队还将持续深耕知识挖掘和深度学习技术，探索更多技术落地场景，以科技助力各行业的企业更好地服务用户，为社会创造更多价值。

登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。更多文章请访问：返回搜狐，查看更多

应国家法律要求，使用互联网服务需完成实名验证。为保障您账号的正常使用，请尽快完成手机验证，感谢您的理解和支持！