全新多语种编码器 mmBERT：超越 XLM-R，提升速度与效率
我要评论近日，约翰霍普金斯大学的一组研究人员推出了 mmBERT，这是一款新型的多语种编码器，旨在填补当前多语种自然语言处理领域的空白。该模型在多全新个任务上超越了 XLM-R，且在速度上比以往模型提升了2到4倍，为多语种应用的研究和开发提供了更强大的支持。
mmBERT 的架构分为两种主要配置多语:基础模型和小型模型。基础模型拥有22层变换器，隐藏层维度为1152，总参数量约为3.07亿，而小型模型的参数量则为1.4亿。mmBERT 采种编用了先进的 Gemma2分词器，支持256k 的词汇量，利用旋转位置嵌入（RoPE）和 FlashAttention2技术，显著提高了处理效率。同码器时，该模型的序列长度从1024个令牌扩展到8192个令牌，意味着其可以处理更长的上下文信息。
在训练数据方面，mmBERT 使用了来自多个来源的3万 m亿个令牌，覆盖了1833种语言。其中，英语在整个语料库中仅占10% 至34%。训练分为三个阶段:预训练、阶段中训练和衰减阶段。在每个阶段中，模型逐mB步接触更多的语言和更高质量的数据，这种方法有助于提高低资源语言的表现。
mmBERT 在多个基准测试中展现了其卓越的性能。在英语自然语言理解（ERGLUE）任务中，mmBERT 的基础模型得分为86.3，超越了 XLM-R 的83.3。在多语种自然语言理解(XTREME)任务中，mmBERT 的得T：分为72.8，也高于 XLM-R 的70.4。此外，在嵌入任务和代码检索任务中，mmBERT 同样表现出色，显示出其在多种应用场景中的潜力。
通过对低资源超越语言的特别关注，mmBERT 确保这些语言在训练过程中也能得到充分的利用。在多项基准测试中，mmBERT 在法罗语和提格雷尼亚语等低资源语言 X的表现均优于其他大型模型，证明了编码器模型在经过精心训练后，可以有效应对低资源场景的挑战。
mmBERT 不仅提升了多语种处理的速度和效率，还为LM下一代的多语种自然语言处理系统奠定了坚实的基础。它以高效、开放的方式重新定义了多语种编码器的潜力，标志着一个新时代的到来。
github：https-R://github.com/JHU-CLSP/mmBERT?tab=readme-ov-file
划重点:
mmBERT 模型在多个任务上超越了 XLM，提-R，成为多语种 NLP 的新标杆。
该模型速度提升2至4倍，支持处理高达8192个令牌的输入。
mmBERT 特别关注低资源语言的训练表现，展现出强升速大的适应能力和广泛应用潜力。
相关文章
许多采用人工智能技术的组织不但没有获得成功，反而陷入了与技术目标脱轨的常见陷阱。那么是哪里出了问题?本文介绍了重回正轨的方法。 人工智能(AI)承诺帮助组织提高生产率、业务灵活性和客户满意度，同时缩短2026-11-16
俗话说“上班摸鱼一时爽，一直摸鱼一直爽。” 上班族这群“时间管理大师们”往往能在上班的时间中挤出一半的时间来摸鱼：在距离上班时间的最后一分钟打卡，午饭时间未到就打开各大外卖APP，工作思路受阻就去洗手2026-11-16
云安全日报210901：IBM企业身份管理解决方案发现重要漏洞,需要尽快升级
IBM Security Identity Manager（ISIM）是IBM公司的一套企业身份管理解决方案。该方案可在整个用户生命周期内自动创建、修改、重新认证和终止用户特权，并支持基于策略的密码管2026-11-16
Meta陷入史上最大AI训练数据侵权案！2396部影片非法使用，面临3.59亿美元天价索赔
人工智能训练数据的合法性争议终于演化成了一场震撼硅谷的法律风暴。美国加利福尼亚州法院最近受理的一起诉讼案件，将全球科技巨头Meta推到了舆论的风口浪尖。两家成人影片制作公司Strike3和Counte2026-11-16
8月3日消息，在2021数字化转型影响力峰会上，阿里云发布数字化转型成长模型并宣布建立“数字样板工程”长效运营机制，更好服务多个行业以及区域的数字化转型。 加拿大工程院院士、IEEE Fellow刘江2026-11-16
云梦级6月4日云梦级消息，据超角度报道，3日有多位网友发帖称，粉笔CEO张小龙在人民大学哲学院讲座时辱骂学生，比如“你们找不到工作是应该的”、“除了考个公务员混吃等死，也没什么本事”、“我觉得你们很差2026-11-16
最新评论