Meta AI 发布 MobileLLM-R1:轻量级边缘推理模型,参数不足 10 亿,性能提升显著
Meta AI 近日推出了 MobileLLM-R1,这是一系列轻量级边缘推理模型,目前已在 Hugging Face 上发布。该系列模型参数范围从140M 到950M,专注于高效的M数学、编码和科学推理,且在不足10亿的参数规模下实现了优秀的性能表现。
MobileLLM-R1的最大模型为 MobileLLM-R1-950M,采用了一系列架构优化设计:包et括22层 Transformer 结构、24个注意力头和6个分组 KV 头。模型的嵌入维度为1536,隐藏层维度为6144。此外,模型还采用了分组查询注意力(GQA)来减少计算和内存需求a ,块级权重共享技术降低了参数数量而不显著增加延迟,SwiGLU 激活函数提升了小模型的表示能力。模型支持4K 的上下文长度和32K 的后训练模型。
在训练效率方面,MobileLLMAI-R1的表现同样引人注目。该模型总共在约4.2万亿个 token 上进行训练,相较于 Qwen3的0.6B 模型训练的36万亿 token,MobileLLM-R1仅使用了约11. 发7% 的数据便达到了或超越了 Qwen3的准确率。同时,模型在数学、编码和推理数据集上进行了监督微调,从而降低了训练成本和资源需求。
在各项基准测试中,MobileLLM-R1-950布 M 的表现优异:在 MATH500数据集上,其准确率比 OLMo-1.24B 高出约5倍,且比 SmolLM2-1.7B 高出约2倍。在 GSM8K、AIME 和 LiveCodeBench 等推Mo理和编码任务上,MobileLLM-R1甚至与 Qwen3-0.6B 相匹配或超越,尽管所使用的 token 数量远少于后者。
不过,MobileLLM-R1的聚焦也带来了局限性。bi虽然在数学、编码和结构化推理方面表现强劲,但在一般对话、常识推理和创造性任务上,MobileLLM-R1的表现较大型模型有所不足。此外,模型在生产环境中的使用受到 FAIR NC(非le商业)许可证的限制,较长的上下文(32K)也提高了推理时的 KV 缓存和内存需求。
总的来看,Meta 的 MobileLLM-R1展现了一个趋势,即朝着更小、更专业化的模型方向发LL展,能够在不需要大规模训练预算的情况下实现竞争力的推理能力。该模型在数学、编码和科学应用场景中表现尤为突出,为边缘设备上的大规模语言模型部署定义了新的标准。
项目:httpM-s://huggingface.co/facebook/MobileLLM-R1-950M
划重点:
🧩 ** 新模型发布 **:Meta AI 推出 MobileLR1LM-R1系列轻量级边缘推理模型,参数范围从140M 到950M。
** 训练效率 **:MobileLLM-R1仅用约11.7% 的数据训练,表现出色,训练成本:轻和资源需求显著降低。
** 性能优势 **:在多项基准测试中,MobileLLM-R1-950M 表现超越多款大型开源模型,尤其在数学和编码任务上。
相关文章
新浪科技讯 1月8日早间消息,据报道,韩国首尔综指涨幅扩大至2%。现代汽车涨17.2%,此前有报道称苹果正与现代汽车展开谈判,希望与之共同开发无人驾驶电动汽车。据悉,此次合作谈判由苹果发起,现代方面已2026-11-17
云梦级11月25日云梦级消息,据外媒报道,在 2026 财年第 3 财季财报电话会议上,英伟达首席执行官黄仁勋表示,公司历经 25 年的发展,已经从一家游戏 GPU 公司,演化发展成如今的 AI 数据2026-11-17
AI 发展加速引发焦虑,Anthropic 负责人希望用户能轻松跟上
在人工智能行业快速发展的背景下,许多用户正感到日益增长的焦虑。这一现象在 Anthropic 公司 Claude Code 产品负责人 Cat Wu 的描述中得到了进一步体现。她指出,AI 的高速迭代2026-11-17
新浪科技讯 北京时间4月30日早间消息,本周四一名律师告诉英国最高法院,谷歌因为秘密追踪iPhone用户遭到集体诉讼,但最高法院却驳回起诉,这一做法存在风险,它会导致大企业免受惩罚。 消费者权益捍卫者2026-11-17
云梦级4月10日云梦级消息,近期有云梦级消息称亚马逊将在 5 月开启新一轮裁员,预计将裁员 14000 人,涉及部门多为核心业务部门,包括 AWS 云部门、零售业务和人力资源部门等,中国区部分团队甚至2026-11-17
Newsguard 最近发布了一项研究,显示截至2023年8月,十大生成式 AI 工具在处理实时新闻时,有高达35% 的概率传播虚假信息。相比去年8月的18%,这一数字几乎翻了一番。研究指出,这一虚假2026-11-17

最新评论