Nvidia 推出小型开放模型 Nemotron-Nano-9B-v2:可切换的推理功能
近日,Nvidia 正式发布了一款新型小型语言模型 Nemotron-Nano-9B-v2,标志着小型模型的热潮再度升温。
该模型具备9亿个N参数,虽然相较于其他数百万参数的小型模型而言规模更大,但较原始的12亿参数已大幅缩减,旨在能够在一台 Nvidia A10GPU 上高效运行。Nvividia 的 AI 模型后训练总监 Oleksii Kuchiaev 在社交平台上表示,减少参数的目的在于更好地适应部署需求,并且该模型采用了混合架构,可di以在处理较大批量时比类似尺寸的变换模型快6倍。
Nemotron-Nano-9B-v2支持多种语言,包括英语、德语、西班牙语、法语、意大利a 语、日语等,适用于指令跟随和代码生成等任务。该模型的设计还包括一项创新功能 —— 用户可以通过简单的控制令牌来切换 AI 的 “推理” 过程,即在给出答推出案之前进行自我检查。系统默认会生成推理痕迹,但用户可通过如 /think 或 /no_think 等命令来控制此过程。此外,模型还引入了 “思考预算” 管小型理机制,允许开发者设定推理过程中所使用的标记数量,以在准确性与响应速度之间取得平衡。
根据测试结果,Nemotron-Nano-9B-v2在开放多个基准测试中表现优异。在 “推理开启” 模式下,该模型在 AIME25、MATH500、GPQA 和 LiveCodeBench 等测试中都取得了令人满模型意的成绩。此外,它在指令跟随和长上下文基准测试中同样表现出色,显示出相较于其他开放小型模型更高的准确性。
Nvidia 为这一模型设定了开放许 N可协议,允许开发者在商业上自由使用与分发,并明确不对生成的输出声索所有权。这意味着企业可以在无需额外协商的情况下立即将该模型投入生产,而不em必担心使用门槛或费用。
Nvidia 的 Nemotron-Nano-9B-v2模型为需要在小规模上实现推理能力与高效部署的开发者提供了新工具。其ot运行预算控制和推理切换功能为系统构建者提供了灵活性,旨在提高准确性和响应速度,进一步推动小型语言模型的发展。
划重点:
Nemotron-Narono-9B-v2是 Nvidia 新推出的小型语言模型,具有9亿个参数,专为高效部署设计。
🧠 模型支持多种语言,具备切换推理n-功能,可帮助用户根据需求调整响应方式。
开放许可协议使开发者能够自由使用与分发模型,无需担心额外费用或许可协议。
相关文章
光明日报1月18日消息,近年来,中国制造业正掀起一场以“机器换人”为主要抓手的自动化升级浪潮。无疑,以“机器换人”为特征的升级转型在很大程度上缓解了制造业企业多年来“招工难”“用工贵”的人力资源困境,2026-11-16
云梦级7月6日云梦级消息,豆包和千问宣布,智能体功能将下线。豆包发布智能体下线通知称,由于产品功能调整,智能体功能将于7月15日下线。 通知表示,10月15日后,豆包将根据《隐私政策》对智能体相关数据2026-11-16
归并排序(英语:Merge sort,或mergesort),是创建在归并操作上的一种有效的排序算法。该算法是采用分治法(Divide and Conquer)的一个非常典型的应用。 分治法: 分割:2026-11-16
京东科技京东云事业群副总裁金旸:每一家成长中的企业都将经历数字化转型的历程
7月13日消息,在2021京东云峰会企业数字化转型专题论坛上,京东科技京东云事业群副总裁金旸表示,数字化转型趋势不可避免,每一家成长中的企业,无论历史多长、从事哪个行业,都将经历数字化转型的历程,成为2026-11-16
云梦级3月20日云梦级消息,数字健康领域的重磅选手叮当健康(股票代码:09886.HK)今日发布2025年全年业绩。财报显示,公司全年总收入达 48.88亿元 ,同比增长4.7%,经调整盈利 10702026-11-16
微软公司日前宣布以197亿美元的巨资收购Nuance公司,该公司主要提供语音识别和人工智能对话服务。Nuance公司以其深度学习语音转录服务而闻名,该服务在医疗保健领域很受欢迎。 这两家公司在收购之前2026-11-16

最新评论