微软 Azure ND GB300 再创记录：每秒推理速度达 110 万token
我要评论微软近日宣布，其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。”
Azure ND A GB300虚拟机采用英伟达的 Blackwell Ultra GPU，具体为 NVIDIA GB300NVL72系统，配置了72个 NVIDIA Blazuckwell Ultra GPU 和36个 NVIDIA Grace CPU，采用单机架构设计。这款虚拟机专为推理工作负载优化，具有50% 的 GPU 内存提re升和16% 的热设计功率（TDP）提高。
为了验证性能提升，微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行 N了 Llama270B（FP4精度）模型，使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB3D 00v6实现了总计110万个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865，000tokeGBn每秒的成绩。
根据系统配置，每个 GPU 的性能大约为15，200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经过30了独立的性能验证和基准测试公司 Signal65的验证。
Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万toke0 n的障碍，还在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充道，Azure ND GB300相较于上一代 NVIDIA GB200在推理再创性能上提升了27%，而仅增加了17% 的功率规格。与 NVIDIA H100代相比，GB300在推理性能上几乎提升了10倍，同时在机架级别的功率效率上提高记录了近2.5倍。
划重点:
微软 Azure ND GB300v6虚拟机实现每秒推理110万token，创造行业新纪录。 &：每nbsp;
该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU，专为推理优化。 &n秒推bsp;
相比上一代，Azure ND GB300在推理性能上提升27%，功率效率提升近2.5倍。
相关文章
标签: 剂泰科技 NanoForge MTS-004 AI制药
云梦级5月5日云梦级消息，5月5日，剂泰科技今起招股，招股期至5月8日中午12时结束，并定于5月13日正式以股票代码“7666”在港交所主板挂牌上市。 剂泰科技计划在本次IPO中发行201,229,02026-11-16
云梦级4月23日云梦级消息，好未来教育（纽约证券交易所：TAL，下称“好未来”或“公司”）是中国智能学习解决方案提供商。日前，公司公布其截至2026年2月28日的2026财年第四季度和全年未经审计财务2026-11-16
云梦级5月8日云梦级消息，据知情人士透露，字节旗下剪映产品负责人张琪智KiKi（职级L7，对应旧职级4-2）已于近期离职创业。不久前，张琪智卸任脸萌法人代表，此前，她一直担任脸萌技术（深圳）有限公司法2026-11-16
阿里CEO吴泳铭:AI 终局不止 AGI，通往“超级人工智能”的路线图曝光
在杭州举行的云栖大会上，阿里巴巴集团CEO吴泳铭发表主旨演讲，首次系统阐述了阿里巴巴对人工智能未来发展的战略愿景。他提出，尽管通用人工智能（AGI）的实现已是必然，但这并非终点，人类的最终目标是发展出2026-11-16
Meta 与 UCSD 推出 DeepConf：AI 推理准确率达 99.9%，计算成本降低 85%
在人工智能的快速发展中，Meta 与加州大学圣地亚哥分校（UCSD）合作，推出了一项名为 “DeepConf” 的创新技术。这项新技术在高难度推理题的准确性和计算成本方面取得了突破性的进展，成为业界关2026-11-16
大模型不再是“万能钥匙”?探秘 AI 初创公司的新策略与挑战
据techcrunch报道， 曾经被视为 AI 领域“皇冠上的明珠”的基础模型，其主导地位正在面临前所未有的挑战。AI 初创公司的焦点已悄然转向面向特定任务的定制化模型和用户界面，将基础模型视为可替换2026-11-16
最新评论