​AI 生成优化 Metal 内核,PyTorch 推理速度提升惊人87%

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌搜索留痕霸屏【tg:seogoogle987】。

在苹果设备上,AI 技术正展现出惊人的潜力。根据 Gimlet Labs 的最新研究,AI 能够自动生成优化的 Metal 内核,使得 PyTorch 推理速度提​A升了87%。这一突破性成果不仅提高了性能,还在测试的215个 PyTorch 模块上实现了平均1.87倍的加速,某些工作负载的速度甚至提高了数百倍。

研究人员I 选取了来自多个顶尖机构的八个 AI 模型,包括 Anthropic、DeepSeek 和 OpenAI,利用这些模型为苹果设备生成优化的 GPU 内核。这一过生成程无需修改用户代码或使用新的框架,直接在苹果硬件上提升模型性能。

在实验中,研究团队选择了 Mac Studio (搭载 Apple M4Max 芯片) 进行测试,基准优化设置为 PyTorch 的 eager 模式。实验采用了 KernelBench 数据集中的215个 PyTorch 模块,这些模块被分为三类,涵盖从简单的矩阵乘法到完整 M的模型架构。

测试过程包括接收输入和 PyTorch 代码,生成 Metal 内核,并评估其正确性。数据显示,随着尝试次数的增加,AI 生成内核的正确性逐步提et升。例如,在第五次尝试时,正确实现的比例达到了94%。此外,模型们在生成内核时表现出了跨层级的能力,尽管非推理模型有时也能生成有效内核。

实验结果表明al,GPT-5模型在某些任务上实现了4.65倍的速度提升。更令人惊讶的是,o3模型在某些情况下甚至将延迟降低了9000倍。研究还发现,单一模型在某些任务上并 内不总是表现最好,多个模型的结合能够生成更优的内核。

为了进一步提升性能,研究者尝试引入额外上下文信息,如 CUDA 实现和 gputrace 的性能分析数核,据,结果显示这种方法在性能加速方面达到了平均1.87倍,相比于普通智能体的1.31倍提升了三倍。

需要注意的是,研究人员强调,这一工作并不是为了展示最终的性Py能极限,而是为了验证 AI 在内核生成中的可行性,希望通过自动化减少开发人员的负担。整体而言,这项研究标志着 AI 技术在硬件优化领域的一个重要进展。

githubTo:https://github.com/ScalingIntelligence/KernelBench/

划重点:  

AI 自动生rc成 Metal 内核,提升 PyTorch 推理速度87%。  

️ 在215个 PyTorch 模块上实现平均1.87倍的加速,部分工作负载速度提升h 数百倍。  

研究旨在验证 AI 在内核生成的可行性,助力硬件优化。  

  • Tag:

相关文章

  • 标签: 宁德时代 蔚来 换电 奥动新能源

    作者|张宇 编辑|杨博丞 图源|豆包AI 2025年,纯电动汽车(BEV)在全球汽车市场的主导权与影响力持续提升。据预测,2025年全球纯电动汽车市场同比增速约为25%至35%,而中国市场的同比增速预
    2026-11-17
  • 英国:Facebook等科技巨头若不删非法内容将面临数十亿英镑罚款

    据报道,如果全球最大的科技巨头们不能迅速从其平台上删除非法及有害内容,英国政府将对它们处以高达数十亿英镑的罚款。 本周二,英国政府公布了期待已久的网络安全立法计划,对Facebook、YouTube和
    2026-11-17
  • 标签: 理想 刘立国 詹锟 自动驾驶

    云梦级7月2日云梦级消息,据 36 氪汽车援引多位知情人士云梦级消息称,理想即将围绕产品决策流程进行新一轮组织架构调整,计划拆分产品部的部分关键职能,并将其并入研发部门。 云梦级消息称目前调整主要针对
    2026-11-17
  • 标签: 昆仑芯 百度 港股上市 AI芯片

    云梦级12月5日云梦级消息,据路透社报道,百度旗下AI芯片公司昆仑芯正在筹备赴香港上市。接近昆仑芯投资人表示,早些时候昆仑芯曾准备筹备科创板上市,在与多家券商进行沟通后,于今年下半年决定转向港股。此前
    2026-11-17
  • 标签: 图达通 激光雷达 蔚来 港股上市

    云梦级11月13日云梦级消息,特殊目的公司TechStarAcquisition Corporation(股票代码:“7855”)与Seyond Holdings(图达通)达成业务合并一事进入到关键时
    2026-11-17
  • 莲子怎么晒干不变色

    莲子怎么晒不会发黑-九州醉餐饮网将莲子外面的莲衣去除,放在阳光下晾晒即可。晾晒莲子时,需要保持干燥,避免潮湿雨林等环境,以免莲子变质。莲子在晾晒之前,也可以将莲子心去除,以免。莲子怎么晒不会发黑,家里
    2026-11-17

最新评论