月之暗面发布Kimi Linear架构：KV缓存减少75%，推理速度提升6倍，Attention机制迎来颠覆性革新！
我要评论近日，月之暗面发布了一个颇具革命性的技术 ——“Kimi Linear” 混合线性注意力架构。该架构被认为月之在短距离、长距离处理以及强化学习（RL）等多个场景中，优于传统的全注意力方法。其核心创新在于 “Kimi Delt暗面a Attention”(KDA)，这是对 Gated DeltaNet 的优化升级，引入了更高效的门控机制，以提升发布有限状态 RNN(递归神经网络)记忆的使用效率。
Kimi Linear 的架构设计独特，由三份 Kimi Delta AtKitention 和一份全局 MLA（多层感知机）组成。通过对 Gated DeltaNet 的改良，KDA 能通过细粒度的mi门控机制，显著压缩有限状态 RNN 的记忆使用。这一设计不仅提高了模型处理信息的速度，还有效减少了内存占用，具有更 L强的实用性。
官方数据显示，在处理1M token 的场景下，Kimi Linear 的 KV cache 占用量减少了75%in，解码吞吐量最高提升了6倍。而在 TPOT（训练速度）的提升上，相较于传统 MLA，Kimi Linear 实现了6.ea3倍的加速。这些显著的性能提升，预示着 Kimi Linear 在各类 AI 任务中的广泛适用性，尤其是在对速r架度和内存要求极高的应用场景。
随着人工智能的迅速发展，提升模型的处理能力与效率成为了行业内的关键挑战。构：月之暗面的 Kimi Linear 架构通过其创新设计，为这一领域带来了新的解决方案，未来可能会成为新的行KV业标杆。
Kimi Linear 技术报告的详细信息，可以通过官方的 GitHub 页面获取，感兴趣的读者可以缓存深入了解其技术细节。
技术报告:https://github.com/MoonshotAI/Kimi-Line减少ar/blob/master/tech_report.pdf
相关文章
今天准备介绍一篇超级肝货! Pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。它提供了大量能使我们快速便捷地处理数据的函数和方法。 本文介绍的这20个【被分成了15组】函2026-11-16
云梦级11月1日云梦级消息，10 月 31 日，国铁集团披露了 2025 年前三季度财务决算。前三季度，国铁集团实现营业总收入 9122 亿元，净利润盈利 117.2 亿元。 今年前三季度，全国铁路累2026-11-16
Hello，大家早上好，又是元气满满的一天，先来浏览新鲜的早报吧～ 【余承东官宣尊界 V800】 华为余承东官宣尊界 V800，定位“超高端 MPV”，新车已在工信部完成申报。车身尺寸庞大，轴距达 32026-11-16
阳澄湖大闸蟹需要蒸多久才熟-九州醉餐饮网阳澄湖大闸蟹冷水上锅蒸15-20分即可,冷水慢慢加热会产生蒸汽,用蒸汽去蒸熟阳澄湖大闸蟹,可以锁住阳澄湖大闸蟹的鲜美。阳澄湖大闸蟹在清洗的时候要。清蒸阳澄湖大闸2026-11-16
科技新知 | 来源 樟稻 | 作者 伊页 | 编辑 不提供二次转载 国内云厂商的业务和战略层面，出海被提到的频次与日俱增。 前不久，在阿里云内部管理会上，除了好事者喜闻乐见的人事任免环节，在新的组织架2026-11-16
Anthropic发布Claude Sonnet 4.5：编码能力登顶榜首，实验性功能Imagine预演AI原生界面时代
Anthropic在深夜突然发布Claude Sonnet4.5版本，这次更新不仅在技术指标上实现全面提升，更通过实验性功能Imagine with Claude展示了AI实时生成软件界面的创新方向。2026-11-16
最新评论