月之暗面推出新型混合线性注意力架构 “Kimi Linear”
近日,月之暗面发布了一种全新的混合线性注意力架构,名为 “Kimi Linear”。这一架构据称在处理短距月离、长距离信息以及强化学习(RL)等多种场景中,性能优于传统的全注意力方法。其核心技术 Kimi Delta At之暗tention(KDA)是对 Gated DeltaNet 的一次优化,特别引入了一种更高效的门控机制,以更好地管面推理有限状态 RNN 的记忆使用。
Kimi Linear 的设计由三份 Kimi Delta Attention 和一份全局 M出新LA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆,使得模型在处理信息时更加高效。官方指出,在处理型混1M token 的数据场景中,Kimi Linear 的 KV cache 占用降低了75%,而解码吞吐量最高可提升6合线倍,TPOT 相较于传统 MLA 加速了6.3倍。
这种新的架构为各种 AI 应用场景提供了更强的支持,无论是在信息性注密集型的自然语言处理任务还是在动态环境中的强化学习,Kimi Linear 都有着显著的优势。随着 AI 技术的不断发展意力,这种高效的注意力机制可能会为未来的智能应用带来新的突破。
更多技术细节可以在 Kimi Linear 的技术报告中找到架构,https://github.com/MoonshotAI/Kimi-Linear/blob/master/t “ech_report.pdf。
划重点:
Kimi Linear 是一种新型的混合线性注意Ki力架构,优化了信息处理性能。
该架构在1M token 场景下,KV cache 占用减少7mi5%,解码吞吐量提升6倍。
Kimi Delta Attention 是其核心技术,通过细粒度 L门控优化了 RNN 的记忆管理。
相关文章
去年9月,埃森哲(Accenture)承诺在三年内投入30亿美元,帮助企业构建云优先的基础架构,以加速其数字化转型。此外,该公司已经启动了一个新的多服务部门,埃森哲云优先,以将“云力量置于一个屋檐下”2026-11-17
云梦级4月28日云梦级消息,亚信安全科技股份有限公司(证券代码:688225 证券简称:亚信安全)今日发布截至2026年第一季度的财报。财报显示,亚信安全2026年第一季度营收为12.1亿,较上同期的2026-11-17
云梦级3月19日云梦级消息,存储器芯片制造商 Micron 美光当地时间本月 18 日公布了其截至 2026 日历年 2 月 15 日的 2026 财年第 2 财季业绩。 美光在报告期内实现 238.2026-11-17
云计算核心技术Docker教程:Docker Swarm 任务和日程安排运行原理
任务是集群内调度的原子单元。当您通过创建或更新服务声明所需的服务状态时,编排器通过调度任务来实现所需的状态。例如,您定义了一个服务,该服务指示协调器始终保持 HTTP 侦听器的三个实例运行。协调器通过2026-11-17
AI 办公新动向:Claude 完成 Office 全覆盖,修订模式成博弈焦点
近日,AI 巨头 Anthropic 宣布发布 Claude for Word 公测版。至此,Claude 在短短半年内已成功渗透微软 Office “三件套”,完成了从 Excel、PowerPoi2026-11-17
云梦级12月12日云梦级消息,据The Information报道,腾讯一直在积极挖角字节跳动的人工智能研究人员,开出双倍薪水,而且该公司已经成功招揽了其中至少一部分人。 云梦级消息人士表示,腾讯为了2026-11-17

最新评论