英伟达开源 OmniVinci 全模态理解模型，训练数据仅为 1/6
我要评论近日，英伟达研究团队发布了全新的 OmniVinci 全模态理解模型，该模型在多个全模态理解基准测试中，表现出色，超越了英目前最顶尖的模型19.05分。更令人瞩目的是，OmniVinci 在训练过程中仅使用了0.2万亿的训练 Token，相较于竞伟达争对手的1.2万亿，其数据效率是其六倍。
OmniVinci 的核心目标是打造一个可以同时理解视觉、音频和文本的人工智能系统开源，使机器能够像人类一样，通过不同感官感知和理解复杂的世界。为了实现这一目标，研究团队不仅仅是简单地增加数据量，而是通过 O创新的网络架构和数据管理策略，成功实现了性能和效率的双重提升。
在设计上，OmniVinci 采用了全模态潜在空间的概念，旨在融合mn来自不同感官的信息，实现跨模态的理解与推理。研究团队发现，不同模态之间在感知和推理层面能够相互强化，这一发现为多模态 AIiV 系统的构建指明了方向。
OmniVinci 的架构设计具有可组合的跨模态理解能力，整合了图像、视频、音频和文本等异构输入。in通过统一的全模态对齐机制，该模型能够将不同模态的嵌入信息整合到一个潜在空间中，进一步输入到大语言模型（LLM）中。该机ci制包括三项关键技术，其中 OmniAlignNet 模块有效对齐视觉和音频信息，而时间嵌入分组和约束旋转时间嵌入则提升了模型对时间 全信息的理解。
为了培养 OmniVinci 的全模态理解能力，研究团队采用了两阶段的训练方法。首先是模态特定训练，接着进行全模模态态联合训练，利用隐式和显式学习数据，显著提升了模型的联合理解能力。
随着 OmniVinci 的发布，英伟达再次展示了其在人工智理解能领域的技术创新，预示着未来 AI 系统将更加智能、灵活。
github：https://github.com/NVlabs模型/OmniVinci
划重点:
OmniVinci 模型在全模态理解基准测试中超越了顶尖模型19.05分。
训，训练数据量仅为竞争对手的1/6，数据效率提升至六倍。
采用创新架构和两阶段训练方法，显著提升模型的多模态练数理解能力。
相关文章
标签: 李博杰 PineAI 华为天才少年 DeepSeek
云梦级7月8日云梦级消息，据AIPress报道，近日，前华为天才少年李博杰吐槽DeepSeek面试引发关注。公开信息显示，李博杰出身中科大“少年班”，中科大 + 微软亚洲研究院联合培养计算机博士。 李2026-11-16
云梦级11月11日云梦级消息，据华尔街科技眼报道，天眼查APP信息显示，浙江智屏视界科技有限公司（下称 “浙江智屏”）于 2025 年 10 月 30 日成立，注册资本 5000 万元。其经营范围涵盖2026-11-16
10月9日消息，NBA中国与阿里云宣布战略合作，旨在通过科技提升篮球运动的参与度和吸引力。双方将共同开发人工智能技术，包括NBA篮球大模型，以优化赛事体验，增强球迷和球员的互动，推动篮球运动的普及与发2026-11-16
近些年来，科技的快速发展，使人工智能方面的人才炙手可热。 根据此前UiPath发布的数据显示：我国AI岗位空缺数量最多，有12113个相关职位因为招聘不到人才而发生空缺。 我国对于AI人才的渴求已经超2026-11-16
完美抠图王冰冰！字节实习生开发的AI，实现4K60帧视频实时抠图
本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 看这一头蓬松的秀发，加上帅气的动作，你以为是在绿幕前拍大片？ No、No、No 这其实是AI拿来视频ʵʱ抠图后的效果。 没2026-11-16
云梦级2月11日云梦级消息，中国专业户外品牌“Outopia”近日完成 B 轮融资。本轮聚集国内外头部资本，由华映资本领投，挑战者创投、Ventech China 与顺为资本共同跟投；其中，顺为资本已2026-11-16
最新评论