英伟达推出全模态理解模型 OmniVinci,刷新 SOTA 高出19.05分
英伟达研究团队今日发布了名为 OmniVinci 的全模态理解模型,该模型在关键的全模态理解基准测试中取英伟得了惊人的成果,相较于现有顶尖模型高出19.05分。更为引人注目的是,OmniVinci 仅使用了1/6的训练数据,展现达推出卓越的数据效率和性能。
OmniVinci 的目标是创建一个能够同时理解视觉、音频和文本的全能 AI 系统,使机器能够出全像人类一样通过多种感官感知并理解复杂的世界。为了实现这一目标,英伟达团队采取了创新的架构设计和数据管理策略,通过一个模态统一的全模态潜在空间,将不同感官的信息融合在一起,实现了跨模态的理解和推理。
在 Dailyomni 基准测试中,OmniVin理解ci 的表现超过了 Qwen2.5-Omni,其在音频理解的 MMAR 测试中高出1.7分,在视觉理解的 Video-MME模型 测试中高出3.9分。使用的训练 Token 仅为0.2万亿,而 Qwen2.5-Omni 的训练量为1.2万亿,显示出 Om OniVinci 的训练效率是其6倍。
该模型的核心创新在于全模态对齐机制,包括 OmniAlignNet 模块、时间嵌入分组(TEmnG)和约束旋转时间嵌入(CRTE)三项技术。OmniAlignNet 利用视觉和音频信号之间的互补性,加强了两者的学习与iV对齐。而 TEG 则通过将视觉和音频信息按时间分组,有效编码了时间关系。CRTE 则进一步解决了时间对齐问题,确保模型能够理in解事件的绝对时间信息。
研究团队采用了两阶段的训练方法,首先进行模态特定训练,随后进行全模态联合训练,以逐步提升模型的全模ci态理解能力。在隐式全模态学习方面,研究者们通过现有的视频问答数据集,进一步提高了模型对音视频的联合理解能力。
Omn,刷iVinci 的问世标志着英伟达在多模态 AI 领域的重要突破,预计将在各类应用中推动 AI 技术的发展,助力更智能的系统和服务的出新 现。该模型的开源发布,也将为全球的研究人员和开发者提供新的机遇,推动 AI 在实际应用中的进一步探索与创新。
相关文章

云计算核心技术Docker教程:Docker Hub审核日志
订阅团队计划的用户可以使用审核日志功能。将您现有的帐户升级到团队帐户,以开始使用审核日志功能。 审核日志按时间顺序列出了在组织和存储库级别发生的活动。它为Docker团队帐户的所有者提供了其所有团队成2026-11-17
对集中式云服务器的访问使电信网络运营商及其企业客户认为超大规模公共云服务产品将潜在地增强所有正在生成的数据的存储和处理。 但是,由网络延迟引起的性能问题导致公共云服务不适合某些数据密集型计算活动,例如2026-11-17
云计算核心技术Docker教程:Java镜像在容器中运行数据库
首先,我们将看看在容器中运行数据库,以及我们如何使用卷和网络来持久化我们的数据并允许我们的应用程序与数据库对话。然后我们将把所有东西放在一个 Compose 文件中,它允许我们用一个命令设置和运行本地2026-11-17
云梦级3月9日云梦级消息,《读佳》获悉,腾讯音乐已推出“鹅票票”购票平台,成为继猫眼、大麦后的又一票务新玩家。 从平台界面可见,鹅票票在北京地区的各类演出内容,涵盖华语流行演唱会、怀旧金曲演出、艺术展2026-11-17
当组织采用直接的公共云架构时,管理云计算成本已经很困难。当组织迁移到将公共云服务与私有基础设施集成在一起的混合云环境时,这种情况将变得更加困难。并且不要忘记将托管数据中心添加到其混合云环境中。 考虑到2026-11-17
6月20日消息,据外媒报道,在首个数据中心建成并投入运营3年多之后,阿里云在韩国的第二个数据中心,也将在本月启用。 在第二个数据中心投入使用之后,阿里云在韩国就能有更多的资源,以满足当地用户的需求。2026-11-17

最新评论