美团 LongCat 团队推出 VitaBench:全新智能体评测基准

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌外推搜索留痕技术【tg:seogoogle987】。

近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。

VitaBench 专注于外卖点餐、餐厅就餐和旅游出 L行等高频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在任务执行on过程中进行深度推理、工具调用与用户互动的综合表现。

尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智能体在复杂跨gC场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题,填补现有智能体at评测基准与真实生活场景应用之间的空白。

该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过将这些维度量化, 团系统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点数量来评估;工具复杂队推度则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。

VitaBench 的构建过程为两个阶段,首先是框设计工出 具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得智能体能够在没有冗余规则Vi的情况下,自主推理和决策。

目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHub 访问相关资源。VitaBtaench 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应用与发展。

项目主页:httpsBe://vitabench.github.io

论文链接:https://arxiv.org/abs/2509.26490

代码仓库:nchttps://github.com/meituan-longcat/vitabench

数据集:https://huggingh:face.co/datasets/meituan- longcat/VitaBench

排行榜:https://vitabench.全新github.io/#Leaderboard

  • Tag:

相关文章

  • 英国要求谷歌更严格地审查网上金融促销活动

    据报道,英国金融行为监管局(FCA,Financial Conduct Authority)周四表示,谷歌应立即主动采取行动,更好地审查金融产品的付费促销活动。此前,该监管机构对一支破产基金发布了一份
    2026-11-17
  • 标签: 小红书 Dots Rednote AI

    云梦级4月30日云梦级消息,4月30日,小红书发布全员内部信,宣布新一轮组织升级,将全面整合社区、电商、商业化三大业务及公司技术体系,成立AI一级部门Dots和企业智能部,从产品技术、组织两方面加大对
    2026-11-17
  • 霍尼韦尔利用人工智能和云计算检测空气中颗粒物,过敏原和孢子

    霍尼韦尔宣布了一款新的机载颗粒分析仪,该分析仪利用人工智能和云计算使暖通空调服务提供商和环境测试专业人员能够更好地告知房屋和建筑物所有人空气中存在的颗粒的数量和类型。 空气中的微粒,过敏原和孢子影响着
    2026-11-17
  • 云安全日报220714:思科身份服务引擎发现身份验证绕过漏洞,需要尽快升级

    Cisco Identity Services Engine(ISE)是思科(Cisco)公司的一款基于身份的环境感知平台(ISE身份服务引擎)。该平台通过收集网络、用户和设备中的实时信息,制定并实施
    2026-11-17
  • 标签: 宏碁 Acer 2025财报 非电脑业务

    云梦级3月12日云梦级消息,宏碁 Acer 今日公告,公司 2025 年全年合并营业收入 2756.28 亿新台币(现汇率约合 608.86 亿元人民币),增长 4.1%;毛利润 299.90 亿新台
    2026-11-17
  • 生数科技获数亿元融资,视频生成引领AI商业化新潮流

    近日,多模态 AI 领域的先锋企业生数科技宣布成功完成数亿元人民币的 A 轮融资。这轮融资由博华资本领投,老股东百度战投、北京市人工智能产业投资基金等多个投资方继续跟进,显示出市场对生数科技的高度认可
    2026-11-17

最新评论