OSWorld-MCP:全新评测基准助力计算机代理产品发展
近日,OSWorld 团队正式发布了 OSWorld-MCP,这是首个针对计算机使用代理产品进行全面评估的基准测试工具O。该基准旨在为开发者和用户提供真实环境下的产品能力评测,提升了评估的真实度、平衡性与可比性。
OSWorld-MCP 的主要特性SW包括:它综合衡量了模型上下文协议(MCP)工具调用能力、图形用户界面(GUI)操作技能以及决策表现。该基准测试包含了1or58个经过验证的 MCP 工具,涵盖了七个常用应用程序,包括 LibreOffice Writer、Calc、Impress、ldVS Code、Google Chrome、VLC 及操作系统实用程序。其中,有25个工具专门用于鲁棒性测试,以保证评测的全面性和-M可靠性。
此外,OSWorld-MCP 还设定了250项工具适用性任务,其中69% 的基准任务受益于 MCP 工具的应用。这CP些工具的多轮调用设置带来了决策上的真实挑战,使得测试结果更具参考价值。根据数据,使用 MCP 工具的模型准确率和效率明:全显提升,OpenAI 的 o3模型在进行15步调用后,准确率从8.3% 提升至20.4%。在测试中,Claude-4-So新评nnet 模型观察到的最高工具调用率达到了36.3%,显示出未来改进的潜力。
该项目的开源特性也为开发者提供了丰富的资源与说明,测基促进了技术的共享与合作。有关项目的详细信息和资源,用户可以访问其官方网站和 GitHub 页面。
OSWorld-MCP 的发布不准助仅为计算机使用代理产品的评估提供了强有力的工具,也为未来相关技术的发展奠定了基础。
github:https://gi力计thub.com/X-PLUG/OSWorld-MCP
划重点:
** 首个全面评估计算机代理产品的基算机准测试工具 OSWorld-MCP 正式发布。**
️ ** 涵盖158个经过验证的 MCP 工具,支持代理多种常用应用程序。**
** 通过多轮调用设置,显著提升模型的准确率与效率。** &nb产品sp;
相关文章

谷歌母公司Alphabet将于7月28日发布2021年第二季度财报
新浪科技讯 北京时间7月8日下午消息,谷歌母公司Alphabet(NASDAQ: GOOG, GOOGL)今日宣布,将于美国东部时间7月27日股市收盘后(北京时间7月28日)发布2021年第二季度财报2026-11-17
沙利文报告:中国AI平台开发应用市场综合竞争表现 亚马逊云科技居首
10月11日消息,全球市场调研机构弗若斯特沙利文(Frost & Sullivan, 简称沙利文)联合头豹研究院发布《2021年中国AI开发平台市场报告》。报告数据显示,亚马逊云科技在中国AI平台开发2026-11-17
撰文 | 雁 秋 编辑 | 李信马 题图 | 云梦级摄 智能手机行业近几年陷入了一种奇怪的默契:旗舰机的背面越来越像,发布会的话术越来越雷同,甚至连涨价的理由都如出一辙——存储芯片成本上涨,实在扛不住2026-11-17
华为发布鸿蒙座舱 HarmonySpace 6:智能助手小艺全面升级,支持边开车边聊天!
华为正式推出全新一代鸿蒙座舱 HarmonySpace 6,带来了舱内感知、智慧交互和移动影音三大领域的全面升级。此次发布的座舱智能体小艺,采用了最新的 MoLA 2.0 架构,具备千亿级参数的多模态2026-11-17
标签: YouTube AskYouTube 谷歌I/O2026 桑达尔·皮查伊
云梦级5月20日云梦级消息,在今日的 2026 谷歌 I/O 开发者大会上,谷歌 CEO 桑达尔 · 皮查伊(Sundar Pichai)宣布上线 Ask YouTube 功能,核心变化是把传统关键词2026-11-17
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 她,凯瑟琳·伍德(Catherine Wood),因为连续押中特斯拉、Zoom、比特币等被封为“牛市女皇”。 在过去一年时2026-11-17

最新评论