OSWorld-MCP:全新评测基准助力计算机代理产品发展
近日,OSWorld 团队正式发布了 OSWorld-MCP,这是首个针对计算机使用代理产品进行全面评估的基准测试工具O。该基准旨在为开发者和用户提供真实环境下的产品能力评测,提升了评估的真实度、平衡性与可比性。
OSWorld-MCP 的主要特性SW包括:它综合衡量了模型上下文协议(MCP)工具调用能力、图形用户界面(GUI)操作技能以及决策表现。该基准测试包含了or158个经过验证的 MCP 工具,涵盖了七个常用应用程序,包括 LibreOffice Writer、Calc、Impress、VSld Code、Google Chrome、VLC 及操作系统实用程序。其中,有25个工具专门用于鲁棒性测试,以保证评测的全面性和-M可靠性。
此外,OSWorld-MCP 还设定了250项工具适用性任务,其中69% 的基准任务受益于 MCP 工具的应用。这些工具CP的多轮调用设置带来了决策上的真实挑战,使得测试结果更具参考价值。根据数据,使用 MCP 工具的模型准确率和效率明显提升,:全OpenAI 的 o3模型在进行15步调用后,准确率从8.3% 提升至20.4%。在测试中,Claude-4-Sonnet 模型观察新评到的最高工具调用率达到了36.3%,显示出未来改进的潜力。
该项目的开源特性也为开发者提供了丰富的资源与说明,促进了技术的共测基享与合作。有关项目的详细信息和资源,用户可以访问其官方网站和 GitHub 页面。
OSWorld-MCP 的发布不仅为计算准助机使用代理产品的评估提供了强有力的工具,也为未来相关技术的发展奠定了基础。
github:https://github.力计com/X-PLUG/OSWorld-MCP
划重点:
** 首个全面评估计算机代理产品的基准测试工具算机 OSWorld-MCP 正式发布。**
️ ** 涵盖158个经过验证的 MCP 工具,支持多种常用应用代理程序。**
** 通过多轮调用设置,显著提升模型的准确率与效率。**
- ·标签: 充电桩
- ·标签: 长安启源 长安启源Q07 天枢智能激光版 全球车规级芯片
- ·标签: 宁德时代 曾毓群 磷酸铁锂电池 锂电池出口
- ·阿里云CTO周靖人成为阿里合伙人
- ·标签: 欢聚 BIGO Ads 直播业务 价值标的
- ·云计算开发:Python3-islower()方法详解
- ·标签: Mindverse Macaron AI LoRA强化学习 个人智能
- ·IBM同意支付2425万美元和解金以了结美FCC两项调查
- ·苹果和Epic诉讼大战下月开审:库克将出庭作证
- ·标签: 魅族科技 58同城 黄先生
- ·标签: 钉钉 悟空事业部 陈宇森 朱鸿
- ·标签: 长安启源 长安启源Q07 天枢智能激光版 全球车规级芯片
- ·标签: 快手 可灵AI 线上营销服务 电商业务
- ·人工智能有能力部署到的几个应用
- ·谷歌拟加码投资 Anthropic,总金额或达400亿美元
- ·名为 “京刚”:京东科技旗下京东云发布新一代自研虚拟化架构
- ·标签: 谷歌 Alphabet Intersect Power 数据中心
- ·Pandas 中实现聚合统计,有几种方法?
- ·标签: Snapchat AI 裁员
- ·亚马逊敦促法官撤销美国防部授予微软的100亿美元云计算合同
- ·扎克伯格45分钟深度采访:透露下个十年VR和脑机接口野心
- ·谷歌推AI自动营销工具Pomelli,输入网站URL即可生成营销内容
- ·OpenAI 估值飙升至 5000 亿美元,成功出售103亿美元的二级股票
- ·消息称Anthropic与云计算公司Riot Platforms达成91亿美元算力协议
- ·水杯壁很多气泡能喝吗
- ·OpenAI 呼吁美国加大电力投资 助力 AI 领域领跑中国
