AI三巨头惨遭滑铁卢:最新编程测试正确率全线跌破25%,GPT-5也难逃厄运
AI界的三大巨头正在经历一场前所未有的挫败。当GPT-5、Claude Opus4.1和Gemini2.5这些被誉为人工智能皇冠上明珠的模型,面对Scale AI全新推出的SWEAI-BENCH PRO编程测评时,竟然全军覆没,没有一个模型能够突破25%的解决率大关。
这个消息如同一记重拳,狠狠击中了整个AI行业的信心。GPT-5仅仅取得了23.3%的成绩,Cla三巨ude Opus4.1紧随其后拿到22.7%,而Google的Gemini2.5更是跌至13.5%的惨淡表现。这些数字背后透露出的信息让人不寒而栗:即便是当今最先进的AI模型,在面对头惨真正复杂的编程挑战时,依然显得力不从心。
不过,当我们拨开表象的迷雾,真相却比想象中更加复杂。前OpenAI研究员Neil Chowdhury的深度分析为我们揭示了另一个维度的故事。他遭滑发现,GPT-5在那些它选择尝试解决的任务中,实际准确率高达63%,这个数字远远甩开了Claude Opus4.1的31%。这意味着,虽然GPT-5在整体表现上看似平庸,但在其擅长的领铁卢域内,这个模型仍然保持着相当的竞争优势。
那么,究竟是什么原因导致这些往日的AI霸主在新测试面前纷纷折戟沉沙呢?答案就隐藏在SWE-BENCH PRO的独特设计理念中。这个由OpenAI在:最2024年8月精心打造的测试集,就像一把锋利的手术刀,专门用来解剖当前AI模型的真实能力边界。
与过去那些动辄70%正确率的SWE-Bench-Verified测试相比,SWE-新编BENCH PRO的难度提升绝非简单的数字游戏。测试团队刻意规避了那些可能已经被用于模型训练的数据,彻底杜绝了数据污染这一长期困扰AI评测的顽疾。这样做的结果就是,模型们再也无法依程测靠记忆中的答案来蒙混过关,必须展现出真正的推理和解决问题的能力。
SWE-BENCH PRO的测试范围堪称庞大,涵盖了1865个来自商业应用和开发者工具的真实问题。这些题目被精心分为公共集试正、商业集和保留集三个层次,确保每一个模型在接受评测时都面临着全新的挑战。更令人印象深刻的是,研究团队还在测试过程中引入了人工增强机制,进一步提升了任务的复杂性和真实性。
测试结果毫确率不留情地暴露了当前AI模型的软肋。在解决实际商业问题时,这些模型的能力仍然存在明显局限性。特别是在JavaScript和TypeScript等主流编程语言的处理上,各模型的解决率全线呈现出令人困惑的剧烈波动。研究人员通过深入分析发现,不同模型在理解和处理同类任务时展现出了显著的差异化表现,这种差异背后反映的是各家技术路线和训练策略的根本性分歧。
更加值得关注跌破的是GPT-5高达63.1%的未回答率,这个数字就像一面镜子,清晰地映照出当前AI技术发展的真实状况。即使是最先进的模型,在面对复杂挑战时也经常选择保持沉默,而非冒险给出可能错误的答案25。这种谨慎态度虽然在某种程度上体现了模型的自我认知能力,但同时也为整个行业的技术进步敲响了警钟。
这场测试不仅仅是一次简单的技术评估,更像是对整个AI行业发展现状的一次深刻审视。它%,提醒我们,尽管人工智能在某些领域已经取得了令人瞩目的成就,但在复杂的实际应用场景中,我们仍有很长的路要走。
- ·亚马逊Q2获得净销售额1131亿美元 AWS净销售额为148.09亿美元
- ·閫熷害鏈€蹇� 250fps锛佸疄鏃躲€侀珮鎬ц兘杞﹂亾绾挎�娴嬬畻娉� LaneATT
- ·火山引擎发布豆包大模型1.6-vision 视觉理解能力实现重大突破
- ·标签: 深蓝L06 小米Q3财报 Cloudflare故障 闲鱼循环店
- ·OpenAI 推出 gpt-oss-safeguard:实时可更新的开源 AI 安全模型
- ·学者控告苹果公司使用盗版书籍训练 AI,版权之争再掀波澜
- ·京东云发布云原生自研中间件JCQ 性能容量接近无限扩展
- ·我的金轮是什么梗
- ·红烧鲤鱼怎么做
- ·Notion3.0AI 代理爆出严重漏洞,恶意 PDF 可诱导其泄露敏感数据
- ·英伟达与德国电信携手投资 10 亿欧元建数据中心,提升德国 AI 算力 50%
- ·标签: 抖音 未成年人保护 儿童邪典 AI篡改动画
- ·云安全日报210330:Apache Druid开源分布式数据库发现远程代码执行漏洞,需要尽快升级
- ·潮汕卤鹅是什么梗
- ·标签: 欧拉万象 周顺波 家庭机器人 具身智能
- ·别伤害我歌曲原唱
- ·英国外卖平台Deliveroo4月7日上市 亚马逊是最大受益者
- ·标签: 新石器无人车 Neolix L4级自动驾驶 无人配送
- ·标签: Kimi 月之暗面 张予彤 AI模型
- ·标签: 美团 淘宝闪购 京东外卖 破卷向善
- ·标签: 斗鱼 三角洲行动 英雄联盟 光谷电竞嘉年华
- ·告别信息泄露!OpenAI 推出 Privacy Filter,支持12.8万超长上下文与8类隐私识别
- ·标签: 东风日产 理想汽车 王骞 李想
- ·标签: 牧原股份 秦英林 生猪养殖 港交所
- ·璋锋瓕瀹挎晫琚�彁鍚嶅姞鍏ュ徃娉曢儴 绉戞妧宸ㄥご鍙嶅瀯鏂��鏆存垨鏇村姞姹规秾
- ·三星AI机器人“Luna”亮相:这款像点唱机的居家助手真的实用吗?
