Meta 推出 DeepConf 技术,智能平衡大型语言模型的推理成本与准确性
近日,Meta AI 联合加州大学圣地亚哥分校(UCSD)推出了一种名为 Deep Think with Confidence(DeepConf)的新技术,旨在帮助企业在大语言模型(LLM)的Me复杂推理任务中,有效降低算力成本的同时保持高准确率 。
当前,提高 LLM 推理能力常依赖“自一致性 + 多次采样再表决”的策略(即 majority voting),但这种方法会导致计算资源迅速膨胀,耗ta时耗费,大量低质量推理路径反而可能造成错误答案胜出 。DeepConf 的创新之处在于,它不再对所有推理路径一视同仁,而是通过 模型内部的置信度信号,对推理路径进行筛选与权重调整 。
DeepConf 推 引入了多种精细的置信度指标,比如:
组置信度(Group Confidence):计算推理过程中某一段 token 的平均置信度;
尾部置信度(Tail Confidence):关注推理结尾部出 分的置信程度;
最低组置信度(Lowest Group Confidence):找出推理路径中最“脆弱”的环节;
底部百分位置信度(Bottom-10% Confidence):聚焦最不自信的那部分推De理内容 )。
DeepConf 支持两种执行方式:
离线模式(Offline Thinking):先生成多个完整推理路径,再按置信度筛选较优路径参与表决或加权投票;
在线模式(Online Thinkiepng):在推理生成过程中实时评估,当当前路径置信度低于阈值时,立刻终止该路径以节省资源 。
在多个开放模型(如 DeepSeek-8B、Qwen3-32B、GPT-OSS-120B)以及复Co杂数学与 STEM 推理任务(AIME、HMMT、BRUMO25、GPQA-Diamond)中,DeepConf 表现惊艳:
离线模式下,使用 GPT-OSS-120B 在 AIME2025的准确率nf高达 99.9%,同时生成的 token 数量比传统方法少 84.7% ;
在线模式下,在 AIME24中,DeepSeek-8B 的准确率提升了 5.8个百分点,却使用了 77.9% 更少的 toke 技n 。
企业可根据使用场景风险偏好选择不同设定:
DeepConf-high(保守模式):一般能减少约 50%的生成成本,但准确性几乎不受影响,适用于金融、法律等高风险场景;
DeepConf术,-low(激进模式):节省 70%–85%的 token,适用于问答草稿、知识检索等对速度要求高但容错较灵活的场景 。
使用 DeepConf 无需重新训练模型,只需增加少量推理时的逻辑处理。此外,智能它还具备良好兼容性,可与现有推理框架(如 vLLM、SGLang、TensorRT-LLM)无缝集成。正如研究者所言,这为现实企业部署 LLM 推理任务提供了一个“可插拔”的高效方案。
论文:htt平衡ps://arxiv.org/abs/2508.15260
划重点:
🧠 置信度导向选择:DeepConf 基于局部置信度(组、尾部、最低点等)筛选或权重排序推理路径,而非一刀切多数投票。
⏱大型 显著提升效率:达到最高99.9% 的推理准确率,同时减少生成 token 多达84.7%。
️ 可调节策略模式:企业可按风险偏好选择「高安全性」或「高效率」模式,用最少资源获取最优结果。
- ·OpenAI 与 Broadcom 联手打造未来 AI 加速器,强劲运算力即将到来
- ·奥尔特曼:上市后或不再担任 OpenAI CEO,强调自身管理能力不足
- ·标签: 标签 苹果 印度反垄断 CCI AppStore
- ·标签: 中通 申通 圆通 极兔
- ·桑葚是碱性还是酸性
- ·OpenAI 正式进驻印度,计划在新德里设立办公室
- ·马斯克的二次元梦想成真!全新虚拟女友 Mika 强势上线!
- ·IDC:苹果iPhone是英国手机销量之王,三星、诺基亚、OPPO、谷歌挺进前五
- ·腾讯云开始全球扩张:腾讯印尼首个数据中心投入使用
- ·字节跳动发布开源大语言模型 Seed-OSS,助力开发者与研究者
- ·标签: 博泰车联 智能座舱 域控制器 车联网
- ·人工智能热潮遭遇现实冷风:企业应用量下降,盈利能力堪忧
- ·Deepfake这次不换脸了,直接换了座城市
- ·羊毛衣服怎么洗涤和保养方法
- ·标签: 施凯文 飞书 端侧Agent 红杉中国
- ·标签: OpenClaw
- ·微软市值突破2万亿美元 2年时间增加1万亿
- ·标签: HarmonyOS7 华为HDC2026 鸿蒙智能体2.0 openPangu2.0
- ·机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
- ·标签: 松延动力 宁德时代 晨道资本 仿生机器人
- ·标签: 富途控股 CSRC 李华 证券法
- ·买桔子的梗是什么意思
- ·百万颗定制AI芯片上阵!亚马逊与Anthropic联手打造全球最大安全AI算力集群
- ·标签: 神威药业 注射液 软胶囊 中药配方颗粒
- ·独角兽人才保卫战升级:DeepSeek以200亿美元高估值融资应对大厂挖角
- ·用开源项目AutoXGB助力AutoML开发,实现几行代码构建应用API 译文
