AI 安全性与有效性测试存在严重缺陷,引发专家关注
近日,来自英国政府 AI 安全研究所的计算机科学家及斯坦福大学、加州大学伯克利分校和牛津大学的专家们,A对超过440个用于评估新人工智能模型安全性和有效性的基准进行了深入研究。他们发现几乎所有测试在某一I 领域存在缺陷,这些缺陷可能会 “削弱结果声明的有效性”,并且一些测试的评分结果可能 “无关紧要甚至误导”。
图源安全备注:图片由AI生成
随着各大科技公司不断推出新 AI,公众对 AI 的安全性和有效性日益担忧。当前,美国和英性与国尚未实施全国范围的 AI 监管,而这些基准则成为检验新 AI 是否安全、是否符合人类利益及其在推理、数学和编码方有效面声称能力的重要工具。
研究的首席作者、牛津互联网研究所的 Andrew Bean 表示:“基准测试支撑着几乎所有关性测于 AI 进步的声明,但缺乏统一的定义和可靠的测量,使得我们难以判断模型是否真正改善,还是仅仅看似改善。” 他提试存到,谷歌最近撤回了其新推出的 AI 模型 Gemma,因为该模型传播了有关美国参议员的不实指控,且这些指控是完全在严虚构的。
这并不是个别现象。Character.ai 也在最近宣布禁止青少年与其 AI 聊天机器人进行开放式重缺对话,原因是该公司卷入了几起青少年自杀的争议。研究显示,只有16% 的基准使用不确定性估计或统计测试来陷,展示其准确性。在一些评估 AI 特性的基准中,像 “无害性” 这样的概念定义不清,导致测试效果不佳。
专家们呼吁制定共引发享标准和最佳实践,以改善 AI 的评估过程,从而确保其安全性与有效性。
划重点:
研究发现,440多个 AI 测试专家基准几乎都有缺陷,影响结果有效性。
谷歌的 Gemma 模型因传播虚假指控而被撤回,凸显 AI 监管的紧迫性。
仅关注16% 的基准使用统计测试,缺乏标准化,亟需改进 AI 评估方法。
- ·神秘AI换脸软件入侵全球社交网络!马斯克秒变文艺复兴贵族
- ·标签: 餐饮行业
- ·为苹果亚马逊提供清洁能源的Sunseap公司拟年底上市
- ·计算机架构的机器学习
- ·AI用50个三角形画出抽象版蒙娜丽莎,有股后现代的感觉了
- ·DeepSeek 论文登上 Nature 封面,AI 大模型首次通过同行评审
- ·标签: 英伟达 GTC2026 黄仁勋 VeraCPU
- ·阿里云发布超强AI大模型Qwen3-Max,性能傲视群雄!
- ·标签: 星动纪元 具身智能 顺丰集团 物流机器人
- ·谷歌 AI 模型成功预测今年最强大西洋风暴的强度与路径
- ·标签: 美的集团 三季报 新能源
- ·标签: 小米汽车 特斯拉 孔艳双 Eason
- ·标签: 吾流文化 凯辉基金 长月烬明 赴山海
- ·标签: Netflix 怪奇物语 华纳兄弟探索 K-Pop猎魔女团
- ·消息称去年全球IT支出超过5万亿美元 数据中心系统支出大幅增加
- ·Perplexity进军印度市场!AI搜索巨头新增印度股票财报电话会议实时转录功能
- ·亚马逊子公司宣布推出无人驾驶电动车,将于2021年投入使用
- ·云计算核心技术Docker教程:部署注册服务器
- ·阿里云推出新一代动作生成模型 Wan2.2-Animate,全面开源!
- ·标签: 无界动力 具身智能机器人 红杉中国 深创投
- ·云安全日报210806:红帽Ruby脚本语言发现任意代码执行漏洞,需要尽快升级
- ·九成游戏开发商悄然使用 AI 技术,谷歌高管揭秘行业现状
- ·印度顶尖 IT 公司稳住员工队伍,推动 AI 技能再培训
- ·消息称零一万物获阿里云投资 投后估值超10亿美元
- ·标签: 百度 大模型 吴甜 贾磊
- ·谷歌Gemini渐近ChatGPT,谷歌目前有4款AI应用跻身Top50
