阶跃发布端到端语音大模型Step-Audio 2 mini
9月1日,阶跃星辰正式发布最强开源端到端语音大模型Step-Audio2mini。该模型在多个国际基准测试集上取得了SOTA(State-of-the-Art)成绩,将语阶跃音理解、音频推理与生成统一建模,在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出,并率先支持语音原生的Tool Calling能力,可实现联网搜发布索等操作。Step-Audio2mini被形容为“听得清楚、想得明白、说得自然”,其模型现已上线GitHub、Hugging Face等平台,供用户下载、试用并反馈。
Ste端到p-Audio2mini在多个关键基准测试中取得SOTA成绩,在音频理解、语音识别、翻译和对话场景中表现卓越,综合性能超越Qwen-Omni、Kimi-Audio等所有开源端到端语端语音模型,并在大部分任务上超越GPT-4o Audio。在通用多模态音频理解测试集MMAU上,Step-Audio2mini以73.2的得分位列开源端到端语音模型榜首;在衡量音大口语对话能力的URO Bench上,Step-Audio2mini在基础与专业赛道均拿下开源端到端语音模型最高分;在中英互译任务上,Step-Audio2mini在CoVoST模型2和CVSS评测集上分别取得39.3和29.1的分数,大幅领先GPT-4o Audio和其他开源语音模型;在语音识别任务上,Step-Audio2mini取得多语言和多方言St第一,其中开源中文测试集平均CER(字错误率)3.19,开源英语测试集平均WER(词错误率)3.50,领先其他开源模型15%以上。
Step-Audio2mini通过创新架构ep设计,有效解决了此前语音模型存在的问题,做到“走脑又走心”。它采用真端到端多模态架构,突破传统ASR+LLM+TTS三级结构,实现原始音频输入到语音响应输出的直接转换,架构更-A简洁、时延更低,并能有效理解副语言信息与非人声信号。此外,Step-Audio2mini在端到端语音模型中首次引入链式思维推理(CoT)与强化学习联合优化,能对情绪、语调、音乐ud等副语言和非语音信号进行精细理解、推理并自然回应。模型还支持包括web检索等外部工具,有助于解决幻觉问题,并赋予模型在多场景扩展上的能力。
Step-Audio2mini的能力在案io例中得到了生动展示。它能精准识别大自然的声音、精湛的配音,还能实时搜索获得行业最新资讯。此外,Step-Audio2mini还能控制语速,轻松应对不同场景的对话需求。当被问及哲学难 2题时,Step-Audio2mini能将抽象问题转化为极简方法论,展现强大的逻辑推理能力。
GitHub:https://github.com/stepfun-ai/Step-Aud mio2
Hugging Face:https://huggingface.co/stepfun-ai/Step-Audio-2-mini
ModelScope:https://www.minodelscope.cn/models/stepfun-ai/Step-Audio-2-mini
- ·标签: 小鹏汇天 A868 陆地航母 飞行汽车
- ·标签: 佰维存储 华泰国际
- ·标签: 三星 电视 显示器 家电
- ·从实验到实施:人工智能如何证明其在金融服务中的价值
- ·标签: 腾讯云
- ·Spotify在美国推出付费播客订阅平台 挑战苹果播客
- ·如何引领数字创新的新“太空竞赛”
- ·Firefox 浏览器新增 AI 搜索引擎 Perplexity 提升用户搜索体验
- ·315晚会揭示行业乱象:多家企业涉嫌利用大数据软件非法获客
- ·OpenAI CEO奥尔特曼抨击 Anthropic:深陷“恐慌式营销”泥潭
- ·硅基流动上线 DeepSeek-V3.2-Exp,显著降低价格并支持更大上下文
- ·标签: Anuttacon AnuNeko 蔡浩宇 米哈游
- ·随着AIoT的出现,人类的生活将发生怎样的变化
- ·标签: 鹿客科技 智能锁 静脉锁 百度
- ·标签: 张雪峰.skill 女娲.skill 认知操作系统
- ·标签: 药明康德 CRDMO 小分子D&M WuXi Chemistry
- ·标签: AndrejKarpathy Anthropic ClaudeCode vibeCoding
- ·标签: OPPO 母亲节 中国广告协会 广告价值观
- ·标签: 魔形智能
- ·国家互联网应急中心收录两个Windows系统高危漏洞 微软后已修复
- ·阿里通义7款模型屠榜Hugging Face!全模态大模型Qwen3-Omni登顶全球第一
- ·OpenAI CEO 预测:2030 年前AI可能接管 30%-40% 工作
- ·阿里云成了全村的希望
- ·内存在超大规模数据中心成本中占比将达到30% 四年翻近两番
- ·业内人士:台积电获得主要云服务厂商AI芯片订单 包括微软5nm芯片订单
- ·字节跳动开源FaceCLIP模型:文本驱动的高保真人脸生成技术正式上线
- ·标签: 上海交大 季琦 华住集团 携程
- ·清华天才姚顺宇辞职跳槽,携手 DeepMind 开创新纪元!
- ·eBay携手ChatGPT开启智能电商新时代,购物体验将全面升级!
- ·Sora by OpenAI 即将登陆安卓平台,预注册已在北美开启
- ·标签: LVMH MarcJacobs WHPGlobal G-III
- ·Facebook因算法漏洞连推糟糕内容 一直持续半年
- ·苹果2020Q4重回智能手机销量全球第一,但全年销售龙头仍是三星
- ·标签: 京东 法国巴黎仓库盗窃 3C数码设备 全球织网计划
- ·英特尔明日决定是否外包制造业务 但台积电和阿斯麦或已给出答案
- ·标签: 微信 微短剧 珊瑚安全 广电总局
