让Transformer的推理速度提高4.5倍,这个trick还能给你省十几万
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
最近,NLP明星公司Hugging Face发布了一个叫做Infinity的产品,可以以1ms延时完成Transfo让Trmer的推理,性能相当高了。
但是,厉害归厉害,还是有点贵——1年至少要十几万块 (2万美元)。
那有没有什么平替的方法呢?
有的!还是开源的、“不费吹灰之力”就可以达到Infinity一些公ra共基准的那种。
并且现在,通过在该方法上施加一个小trick,将Transformer的推理速度提高4.5倍!
△ 帖子发布不到一天就收获了250+热度
那么,一个“平替”到底为什么能达到“付费”的效果呢ns?
一个trick让Transformer推理速度提高4.5倍
先来认识一下这个方法:Transformer-deploy。
它可以用一行命令优化和部署Hugging Face上的Transformerfo模型,并支持大多数基于Transformer编码器的模型,比如Bert、Roberta、miniLM、Camembert、Albert、XLM-R、Distilbert等。
Transformrmer-deploy推理服务器用的是Nvidia Triton。
推理引擎为Microsoft ONNX Runtime(用于CPU和GPU推理)和Nvidia TensorRT(仅限 GPU)。
如果想在erGPU上获得一流的性能,Nvidia Triton+Nvidia TensorRT这样的组合无疑是最佳选择。
虽然TensorRT用起来有点难,但它确实能比用Pytorch快5~10倍。
在实际性能的推测试中,Transformer-deploy在batch size为1、token分别为16和128的输入序列中的推理速度,都比付费的Hugging Face Infinity要快:
Transformer理速-deploy在token为16时要1.52ms,Infinity则需要1.7ms;token为128时需要1.99ms,Infinity则需要2.5ms。
那前面说的能让Transformer的推理度提性能进一步提高的小trick是什么呢?
GPU量化(quantization)。
作者表示:
据我所知,目前任何OOS云服务都还没用到过这个方法。
不过执行GPU量化需要修改模型源代码(需在矩阵乘法等代价高4高昂的操作上添加一些叫做QDQ的特定节点),既容易出错,又很无聊,并且还需自己维护修改后的代码。
因此作者已经为多个基于Transformer的模型手动完成了这项工作。
后来,他们又发现似乎只需修补.5模型模块的抽象语法树 (AST)也可以自动完成。
在用户端,在GPU上执行模型的基本量化类似这样:
最终,该方法在Roberta-base模型和MNLI数据集(分类任务)上实现了4.53倍倍,的推理速度。
当然这也牺牲了0.4个点的精度;如果一点不牺牲的话,也可以加速3.2倍左右。
作者表示,与Transformer-deploy原来的版本相比,这已经是一个很大的改进了,毕竟原版本的加速成本这个需要超过1个点的精确度。
最终他们用Albert、Bert(包括miniLM)、Distilbert、Roberta(包括 Camembert、XLM-R、DistilRoberta等)、Electtrra测试了该trick。
结果是对于任何可以导出为ONNX格式的Transformer模型,都可以“开箱即用”。
- ·标签: 海清智元 多光谱AI 智元起源大模型 港交所上市
- ·标签: 去哪儿旅行 中东局势 伊朗爆炸 航班保障
- ·标签: 阳光电源
- ·面试官:说说什么是Java内存模型?
- ·标签: 亚马逊 AWS Andy Jassy 芯片业务
- ·游戏和直播需求强劲增长:腾讯将在日本建第三座数据中心
- ·标签: 多邻国 Video Call with Lily Luis von Ahn AI口语学习
- ·Soul语音模型SoulX-Podcast震撼发布:90分钟无中断播客生成,AI语音革命再升级
- ·GPT Image2 背后团队首度曝光: 13 人核心团队, 4 个月重塑AI绘图
- ·OpenAI放大招!GPT-Realtime语音模型上线,支持图像输入,AI交互要逆天了!
- ·标签: 均胜电子 智能汽车 汽车安全 港股上市
- ·Facebook前广告主管即将跳槽 担任生鲜杂货配送商Instacart总裁
- ·吃白条鱼有哪些功效作用
- ·标签: 2026横琴-澳门国际数字艺术博览会 AI
- ·侃哥:蹲一个苹果的圣诞节礼物 会是AirPods Studio吗?
- ·亚马逊计划在对美国企业的供应和服务方面支出超过1200亿美元
- ·法院正式判决,小米移出军事清单:正式撤销了对小米公司的全部限制
- ·标签: 滴滴 滴滴关爱 中国红十字基金会 公益救助
- ·英特尔发布第11代vPro平台:面向未来的商业终端打造
- ·Google AI试衣间再进化:上传一张照片,从衣服到鞋子都能虚拟试穿
- ·微软正式推出首款自家 AI 图像生成器 MAI-Image-1
- ·AI演示文稿工具Prezent融资3000万美元:估值4亿美元,首次收购剑指生命科学领域
- ·拟上市Coinbase和Roblox像极了谷歌:从不烧钱 营销费用低到吓人
- ·标签: 白酒 酒企
- ·标签: TikTok 甲骨文 周受资 字节跳动
- ·开发者注意!阿里云百炼平台API限流政策将迎来重要调整
