关于深度学习编译器,这些知识你需要了解一下
最近的十几年深度学习发展十分迅速,业界出现了很多深度学习算法开发框架。同时,由于深度学习具有广泛应用场景和对算力的巨大需求,我们需要将深度学习算法运行在各种通用和专用的硬件上,比如各种类型的CPU,GPU,TPU,NPU等。那么这就出现了框架和硬件之间的组合爆炸,如图 1所示。比如说TensorFlow要支持G关于PU计算,就要把tensorflow里面的所有算子开发一个GPU版本,如果又要支持D芯片,又需要把每个算子开发一个D芯片的版本。这个过程无疑非常耗时耗力。
ͼ 1
于此同时,我们现在有非常多的算法网络,比如说YOLO, BERT, GPT等等。而这些算法网络是是由不同类型、不同shape,不同连接关系的算子组成的。最终它们又运深度行在不同种类和型号的硬件上面。这就导致人工去为每个场景开发和实现最优算子成本很高。这里举了两个例子,如图 2所示,算子融合是一个常见的性能优化方法,在融合之前,每个算子计算前后都需要把数据从内存读到缓存,再从缓存写回到内存。而融合之后,可以避免算子之间内存读写从而提高性能。传统的做法就是人工去根据算子连接关系开发融合算子,但是不学习同网络不同类别算子连接关系几乎不可能完全枚举。另一个例子就是算子调优,算子实现过程有很多参数会影响性能,但是传统人工算子开发方式很难去表达和维护这些参数,并且对这些参数进行调优从而实现不同shape和硬件的最优性能。
ͼ 2
深度学习编译器正是为了解决上面一系列问题而诞生的,它可以作为框架和硬件之间的公共组件和桥梁,最终希望实现的编译目标是我们只用开发一次,就能够为自动为任何设备生成最优代码。比如为CPU开发的算子可以几乎原封不同的用于GPU和D芯片,从而显著降低成本。
这里简单介绍一下深度学习编译器的组成部分和功能,如图 3所示。首先它的前端是从不同的框架拿到计算图,并且使用这个High level IR的数据结构来表示,然后在这个阶段进行一系列图优化,比如器,常量折叠,算子融合,等价替换等。这里展示了一个等价替换的例子,原来计算图是这样的,我们给它换一个计算方式,结果不变,但是性能可能更优。接着,对于计算图里面的每一个算子,采用DSL一种领域特定的语言来描述算子的计算过程和对算子进行优化。比如对算子进行tiling,多核,double-buffer等优化。由于算子的计算过程通常是用这些多重循环来实现的,比如说矩阵乘法是一个三重的循环。深度学习编译器可以很方便的对循环进行各种变换,并且对这些变换的参数进行调优,从而得到不同shape和硬件的最佳算子实现。最后,基于low level IR为不同硬件生成具体的代码。
ͼ 3
最后介绍下业界已有的编译器项目。目前生态最完善,开源的,框架不依赖的项目首推TVM,已经知识被很多公司所采用。TVM流程如如图 3a所示,TVM可以导入各个框架的模型,例如TensorFlow pb,onnx,TorchScript等模型,统一用TVM称为Relay的High level IR进行表示。IR中每个算子采用了Tensor expression的DSL来进行计算描述和调度。这个DSL采用Einstein’s notat你需ion的方式进行算子的compute描述,算子compute一般体现为多重for循环。然后基于Halide思想使用schedule对这个多重for循环进行各种变换,例如循环合并,split,顺序变换等等。最后,lower到low-level IR生成具体的device代码并进行推理。
这里再简单介绍下TVM具体如何生成最优的算子要了代码。上面介绍了算子需要进行compute描述,然后需要对compute对应的多重for循环进行调度变换,即schedule。TVM的算子生成和调优经历了3代发展。第一代TVM/AutoTVM,这一代需要用户编写算子的compute和算子的schedule,AutoTVM与TVM的区别在于可以在schedule定义一些可变的参数,解一然后采用例如遗传算法进行参数调优。例如把一个loop切分为2段,那么在哪里进行切分是可以进行优化的。第二代AutoScheduler (Ansor),这一代只需要用户开发算子ompute,Ansor内部自动根据一些规则进行调度变换。由于调度开发需要同时熟悉TVM的表达机制和底层硬件原理,schedule开发往往具有很高的难度,因此关于Ansor可以显著降低开发人员工作量和开发难度,缺点就是Ansor调优时间很长,往往需要1小时才能调优1个算子。以卷积网络为例,Ansor在部分场景能超过TensorFlow算子性能,距离TensorRT实现有一定差距。第三代Meta Schedule (AutoTensorIR)才处于起步阶段,预期会对调优速度和性能进行优化,深度暂时还不可用,我们拭目以待。
TVM的落地包括华为D芯片TBE算子开发工具,在TVM的基础上增加了D芯片的代码生成支持。TVM采用了Halide计算+调度的路线,还有另外一种采用polyhedral算法路线的编译器,比如Tensor Comprehensions,Tiramisu,华为自研的AKG等。这种方法跟Ansor一样,也只学习需要用户开发算子compute,无需开发schedule,因此对用户也较为友好。其中AKG已经用在了MindSpore的图算融合里面。其他的深度学习编译器还有TensorFlow的XLA、TensorRT等,大家可能已经用过。
总之,深度学习编译器具有很多优势。比如易于支持新硬件,避免重复开发,采用一系列自动优化代替人工优化,编译可以实现极致性价比等。目前深度学习编译器也有一些不足,仍然出于一个快速发展的状态。例如调优时间长,对于复杂的算子无法有效生成,一个模型中深度学习编译器生成的算子能超过库调用的算子比例较低等,仍然需要大家持续投入和优化。
-
标签: 机动车安全 新能源汽车 动力电池 辅助驾驶标签: 洛轴股份 C919 轴承 港交所上市标签: 至信股份 长安汽车 吉利汽车 汽车零部件云安全日报210714:Adobe Acrobat和Reader软件发现任意代码执行漏洞,需要尽快升级爱奇艺 “AI 艺人库” 计划引发争议 多位艺人否认授权标签: 荃信生物 赛乐信 奥托奇拜单抗 鲁塞奇塔单抗苹果悄然研发ChatGPT式应用,Siri即将重大改版云计算开发实例:Python3冒泡排序标签: iRobot Picea 扫地机器人 破产重组重磅!月之暗面开源革命性中间件 “Checkpoint Engine”,为 LLM 推理引擎带来新生机!
- ·标签: AIVELA AIVELA_Ring_Pro 智能戒指 AI可穿戴
- ·昏睡红茶是什么梗
- ·标签: 孙正义 战神劳菲 微信AI 软银
- ·云计算核心技术Docker教程:Docker 跨链接通信
- ·AI床垫独角兽Eight Sleep狂揽1亿美元:让你的床成为健康卫士,F1车手都为它疯狂
- ·标签: 文远知行 Robotaxi WeRide 自动驾驶
- ·标签: 马化腾 腾讯 元宝
- ·福客AI获阿里重磅投资!AI Agent 助力电商新革命
- ·Facebook宣布在全球推出Instagram Reels短视频广告服务
- ·袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面,LeCun点赞
- ·云计算开发:Python练习实例-求0-7所能组成的奇数个数
- ·标签: 新思科技 葛群 姚尧 EDA
- ·阿里云泄露用户数据隐忧:云端用户隐私,是否真安全?
- ·标签: 德硕科技 电锤电镐 北交所IPO ODM模式
- ·标签: SK海力士 HBM LPDDR6 SSD
- ·标签: 速腾聚创 激光雷达 割草机器人 E平台
- ·云计算核心技术Docker教程:Docker Hub官方镜像
- ·苹果Xcode即将原生集成Claude,开发者编程体验将迎来重大升级
- ·吴洪声朋友圈怒怼老东家腾讯云:CDN是“垃圾中的垃圾”,欠费7分钱遭“满门抄斩”
- ·到2030年,人工智能会发展成什么样?
- ·标签: 华依科技 港交所上市 新能源汽车测试 智能驾驶
- ·标签: 小米SU7 XiaomiBookPro14 XiaomiWatchS5
- ·每日互动大数据发布:2021年二季度5G手机报告
- ·实现图深度学习复杂研究性质任务太头疼?这个新工具包帮你应对
- ·英伟达重金收购 AI 初创公司 Enfabrica CEO 及核心团队
- ·标签: 火绒安全 鲁大师 奇鲁科技 云控推广
