AI 生成优化 Metal 内核,PyTorch 推理速度提升惊人87%
在苹果设备上,AI 技术正展现出惊人的潜力。根据 Gimlet Labs 的最新研究,AI 能够自动生成优化的 Metal 内核,使得 PyTorch 推理速度提A升了87%。这一突破性成果不仅提高了性能,还在测试的215个 PyTorch 模块上实现了平均1.87倍的加速,某些工作负载的速度甚至提高了数百倍。
研究人员I 选取了来自多个顶尖机构的八个 AI 模型,包括 Anthropic、DeepSeek 和 OpenAI,利用这些模型为苹果设备生成优化的 GPU 内核。这一过生成程无需修改用户代码或使用新的框架,直接在苹果硬件上提升模型性能。
在实验中,研究团队选择了 Mac Studio (搭载 Apple M4Max 芯片) 进行测试,优化基准设置为 PyTorch 的 eager 模式。实验采用了 KernelBench 数据集中的215个 PyTorch 模块,这些模块被分为三类,涵盖从简单的矩阵乘法到 M完整的模型架构。
测试过程包括接收输入和 PyTorch 代码,生成 Metal 内核,并评估其正确性。数据显示,随着尝试次数的增加,AI 生成内核的正确性逐et步提升。例如,在第五次尝试时,正确实现的比例达到了94%。此外,模型们在生成内核时表现出了跨层级的能力,尽管非推理模型有时也能生成有效内核。
实验结果表明,alGPT-5模型在某些任务上实现了4.65倍的速度提升。更令人惊讶的是,o3模型在某些情况下甚至将延迟降低了9000倍。研究还发现,单一模型在某些 内任务上并不总是表现最好,多个模型的结合能够生成更优的内核。
为了进一步提升性能,研究者尝试引入额外上下文信息,如 CUDA 实现和 gputrace 的性能分析数据核,,结果显示这种方法在性能加速方面达到了平均1.87倍,相比于普通智能体的1.31倍提升了三倍。
需要注意的是,研究人员强调,这一工作并不是为了展示最终的性Py能极限,而是为了验证 AI 在内核生成中的可行性,希望通过自动化减少开发人员的负担。整体而言,这项研究标志着 AI 技术在硬件优化领域的一个重要进展。
giTothub:https://github.com/ScalingIntelligence/KernelBench/
划重点:
AI 自动rc生成 Metal 内核,提升 PyTorch 推理速度87%。
️ 在215个 PyTorch 模块上实现平均1.87倍的加速,部分工作负载速h 度提升数百倍。
研究旨在验证 AI 在内核生成的可行性,助力硬件优化。
- ·百分点大数据技术团队:数据治理“PAI”实施方法论
- ·标签: 大宇资讯 光聚晶电 半导体 游戏IP
- ·标签: 平安好医生 平安健康 管理式医疗 HMO
- ·比9种SOTA GNN更强!谷歌大脑提出全新图神经网络GKATs
- ·云计算和大数据成为了一个行业的标配
- ·Google的Gemini AI助手登陆Google TV
- ·看不懂代码?AI给你做翻译,说人话的那种
- ·标签: 京东 曹鹏 AI芯片 具身机器人
- ·阿里云辟谣“标杆客户小红书已下云”
- ·比用Pytorch框架快200倍!0.76秒后,笔记本上的CNN就搞定了MNIST
- ·分析师预计Azure云业务明年有望超过Office 成微软第一大营收来源
- ·标签: BOSS直聘 财报 AI招聘 净利润
- ·云计算开发:Python练习实例-绘制优美的图案
- ·标签: 苹果 iPhone 服务业务 蒂姆・库克
- ·可以用冰冻梭子蟹煮粥吗
- ·用AI制作历史类超长助眠视频,YouTube创作者涨粉63W+低调赚钱
- ·标签: 进迭时空 RISC-V K1芯片 陈志坚
- ·用 Python 轻松实现机器学习
- ·标签: 谷歌 Nano Banana 2 Gemini 3.1 Flash Image 图像生成模型
- ·百度小度 AI 眼镜将于百度世界2025大会正式发布,年内开售
- ·用开源项目AutoXGB助力AutoML开发,实现几行代码构建应用API 译文
- ·英特尔第一财季营收197亿美元 净利同比降41%
- ·标签: 抖音 直播治理 软色情 低俗打赏
- ·谷歌推出新方法:训练数据量减少 1 万倍,提升模型精准度
- ·微软AI主管苏莱曼:微软不会开发情色类AI,与OpenAI划清界限
- ·标签: 闲鱼 武汉 循环商店 华中首店
