比用Pytorch框架快200倍!0.76秒后,笔记本上的CNN就搞定了MNIST
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
在MNIST上进行训练,可以说是计算机视觉里的“Hello World”任务了。
而如果使用PyTorch的标准代码训比用练CNN,一般需要3分钟左右。
但现在,在一台笔记本电脑上就能将时间缩短200多倍。
速度直达0.76秒!
那么,到底是如何仅在一次epoch的训练中就达到99%的准确率的呢?
八步提速200倍
这是一台装有PyGeForce GTX 1660 Ti GPU的笔记本。
我们需要的还有Python3.x和Pytorch 1.8。
先下载数据集进行训练,每次运行训练14个epoch。
这时两次运行的平均准确率在测试集上为99.1to85%,平均运行时间为2min 52s ± 38.1ms。
接下来,就是一步一步来减少训练时间:
一、提前停止训练
在经历3到5个epoch,测试准确率达到99%时就提前停止训练。
这时的训练时间就减少了1/3左右rc,达到了57.4s±6.85s。
二、缩小网络规模,采用正则化的技巧来加快收敛速度
具体的,在第一个conv层之后添加一个2x2的最大采样层(max pool layer),将全连接层的参数减少4倍以上h框。
然后再将2个dropout层删掉一个。
这样,需要收敛的epoch数就降到了3个以下,训练时间也减少到30.3s±5.28s。
三、优化数据加载
使用data_loader.save_data()架快,将整个数据集以之前的处理方式保存到磁盘的一个pytorch数组中。
也就是不再一次一次地从磁盘上读取数据,而是将整个数据集一次性加载并保存到GPU内存中。
这时,我们只需要一次epoch,就能将平均训20练时间下降到7.31s ± 1.36s。
四、增加Batch Size
将Batch Size从64增加到128,平均训练时间减少到4.66s ± 583ms。
五、提高学习率
使用Superconvergen0倍ce来代替指数衰减。
在训练开始时学习率为0,到中期线性地最高值(4.0),再慢慢地降到0。
这使得我们的训练时间下降到3.14s±4.72ms。
六、再次增加Batch Size、缩小缩小网络规模
重复第!0二步,将Batch Size增加到256。
重复第四步,去掉剩余的dropout层,并通过减少卷积层的宽度来进行补偿。
最终将平均时间降到1.74s±18.3ms。
七、最后的微调
首先,将最大采样层移到线性.7整流函数(ReLU)激活之前。
然后,将卷积核大小从3增加到5.
最后进行超参数调整:
使学习率为0.01(默认为0.001),beta1为0.7(默认为0.9),bata2为0.9(默认为0.996秒9)。
到这时,我们的训练已经减少到一个epoch,在762ms±24.9ms的时间内达到了99.04%的准确率。
“这只是一个Hello World案例”
对于这最后的结果,有人觉得司空见惯:
优化数据加载后,时间,缩小模型尺寸,使用ADAM而不是SGD等等,都是常识性的事情。
我想没有人会真的费心去加速运行MNIST,因为这是机器学习中的“Hello World”,重点只是像你展示最小的关键值,让你熟悉笔记这个框架——事实上3分钟也并不长吧。
而也有网友觉得,大多数人的工作都不在像是MNIST这样的超级集群上。因此他表示:
我所希望的是工作更多地集中在真正最小化训练时间方面。
GitHub:
http本上s://github.com/tuomaso/train_mnist_fast
- ·标签: 零食
- ·支付宝推出“AI付”服务,业内第一次在智能体内说话完成下单支付
- ·亚马逊投资的电动车公司Rivian考虑50亿美元在得州建设新工厂
- ·微信:将对AI生成合成内容添加显式和隐式标识
- ·标签: XREAL 光波导 Micro-OLED 雷鸟
- ·标签: Meta MSL 徐睿 Dreamer
- ·英伟达第四财季营收50亿美元 净利同比增53%
- ·标签: 民生银行 2025年年报 绿色贷款 普惠型小微企业贷款
- ·比波士顿机器狗多了几个轮子 瑞士公司研发轮足复合式移动机器人
- ·标签: 华依科技 港交所上市 新能源汽车测试 智能驾驶
- ·腾讯云NodeJS SDK打包体积过大被吐槽,官方人员致歉将进行后续优化
- ·标签: 奇瑞汽车 塔塔集团 零部件供应 技术转让辟谣
- ·Google BigQuery是大数据分析的未来吗?
- ·外媒:谷歌正寻求与美国国防部签订一份大规模云计算合同
- ·云计算开发:Python练习实例-元素交换输出数组
- ·OpenAI 迎来新CFO,前 xAI 财务主管掌舵,加速扩张 AI 基础设
- ·我国电信运营商布局云计算“赛道”,面临三大挑战
- ·云安全日报220630:IBM数据保护平台发现执行任意代码漏洞,需要尽快升级
- ·谷歌深度学习专家Dustin Tran加盟马斯克xAI,开启Grok 5新篇章
- ·Gartner:阿里云IaaS基础设施能力超越亚马逊、谷歌全球第一
- ·报告称:企业数据迁移需要更多 AI 专业知识提升成功率
- ·综合竞争力第一!阿里云入选沙利文中国专有云市场领导者象限
- ·ElevenLabs 发布 v3 Alpha API:支持超过 70 种语言和无限数量的虚拟角色
- ·强势登上Github热榜,这个数据可视化分析平台火了!
- ·苹果大中华地区注册开发者数量增至440万
- ·快手推出 AI 视频制作助手 Kwali,轻松一语生成短视频!
