Epoch不仅过时,而且有害?Reddit机器学习板块展开讨论
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
有一天,一个调参侠在训练一个深度学习模型,要用到的两个数据集损失函数不同,数据集的大小还不是固定的,每天都在增加。
他有Ep点发愁,这该怎么设置Epoch数呢?
在纠结的过程中,他突然想到:干嘛非得定一个Epoch数?只要对每个Batch进行独立同分布抽样 (IID Sampling)不就得了。
为了验证这个想法,调参侠去看了很多论文。发现oc越来越多的人介绍他们的训练方法时,只说进行了多少个Iteration,而抛弃了Epoch。
他想到,Epoch暗示并强调了数据集是有限的,这不仅麻烦,还有潜在的“危害”。把Epoch去掉,让循环嵌套的层数少一层总是好的。
于是他h不在Reddit发起了讨论:Epoch是不是过时了,甚至还有危害?
Epoch多余吗?
有人对这个观点表示赞同:
挺有道理,当数据集大小有很大差距,Batch大小相同时,设置一样的Epoch数,岂不是大数据集参数更新的次数多,小数据集仅过参数更新次数少了,这似乎不对劲。
Epoch最大的好处是确保每个样本被定期使用。当使用IID抽样时,你只要能想办法确保所有样本被同样频繁地使用就好了。
但调参侠觉得让每个样本被定期使用就是他怀疑的点,IID抽样已经确保分布相同了,再时,让他们同频率被使用就是一种误导。
反对者认为:
不能因为你觉得车没开在路的正中间就放开方向盘不管了,虽然大撒把不会改变你正好在路中间的概率,但它增加了方差。
调参侠最后总结道,这个争议有点像统计学里的“频率派 VS&n而且bsp;贝叶斯派”,即认为数据集到底应该是确定的还是不确定的。
该怎么比较模型?
调参侠还注意到,有人用Batch Loss做损失曲线。他认为这比Epoch Loss更有参考价值。
反对者觉得,你这个方式是挺好的,但Epoch依然有用。
因有害为即使在相同的硬件上,不同模型的算法效率不同也会带来巨大差异。
像各种Transformer和CNN这种底层代码实现都差不多,但是别的模型就可能有很不一样。比如我们自己的CUDA LSTM实现,至少和CudnnLSTM一样快,比原版?RTensorFlow实现快4倍左右。
最后,有个网友以CV模型为例对这个话题做出精彩总结,列了4种损失可视化方式,并介绍了什么情况该用哪个。
Loss/Epoch告诉你一个模型要观察同一个图像多少次才能理解它。
Loss/Iedteration告诉你需要多少次参数更新。当比较优化器时这很有用,可以帮助你加快训练速度或达到更高的精度。
Loss/Total Image Seen告诉你算法看到了多少图像时的损失。适合比较两种算法使用数据的效率。
如果你的算法在di50万张时达到70%、100万张时达到75%,这可能比50万张时达到50%,100万张时达到80%的还要好。
另外,它还消除了Batch Size的影响。这允许在不同GPU上训练的具有不同Batch Size的模型之间进行公平的t机比较。
Loss/Time也很重要,因为如果一个新模型减少了100个Epoch,但每个Iteration都慢100倍,我就不会选择这个模型。
虽然Loss/Time关系到硬件的具体表现,不够精准,我不会把这个写到论文里。但器学在自己的机器上这是很好的评估模型的参数。
使用数据增强时呢?
有网友提出,数据增强 (Data Augmentation)时Epoch也有点多余。因为数据集太小,人为给每个样本添加很多只有微小差距的版本,没必要让他们被同频习板率使用。
反对者认为,数据增强作为正则化的一种形式减少了过拟合,但你引入的实际信息在训练模型时仍然局限于原始数据集。如果你的原始数据集足够小,Epoch表示你向模型展示了整个训练集,仍然是有意义的。
有人问道:
你是想表达“块展纪元(Epoch)”的纪元结束了吗?
调参侠:
对,现在是“时代(Era)”的时代。
△无尽随机增强的首字母缩写ERA意为“时代”
-
秒回应!Grok AI 推出超快模式,仅针对部分用户开放《时代》2025年度最佳发明榜单出炉:宇树、DeepSeek、华为、比亚迪等中国创新上榜英特尔重磅发布全新数据中心处理器,为数字经济发展增添新动力智能自动化在能源和公用事业行业的作用使用 Kube-vip 搭建高可用的 Kubernetes 集群(完整版)苹果秘密测试“Veritas”:为大改版Siri铺路,但无意向公众开放标签: 牧原食品 港股上市 生猪养殖 A+H20亿美金种子轮后首次发声!Mira Murati神秘实验室挑战AI随机性,誓要让机器思维变得可预测深度学习后图灵奖得主Bengio研究核心是什么?因果表示学习法律类AI平台实测:幂律智能AI律师——吾律,附试用指南
- ·谷歌 DeepMind 推出解耦式 DiLoCo:提升异步训练架构,容忍硬件故障
- ·体育锻炼手抄报
- ·标签: 宝宝巴士 Super JoJo 点读笔 广告争议
- ·标签: 金龙鱼 丰益堂 不油腻轻年稻米油 甘油二酯油
- ·GNN for Science: 腾讯AI Lab、清华共同发文综述等变图神经网络
- ·腾讯云开源 CubeSandbox:打造 AI Agent 的高性能“安全屋”
- ·标签: 优必选 U1系列 人形机器人 情感陪伴
- ·标签: 中文传媒 朗知传媒 汽车营销 AIGC内容创作
- ·谷歌母公司一季度营收553亿美元 净利同比大增162%
- ·并行计算与分布式计算原理
- ·标签: 理想L6 理想汽车 碳酸锂 高通8797
- ·云计算核心技术Docker教程:Docker Swarm 模式强制重新平衡
- ·云安全日报220310:IBM轻量级企业应用服务器发现执行任意代码漏洞,需要尽快升级
- ·华为2025年营收8809亿元,净利润680亿元
- ·合成Deep Research数据的框架InfoSeek,构建复杂知识网络
- ·标签: 图达通 激光雷达 蔚来 港股上市
