神经网络debug太难了,这里有六个实用技巧
基于神经网络的项目瓶颈通常并非对网络的实现。有时候,在编写了所有代码并尝试了一大堆超参数配置之后,网络就是无法正常工作。尤其是面对着数百万的参数, 任何一个小变动都有可能前功尽弃。
在面对各种各样的问题后,有神经人总结了一些帮助调试神经网络的实用 tips,希望能够减少大家调试神经网络的成本。
检查梯度问题
有时梯度是引发问题的原因。下面是几种与梯度相关的调试方法:
数值计算每个权重的梯度。这通常被称为「梯度检查」,有助于确保正确网络计算梯度,其中一种方法是使用有限差分。 比较每个权重的大小和梯度的大小。要确保大小的比率是合理的。如果梯度大小远小于权重大小,网络将花费很长时间进行训练。如果梯度大小与权重大小大致相同或更大,网络将非常不稳定,可de能根本不会训练。 检查梯度爆炸或消失。如果梯度变为 0 或 nan/infinity,则可以确定网络没有被正确训练。需要首先弄清楚为什么会发生爆炸 / 消失梯度,是否步数太大。一旦弄清楚梯度爆炸 / 消失的原因,就有各种解bu决方案来解决这个问题,例如添加残差连接以更好地传播梯度或简单地使用较小的网络。 激活函数也会导致梯度爆炸 / 消失。如果 sigmoid 激活函数的输入太大,梯度将非常接近 0。随着时间的推移检查激活函数的输入,然后确保这些g太输入不会导致梯度始终为 0 或很大。 检查训练过程
经常检查网络的训练进度可以节省时间。以训练贪吃蛇游戏为例,不是训练网络好几天,然后再检查网络是否学到了什么,而是每十分钟用当前学到的权重运行游戏。几个小时后,如果我难了们注意到每次都在做同样的事情并且获得零奖励,就知道可能有问题了,而这节省了几天的训练时间。
不要依赖定量输出
如果只查看定量输出,我们可能会错过有用的调试信息。例如,在训练语音翻译网络时,比起只检查评估函数是,这否在减少,更重要的是阅读翻译后的语音以确保它有意义;当训练一个用于图像识别的网络时,一定要确保手动检查网络提供的标签。
不应该依赖定量输出的原因有两个:首先,评估函数中可能存在错误。如果只查看错误评估函数输出的里有数字,可能需要数周时间才能意识到出现问题。其次,在神经网络输出中可能存在无法定量显示的错误模式。我们可能会意识到某个特定单词总是被错误翻译,或者在左上象限的图像识别网络总是错误的。这些观察结果反过来可以帮助找到数据六个处理部分的代码 bug,否则这些 bug 将被忽视。
尝试小数据集
确定代码是否存在 bug 或数据是否难以训练的另一种方法是首先拟合较小的数据集,比如将数据集中 100000 个训练示例修剪成只有 100 个甚至 1 个训练示例。实用如果在一个训练示例的情况下,网络仍然有很高的测试错误,不能够非常好地拟合数据,那么几乎可以肯定网络代码有问题。
尝试更简单的网络
如果全尺寸网络在训练时遇到问题,可以尝试使用层数较少的较小网络,这样可以更快地技巧训练。如果较小的网络在全尺寸网络失败的情况下成功了,则表明全尺寸模型的网络架构过于复杂。如果简单网络和全尺寸网络都失败,则代码中可能存在 bug。
试着使用框架
如果没有使用机器学习框架编写神经网络的代码,那么可神经以通过在机器学习框架中编写相同的网络架构来检查问题何在。然后将打印语句放入非框架版本和框架版本中逐层比较输出,直到找到打印语句出现差异的位置,即错误所在。如果在反向传播期间发生错误,则可以从最后一层开始逐层打印网络权重的渐变,直到找到差异。但是此方法仅适用于网络的第一次迭代,因为由于第一次迭代输出的差异,第二次及以后的迭代将具有不同的起点。
参考内容:https://towardsdatascience.com/debdeugging-tips-for-neural-networks-f7dc699d6845
- ·标签: 无忧传媒 雷彬艺 王暖暖 孕妇泰国坠崖案
- ·WisdomAI 推出“Proactive Agents”,让 AI 成为 24/7 的数据分析师
- ·标签: 尘白禁区 中国邮政 笺定恒约 成人向游戏
- ·亚马逊计划向韩国云计算基础设施再投资58.5亿美元
- ·蚂蚁百灵推出开源高效思考模型,推理成本大幅降低
- ·IDC:二季度中国学习平板出货增长36.6% 百度市场份额居首
- ·AI生成“AI孙子职场语录”短视频账号:婴儿脸说大人话狂吸粉
- ·Meta:元宇宙产品仍将使用面部识别技术
- ·标签: 法拉第未来 FF机器人 贾跃亭 Futurist
- ·云安全日报201215:IBM混合多云管理方案发现执行任意命令高危漏洞,需要尽快升级
- ·苹果连续12年蝉联全球最具价值品牌,报告揭示信任与设计重于 AI 狂热
- ·像Git一样用AI数据!免费托管工具上线,用「活」数据集训练
- ·标签: 奈飞 华纳兄弟 HBO Max 收购
- ·中国量子计算原型机「九章」问世:它一分钟完成的任务,超算需要一亿年
- ·Google Play存在垄断之嫌 亚马逊商店也是受害者?
- ·Anthropic 推出 Claude for Chrome:AI 浏览器代理进入竞争白热化阶段
- ·标签: 厨电行业
- ·标签: 苹果 追觅 OpenClaw 库克
- ·谷歌助力SpaceX 下半年面向企业推出“星链”互联网服务
- ·德国商用软件巨头SAP公布一季度财报 云计算营收22亿欧元同比增7%
- ·MetaHuman效果炸了!但如果只想到元宇宙,那格局有点小了
- ·用一个密钥,打开全球AI的能力边界 ——我们正在打造面向未来的“全球AI聚合网关”
- ·标签: AMD 春雨计划 锐龙AI MAX+395 AI教育
- ·扩散模型新突破:Radical Numerics开源30B参数RND1,AI自我进化迈出关键一步
- ·三星官宣AI眼镜计划:联手谷歌、时尚巨头,打造Gemini驱动的下一代智能可穿戴设备
- ·标签: Block 杰克·多西 Cash App Square
