PyTorch梯度裁剪避免训练loss nan的操作
更新时间：2021年5月24日 15:00 点击：2243
近来在训练检测网络的时候会出现loss为nan的情况，需要中断重新训练，会很麻烦。因而选择使用PyTorch提供的梯度裁剪库来对模型训练过程中的梯度范围进行限制，修改之后，不再出现loss为nan的情况。
PyTorch中采用torch.nn.utils.clip_grad_norm_来实现梯度裁剪，链接如下：
https://pytorch.org/docs/stable/_modules/torch/nn/utils/clip_grad.html
训练代码使用示例如下：
from torch.nn.utils import clip_grad_norm_ outputs = model(data) loss= loss_fn(outputs, target) optimizer.zero_grad() loss.backward() # clip the grad clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) optimizer.step()
其中，max_norm为梯度的最大范数，也是梯度裁剪时主要设置的参数。
备注：网上有同学提醒在（强化学习）使用了梯度裁剪之后训练时间会大大增加。目前在我的检测网络训练中暂时还没有碰到这个问题，以后遇到再来更新。
补充：pytorch训练过程中出现nan的排查思路
1、最常见的就是出现了除0或者log0这种
看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。
2、在optim.step()之前裁剪梯度
optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step()
max_norm一般是1，3，5。
3、前面两条还不能解决nan的话
就按照下面的流程来判断。
... loss = model(input) # 1. 先看loss是不是nan,如果loss是nan,那么说明可能是在forward的过程中出现了第一条列举的除0或者log0的操作 assert torch.isnan(loss).sum() == 0, print(loss) optim.zero_grad() loss.backward() # 2. 如果loss不是nan,那么说明forward过程没问题，可能是梯度爆炸，所以用梯度裁剪试试 nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) # 3.1 在step之前，判断参数是不是nan, 如果不是判断step之后是不是nan assert torch.isnan(model.mu).sum() == 0, print(model.mu) optim.step() # 3.2 在step之后判断，参数和其梯度是不是nan，如果3.1不是nan,而3.2是nan, # 特别是梯度出现了Nan,考虑学习速率是否太大，调小学习速率或者换个优化器试试。 assert torch.isnan(model.mu).sum() == 0, print(model.mu) assert torch.isnan(model.mu.grad).sum() == 0, print(model.mu.grad)
以上为个人经验，希望能给大家一个参考，也希望大家多多支持猪先飞。
相关文章
- 这篇文章主要为大家详细介绍了iOS如何将图片裁剪成圆形，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2020-06-30
pytorch nn.Conv2d()中的padding以及输出大小方式
今天小编就为大家分享一篇pytorch nn.Conv2d()中的padding以及输出大小方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-09-08
Linux安装Pytorch1.8GPU(CUDA11.1)的实现
这篇文章主要介绍了Linux安装Pytorch1.8GPU(CUDA11.1)的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-25- 这篇文章主要介绍了Pytorch之扩充tensor的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-05
- 今天小编就为大家分享一篇pytorch 自定义卷积核进行卷积操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-06
- 这篇文章主要介绍了解决pytorch 交叉熵损失输出为负数的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-08
pytorch绘制并显示loss曲线和acc曲线，LeNet5识别图像准确率
今天小编就为大家分享一篇pytorch绘制并显示loss曲线和acc曲线，LeNet5识别图像准确率，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch 实现冻结部分参数训练另一部分，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-27
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
这篇文章主要介绍了从Pytorch模型pth文件中读取参数成numpy矩阵的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-04Pytorch 的损失函数Loss function使用详解
今天小编就为大家分享一篇Pytorch 的损失函数Loss function使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 今天小编就为大家分享一篇pytorch中的上采样以及各种反操作,求逆操作详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-30
- 这篇文章主要介绍了基于Pytorch版yolov5的滑块验证码破解思路详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-02-25
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch深度学习中对softmax实现进行了详细解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步...2021-09-30
- 今天小编就为大家分享一篇Pytorch 计算误判率,计算准确率,计算召回率的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 今天小编就为大家分享一篇Pytorch实现LSTM和GRU示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要介绍了Pytorch如何切换 cpu和gpu的使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-01
- 今天小编就为大家分享一篇pytorch动态网络以及权重共享实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-29
- 这篇文章主要介绍了解决Pytorch修改预训练模型时遇到key不匹配的情况，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-06-05