pytorch MSELoss计算平均的实现方法
给定损失函数的输入y，pred，shape均为bxc。
若设定loss_fn = torch.nn.MSELoss(reduction='mean')，最终的输出值其实是（y - pred）每个元素数字的平方之和除以（bxc），也就是在batch和特征维度上都取了平均。
如果只想在batch上做平均，可以这样写：
loss_fn = torch.nn.MSELoss(reduction='sum') loss = loss_fn(pred, y) / pred.size(0)
补充：PyTorch中MSELoss的使用
参数
torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')
size_average和reduce在当前版本的pytorch已经不建议使用了，只设置reduction就行了。
reduction的可选参数有：'none' 、'mean' 、'sum'
reduction='none'：求所有对应位置的差的平方，返回的仍然是一个和原来形状一样的矩阵。
reduction='mean'：求所有对应位置差的平方的均值，返回的是一个标量。
reduction='sum'：求所有对应位置差的平方的和，返回的是一个标量。
更多可查看官方文档
举例
首先假设有三个数据样本分别经过神经网络运算，得到三个输出与其标签分别是:
y_pre = torch.Tensor([[1, 2, 3],
[2, 1, 3],
[3, 1, 2]])
y_label = torch.Tensor([[1, 0, 0],
[0, 1, 0],
[0, 0, 1]])
如果reduction='none'：
criterion1 = nn.MSELoss(reduction='none') loss1 = criterion1(x, y) print(loss1)
则输出：
tensor([[0., 4., 9.],
[4., 0., 9.],
[9., 1., 1.]])
如果reduction='mean'：
criterion2 = nn.MSELoss(reduction='mean') loss2 = criterion2(x, y) print(loss2)
则输出：
tensor(4.1111)
如果reduction='sum'：
criterion3 = nn.MSELoss(reduction='sum') loss3 = criterion3(x, y) print(loss3)
则输出：
tensor(37.)
在反向传播时的使用
一般在反向传播时，都是先求loss，再使用loss.backward()求loss对每个参数 w_ij和b的偏导数(也可以理解为梯度)。
这里要注意的是，只有标量才能执行backward()函数，因此在反向传播中reduction不能设为'none'。
但具体设置为'sum'还是'mean'都是可以的。
若设置为'sum'，则有Loss=loss_1+loss_2+loss_3，表示总的Loss由每个实例的loss_i构成，在通过Loss求梯度时，将每个loss_i的梯度也都考虑进去了。
若设置为'mean'，则相比'sum'相当于Loss变成了Loss*(1/i)，这在参数更新时影响不大，因为有学习率a的存在。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持猪先飞。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
pytorch nn.Conv2d()中的padding以及输出大小方式
今天小编就为大家分享一篇pytorch nn.Conv2d()中的padding以及输出大小方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-09-08
Linux安装Pytorch1.8GPU(CUDA11.1)的实现
这篇文章主要介绍了Linux安装Pytorch1.8GPU(CUDA11.1)的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-25- 这篇文章主要介绍了Pytorch之扩充tensor的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-05
- 今天小编就为大家分享一篇pytorch 自定义卷积核进行卷积操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-06
- 这篇文章主要介绍了解决pytorch 交叉熵损失输出为负数的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-08
pytorch绘制并显示loss曲线和acc曲线，LeNet5识别图像准确率
今天小编就为大家分享一篇pytorch绘制并显示loss曲线和acc曲线，LeNet5识别图像准确率，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch 实现冻结部分参数训练另一部分，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-27
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
这篇文章主要介绍了从Pytorch模型pth文件中读取参数成numpy矩阵的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-04Pytorch 的损失函数Loss function使用详解
今天小编就为大家分享一篇Pytorch 的损失函数Loss function使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 今天小编就为大家分享一篇pytorch中的上采样以及各种反操作,求逆操作详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-30
- 这篇文章主要介绍了基于Pytorch版yolov5的滑块验证码破解思路详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-02-25
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch深度学习中对softmax实现进行了详细解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步...2021-09-30
- 今天小编就为大家分享一篇Pytorch 计算误判率,计算准确率,计算召回率的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 今天小编就为大家分享一篇Pytorch实现LSTM和GRU示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要介绍了Pytorch如何切换 cpu和gpu的使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-01
- 今天小编就为大家分享一篇pytorch动态网络以及权重共享实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-29
- 这篇文章主要介绍了解决Pytorch修改预训练模型时遇到key不匹配的情况，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-06-05
- 这篇文章主要介绍了pytorch中的squeeze函数、cat函数使用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-05-20