使用Pytorch来拟合函数方式
其实各大深度学习框架背后的原理都可以理解为拟合一个参数数量特别庞大的函数,所以各框架都能用来拟合任意函数,Pytorch也能。
在这篇博客中,就以拟合y = ax + b为例(a和b为需要拟合的参数),说明在Pytorch中如何拟合一个函数。
一、定义拟合网络
1、观察普通的神经网络的优化流程
# 定义网络 net = ... # 定义优化器 optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005) # 定义损失函数 loss_op = torch.nn.MSELoss(reduction='sum') # 优化 for step, (inputs, tag) in enumerate(dataset_loader): # 向前传播 outputs = net(inputs) # 计算损失 loss = loss_op(tag, outputs) # 清空梯度 optimizer.zero_grad() # 向后传播 loss.backward() # 更新梯度 optimizer.step()
上面的代码就是一般情况下的流程。为了能使用Pytorch内置的优化器,所以我们需要定义一个一个网络,实现函数parameters(返回需要优化的参数)和forward(向前传播);为了能支持GPU优化,还需要实现cuda和cpu两个函数,把参数从内存复制到GPU上和从GPU复制回内存。
基于以上要求,网络的定义就类似于:
class Net: def __init__(self): # 在这里定义要求的参数 pass def cuda(self): # 传输参数到GPU pass def cpu(self): # 把参数传输回内存 pass def forward(self, inputs): # 实现向前传播,就是根据输入inputs计算一遍输出 pass def parameters(self): # 返回参数 pass
在拟合数据量很大时,还可以使用GPU来加速;如果没有英伟达显卡,则可以不实现cuda和cpu这两个函数。
2、初始化网络
回顾本文目的,拟合: y = ax + b, 所以在__init__函数中就需要定义a和b两个参数,另外为了实现parameters、cpu和cuda,还需要定义属性__parameters和__gpu:
def __init__(self): # y = a*x + b self.a = torch.rand(1, requires_grad=True) # 参数a self.b = torch.rand(1, requires_grad=True) # 参数b self.__parameters = dict(a=self.a, b=self.b) # 参数字典 self.___gpu = False # 是否使用gpu来拟合
要拟合的参数,不能初始化为0! ,一般使用随机值即可。还需要把requires_grad参数设置为True,这是为了支持向后传播。
3、实现向前传播
def forward(self, inputs): return self.a * inputs + self.b
非常的简单,就是根据输入inputs计算一遍输出,在本例中,就是计算一下 y = ax + b。计算完了要记得返回计算的结果。
4、把参数传送到GPU
为了支持GPU来加速拟合,需要把参数传输到GPU,且需要更新参数字典__parameters:
def cuda(self): if not self.___gpu: self.a = self.a.cuda().detach().requires_grad_(True) # 把a传输到gpu self.b = self.b.cuda().detach().requires_grad_(True) # 把b传输到gpu self.__parameters = dict(a=self.a, b=self.b) # 更新参数 self.___gpu = True # 更新标志,表示参数已经传输到gpu了 # 返回self,以支持链式调用 return self
参数a和b,都是先调用detach再调用requires_grad_,是为了避免错误raise ValueError("can't optimize a non-leaf Tensor")(参考:ValueError: can't optimize a non-leaf Tensor?)。
4、把参数传输回内存
类似于cuda函数,不做过多解释。
def cpu(self): if self.___gpu: self.a = self.a.cpu().detach().requires_grad_(True) self.b = self.b.cpu().detach().requires_grad_(True) self.__parameters = dict(a=self.a, b=self.b) self.___gpu = False return self
5、返回网络参数
为了能使用Pytorch内置的优化器,就要实现parameters函数,观察Pytorch里面的实现:
def parameters(self, recurse=True): r"""... """ for name, param in self.named_parameters(recurse=recurse): yield param
实际上就是使用yield返回网络的所有参数,因此本例中的实现如下:
def parameters(self): for name, param in self.__parameters.items(): yield param
完整的实现将会放在后面。
二、测试
1、生成测试数据
def main(): # 生成虚假数据 x = np.linspace(1, 50, 50) # 系数a、b a = 2 b = 1 # 生成y y = a * x + b # 转换为Tensor x = torch.from_numpy(x.astype(np.float32)) y = torch.from_numpy(y.astype(np.float32))
2、定义网络
# 定义网络 net = Net() # 定义优化器 optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005) # 定义损失函数 loss_op = torch.nn.MSELoss(reduction='sum')
3、把数据传输到GPU(可选)
# 传输到GPU if torch.cuda.is_available(): x = x.cuda() y = y.cuda() net = net.cuda()
4、定义优化器和损失函数
如果要使用GPU加速,优化器必须要在网络的参数传输到GPU之后在定义,否则优化器里的参数还是内存里的那些参数,传到GPU里面的参数不能被更新。 可以根据代码来理解这句话。
# 定义优化器 optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005) # 定义损失函数 loss_op = torch.nn.MSELoss(reduction='sum')
5、拟合(也是优化)
# 最多优化20001次 for i in range(1, 20001, 1): # 向前传播 out = net.forward(x) # 计算损失 loss = loss_op(y, out) # 清空梯度(非常重要) optimizer.zero_grad() # 向后传播,计算梯度 loss.backward() # 更新参数 optimizer.step() # 得到损失的numpy值 loss_numpy = loss.cpu().detach().numpy() if i % 1000 == 0: # 每1000次打印一下损失 print(i, loss_numpy) if loss_numpy < 0.00001: # 如果损失小于0.00001 # 打印参数 a = net.a.cpu().detach().numpy() b = net.b.cpu().detach().numpy() print(a, b) # 退出 exit()
6、完整示例代码
# coding=utf-8 from __future__ import absolute_import, division, print_function import torch import numpy as np class Net: def __init__(self): # y = a*x + b self.a = torch.rand(1, requires_grad=True) # 参数a self.b = torch.rand(1, requires_grad=True) # 参数b self.__parameters = dict(a=self.a, b=self.b) # 参数字典 self.___gpu = False # 是否使用gpu来拟合 def cuda(self): if not self.___gpu: self.a = self.a.cuda().detach().requires_grad_(True) # 把a传输到gpu self.b = self.b.cuda().detach().requires_grad_(True) # 把b传输到gpu self.__parameters = dict(a=self.a, b=self.b) # 更新参数 self.___gpu = True # 更新标志,表示参数已经传输到gpu了 # 返回self,以支持链式调用 return self def cpu(self): if self.___gpu: self.a = self.a.cpu().detach().requires_grad_(True) self.b = self.b.cpu().detach().requires_grad_(True) self.__parameters = dict(a=self.a, b=self.b) # 更新参数 self.___gpu = False return self def forward(self, inputs): return self.a * inputs + self.b def parameters(self): for name, param in self.__parameters.items(): yield param def main(): # 生成虚假数据 x = np.linspace(1, 50, 50) # 系数a、b a = 2 b = 1 # 生成y y = a * x + b # 转换为Tensor x = torch.from_numpy(x.astype(np.float32)) y = torch.from_numpy(y.astype(np.float32)) # 定义网络 net = Net() # 传输到GPU if torch.cuda.is_available(): x = x.cuda() y = y.cuda() net = net.cuda() # 定义优化器 optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005) # 定义损失函数 loss_op = torch.nn.MSELoss(reduction='sum') # 最多优化20001次 for i in range(1, 20001, 1): # 向前传播 out = net.forward(x) # 计算损失 loss = loss_op(y, out) # 清空梯度(非常重要) optimizer.zero_grad() # 向后传播,计算梯度 loss.backward() # 更新参数 optimizer.step() # 得到损失的numpy值 loss_numpy = loss.cpu().detach().numpy() if i % 1000 == 0: # 每1000次打印一下损失 print(i, loss_numpy) if loss_numpy < 0.00001: # 如果损失小于0.00001 # 打印参数 a = net.a.cpu().detach().numpy() b = net.b.cpu().detach().numpy() print(a, b) # 退出 exit() if __name__ == '__main__': main()
以上这篇使用Pytorch来拟合函数方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持猪先飞。
相关文章
- eval函数在php中是一个函数并不是系统组件函数,我们在php.ini中的disable_functions是无法禁止它的,因这他不是一个php_function哦。 eval()针对php安全来说具有很...2016-11-25
- 在php中eval是一个函数并且不能直接禁用了,但eval函数又相当的危险了经常会出现一些问题了,今天我们就一起来看看eval函数对数组的操作 例子, <?php $data="array...2016-11-25
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 本文主要介绍了C# 中取绝对值的函数。具有很好的参考价值。下面跟着小编一起来看下吧...2020-06-25
- 下面小编就为大家带来一篇C#学习笔记- 随机函数Random()的用法详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2020-06-25
pytorch nn.Conv2d()中的padding以及输出大小方式
今天小编就为大家分享一篇pytorch nn.Conv2d()中的padding以及输出大小方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27- CREATE FUNCTION ChangeBigSmall (@ChangeMoney money) RETURNS VarChar(100) AS BEGIN Declare @String1 char(20) Declare @String2 char...2016-11-25
- 这篇文章主要介绍了C++中Sort函数详细解析,sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变...2022-08-18
Android开发中findViewById()函数用法与简化
findViewById方法在android开发中是获取页面控件的值了,有没有发现我们一个页面控件多了会反复研究写findViewById呢,下面我们一起来看它的简化方法。 Android中Fin...2016-09-20- strstr() 函数搜索一个字符串在另一个字符串中的第一次出现。该函数返回字符串的其余部分(从匹配点)。如果未找到所搜索的字符串,则返回 false。语法:strstr(string,search)参数string,必需。规定被搜索的字符串。 参数sea...2013-10-04
Linux安装Pytorch1.8GPU(CUDA11.1)的实现
这篇文章主要介绍了Linux安装Pytorch1.8GPU(CUDA11.1)的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-25- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-08
PHP函数分享之curl方式取得数据、模拟登陆、POST数据
废话不多说直接上代码复制代码 代码如下:/********************** curl 系列 ***********************///直接通过curl方式取得数据(包含POST、HEADER等)/* * $url: 如果非数组,则为http;如是数组,则为https * $header:...2014-06-07- Foreach 函数(PHP4/PHP5)foreach 语法结构提供了遍历数组的简单方式。foreach 仅能够应用于数组和对象,如果尝试应用于其他数据类型的变量,或者未初始化的变量将发出错误信息。...2013-09-28
- free函数是释放之前某一次malloc函数申请的空间,而且只是释放空间,并不改变指针的值。下面我们就来详细探讨下...2020-04-25
- PHP 函数 strip_tags 提供了从字符串中去除 HTML 和 PHP 标记的功能,该函数尝试返回给定的字符串 str 去除空字符、HTML 和 PHP 标记后的结果。由于 strip_tags() 无法实际验证 HTML,不完整或者破损标签将导致更多的数...2014-05-31
- 今天小编就为大家分享一篇pytorch 自定义卷积核进行卷积操作方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-06
- 分享一个PHP加密解密的函数,此函数实现了对部分变量值的加密的功能。 加密代码如下: /* *功能:对字符串进行加密处理 *参数一:需要加密的内容 *参数二:密钥 */ function passport_encrypt($str,$key){ //加密函数 srand(...2015-10-30
- 这篇文章主要介绍了Pytorch之扩充tensor的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-05