pytorch中.to(device) 和.cuda()的区别说明
更新时间:2021年5月25日 10:00 点击:2401
原理
.to(device) 可以指定CPU 或者GPU
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 单GPU或者CPU model.to(device) #如果是多GPU if torch.cuda.device_count() > 1: model = nn.DataParallel(model,device_ids=[0,1,2]) model.to(device)
.cuda() 只能指定GPU
#指定某个GPU os.environ['CUDA_VISIBLE_DEVICE']='1' model.cuda() #如果是多GPU os.environment['CUDA_VISIBLE_DEVICES'] = '0,1,2,3' device_ids = [0,1,2,3] net = torch.nn.Dataparallel(net, device_ids =device_ids) net = torch.nn.Dataparallel(net) # 默认使用所有的device_ids net = net.cuda()
class DataParallel(Module): def __init__(self, module, device_ids=None, output_device=None, dim=0): super(DataParallel, self).__init__() if not torch.cuda.is_available(): self.module = module self.device_ids = [] return if device_ids is None: device_ids = list(range(torch.cuda.device_count())) if output_device is None: output_device = device_ids[0]
补充:Pytorch使用To方法编写代码在不同设备(CUDA/CPU)上兼容(device-agnostic)
以前版本的PyTorch编写device-agnostic代码非常困难(即,在不修改代码的情况下在CUDA可以使用或者只能使用CPU的设备上运行)。
device-agnostic的概念
即设备无关,可以理解为无论什么设备都可以运行您编写的代码。(PS:个人理解,我没有在网上找到专业解释)
PyTorch 0.4.0使代码兼容
PyTorch 0.4.0通过两种方法使代码兼容变得非常容易:
张量的device属性为所有张量提供了torch.device设备。(注意:get_device仅适用于CUDA张量)
to方法Tensors和Modules可用于容易地将对象移动到不同的设备(代替以前的cpu()或cuda()方法)
我们推荐以下模式:
# 开始脚本,创建一个张量 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") ... # 但是无论你获得一个新的Tensor或者Module # 如果他们已经在目标设备上则不会执行复制操作 input = data.to(device) model = MyModule(...).to(device)
以上为个人经验,希望能给大家一个参考,也希望大家多多支持猪先飞。
相关文章
pytorch中.to(device) 和.cuda()的区别说明
这篇文章主要介绍了pytorch中.to(device) 和.cuda()的区别说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-05-25Ubuntu 20.04 CUDA&cuDNN安装方法(图文教程)
这篇文章主要介绍了Ubuntu 20.04 CUDA&cuDNN安装方法(图文教程),文中通过图文代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-07-29- 今天小编就为大家分享一篇浅谈pytorch、cuda、python的版本对齐问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
pytorch查看torch.Tensor和model是否在CUDA上的实例
今天小编就为大家分享一篇pytorch查看torch.Tensor和model是否在CUDA上的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-30关于vmware workstations与device/credential不兼容启动报错的问题
很多朋友问小编VMware和Device不兼容导致vmware workstations启动虚拟机报错,怎么解决这个问题呢?直接禁用Device就行了,具体操作细节跟随小编一起通过本文学习吧...2021-07-14- 今天小编就为大家分享一篇Pytorch to(device)用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-29
- 这篇文章主要介绍了将pytorch的网络等转移到cuda的实现,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-06-01
- 这篇文章主要为大家详细介绍了Win10+VS2017新CUDA项目配置教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-04-25