支持PyTorch的einops张量操作神器用法示例详解
今天做visual transformer研究的时候，发现了einops这么个神兵利器，决定大肆安利一波。
先看链接：https://github.com/arogozhnikov/einops
安装：
pip install einops
基础用法
einops的强项是把张量的维度操作具象化，让开发者“想出即写出”。举个例子：
from einops import rearrange # rearrange elements according to the pattern output_tensor = rearrange(input_tensor, 'h w c -> c h w')
用'h w c -> c h w'就完成了维度调换，这个功能与pytorch中的permute相似。但是，einops的rearrange玩法可以更高级：
from einops import rearrange import torch a = torch.randn(3, 9, 9) # [3, 9, 9] output = rearrange(a, 'c (r p) w -> c r p w', p=3) print(output.shape) # [3, 3, 3, 9]
这就是高级用法了，把中间维度看作r×p，然后给出p的数值，这样系统会自动把中间那个维度拆解成3×3。这样就完成了[3, 9, 9] -> [3, 3, 3, 9]的维度转换。
这个功能就不是pytorch的内置功能可比的。
除此之外，还有reduce和repeat，也是很好用。
from einops import repeat import torch a = torch.randn(9, 9) # [9, 9] output_tensor = repeat(a, 'h w -> c h w', c=3) # [3, 9, 9]
指定c，就可以指定复制的层数了。
再看reduce：
from einops import reduce import torch a = torch.randn(9, 9) # [9, 9] output_tensor = reduce(a, 'b c (h h2) (w w2) -> b h w c', 'mean', h2=2, w2=2)
这里的'mean'指定池化方式。 相信你看得懂，不懂可留言提问~
高级用法
einops也可以嵌套在pytorch的layer里，请看：
# example given for pytorch, but code in other frameworks is almost identical
from torch.nn import Sequential, Conv2d, MaxPool2d, Linear, ReLU
from einops.layers.torch import Rearrange
model = Sequential(
Conv2d(3, 6, kernel_size=5),
MaxPool2d(kernel_size=2),
Conv2d(6, 16, kernel_size=5),
MaxPool2d(kernel_size=2),
# flattening
Rearrange('b c h w -> b (c h w)'),
Linear(16*5*5, 120),
ReLU(),
Linear(120, 10),
)
这里的Rearrange是nn.module的子类，直接可以当作网络层放到模型里~
一个字，绝。
以上就是支持PyTorch的einops张量操作神器用法示例详解的详细内容，更多关于einops张量操作用法的资料请关注猪先飞其它相关文章！
原文出处：https://blog.csdn.net/leviopku/article/details/116204922
相关文章
pytorch nn.Conv2d()中的padding以及输出大小方式
今天小编就为大家分享一篇pytorch nn.Conv2d()中的padding以及输出大小方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27Linux安装Pytorch1.8GPU(CUDA11.1)的实现
这篇文章主要介绍了Linux安装Pytorch1.8GPU(CUDA11.1)的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-25- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了Pytorch之扩充tensor的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-05
- 今天小编就为大家分享一篇pytorch 自定义卷积核进行卷积操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-06
- 这篇文章主要介绍了解决pytorch 交叉熵损失输出为负数的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-08
pytorch绘制并显示loss曲线和acc曲线，LeNet5识别图像准确率
今天小编就为大家分享一篇pytorch绘制并显示loss曲线和acc曲线，LeNet5识别图像准确率，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch 实现冻结部分参数训练另一部分，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-27
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
这篇文章主要介绍了从Pytorch模型pth文件中读取参数成numpy矩阵的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-04Pytorch 的损失函数Loss function使用详解
今天小编就为大家分享一篇Pytorch 的损失函数Loss function使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 今天小编就为大家分享一篇pytorch中的上采样以及各种反操作,求逆操作详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-30
- 今天小编就为大家分享一篇Pytorch实现LSTM和GRU示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要介绍了基于Pytorch版yolov5的滑块验证码破解思路详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-02-25
解决Pytorch dataloader时报错每个tensor维度不一样的问题
这篇文章主要介绍了解决Pytorch dataloader时报错每个tensor维度不一样的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-05-28pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch深度学习中对softmax实现进行了详细解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步...2021-09-30
- 今天小编就为大家分享一篇Pytorch 计算误判率,计算准确率,计算召回率的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要介绍了pytorch中的squeeze函数、cat函数使用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-05-20
- 这篇文章主要介绍了Pytorch如何切换 cpu和gpu的使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-01
- 今天小编就为大家分享一篇pytorch动态网络以及权重共享实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-29