用于低内存残差学习的装置和方法制造方法及图纸

本发明专利技术提供了一种用于处理包括输入张量

【技术实现步骤摘要】
【国外来华专利技术】用于低内存残差学习的装置和方法
专利

[0001]本专利技术涉及计算机视觉，具体地，涉及在诸如图像分析等应用中使用深度神经网络
(
例如卷积神经网络
)
来处理输入信号
。

技术介绍

[0002]目前，智能手机年销量超过
15
亿部，因此智能手机图像的数量现在远远超过单反相机和傻瓜相机拍摄的图像数量也就不足为奇了
。
[0003]虽然智能手机的普及使它们成为方便的摄影设备，但设备的内存限制却限制了可以执行的图像分析和合成方法的类别，因此可能导致图像质量不佳
。
因此，在图像分析或合成方面表现出色的强大工具无法用于某些管道，例如智能手机中的相机图像信号处理器
(image signal processor
，
ISP)。
这一问题加剧了对克服这些限制的需求
。
[0004]具有跳跃连接的深度神经网络，例如
ResNet(
如
He Kaiming
等人在
2016
年本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于处理包括输入张量
(401、501、551、601、801)
的输入信号的装置，其特征在于，所述装置具有处理器并用于实现用来执行残差学习的卷积神经网络
(400、500、550、600、800)
，所述网络包括一个或多个卷积层
(402、502、504、505、552、553、554、602、802)
，每一层包括多个卷积滤波器
(403、404、603、604、803、804)
，其中，对于所述层中的至少一层，所述相应层的所述卷积滤波器中的至少一些卷积滤波器
(404、604、804)
用于：通过所述网络的所述相应层传播
(1901)
所述输入张量的表示
(406、501、556、601、806)
；将所述传播的输入张量的表示附加
(1902)
到从所述相应层中的其它卷积滤波器
(403、604、803)
导出的特征
(405、506、557、605、805)
上，以形成残差连接
。2.
根据权利要求1所述的装置，其特征在于，所述输入张量的表示包括所述输入张量
(401、501、601)。3.
根据权利要求1或权利要求2所述的装置，其特征在于，所述卷积神经网络包括一个或多个跳跃连接，并且所述相应层的所述卷积滤波器中的所述至少一些卷积滤波器
(404、604、804)
用于通过所述网络来传播要用于所述跳跃连接的所述输入张量的表示
。4.
根据前述权利要求中任一项所述的装置，其特征在于，对于每个这样的层，所述卷积滤波器中的所述至少一些卷积滤波器
(404、604、804)
用于通过所述网络将所述输入张量的表示传播到所述卷积层，在所述卷积层中，所述输入张量的表示将用于残差学习
。5.
根据前述权利要求中任一项所述的装置，其特征在于，所述输入张量包括
C
个通道，并且所述卷积滤波器中的所述至少一些卷积滤波器
(404、604)
包括
C
个滤波器
。6.
根据权利要求5所述的装置，其特征在于，所述相应卷积层的输出具有
N
个通道，并且
N
–
C
个滤波器用于卷积
。7.
根据前述权利要求中任一项所述的装置，其特征在于，所述卷积滤波器中的所述至少一些卷积滤波器
(404、604)
固定为不可学习，并且用于将所述输入张量传递到后续卷积层
。8.
根据前述权利要求中任一项所述的装置，其特征在于，所述卷积滤波器中的所述至少一些卷积滤波器
(404、604)
用于通过所述层中的所述至少一层来显式传播所述输入张量
。9.
根据权利要求7或权利要求8所述的装置，其特征在于，所述至少一些卷积滤波器中的一个或多个卷积滤波器
(604)
是
Dirac
滤波器
。10.
根据权利要求1至4中任一项所述的装置，其特...

【专利技术属性】
技术研发人员：伊奥安尼斯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：