图像处理装置及方法制造方法及图纸

本公开提出了一种图像处理装置及方法，所述图像处理方法包括：获取输入图像；将所述输入图像或所述输入图像的特征图转换成多个目标输入图像或目标特征图，其中，各目标输入图像或目标特征图的分辨率小于所述输入图像或所述输入图像的特征图的分辨率，且各目标输入图像或目标特征图中相同位置的像素在所述输入图像或所述输入图像的特征图中是邻域关系；以及通过卷积神经网络中的一个或多个卷积块，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理；以及提升所述卷积神经网络中的一个或多个卷积块的输出的特征图的分辨率。本公开图像处理装置及方法，实现了对目标卷积神经网络的速度提升，节约了大量的数据内存。

Image processing device and method

An image processing apparatus and method are provided, the image processing method includes: acquiring an input image; converting the input image or the characteristic map of the input image into a plurality of target input images or target characteristic maps, wherein the resolution of each target input image or target characteristic map is smaller than that of the input image or the characteristic map of the input image, And the pixels at the same position in each target input image or target feature map are neighborhood relations in the input image or the feature map of the input image; and processing at least part of the target input image or target feature map in the multiple target input image or target feature map through one or more convolution blocks in the convolution neural network; and promoting the convolution neural network The resolution of the output characteristic map of one or more convolution blocks in the network. The image processing apparatus and method realize the speed improvement of the target convolution neural network and save a large amount of data memory.

【技术实现步骤摘要】
图像处理装置及方法
本公开属于人工智能
，具体涉及一种图像处理装置及方法。
技术介绍
随着卷积神经网络和深度学习的研究进展，高性能的网络模型越来越越复杂，在很多计算力受限的环境中，对卷积神经网络进行加速有着广泛的应用需求。特别是在移动手机里，视觉智能算法应用越来越多，如何对这些算法在手机上的有限计算资源中进行加速运算有着重大意义。此外，在其他终端设备里，由于计算力受限，也有着类似的需求。这些终端设备包括但不限于：智能电视、智能冰箱、监控摄像头、智能驾驶汽车、服务机器人、小型航空航天器等。而对于运算于云端的算法，如果能够有效加速，节省计算资源和成本，也是很有必要的。可以通过模型优化来减少模型本身的计算量，通常的方法是通过降低权重总量的方式减少模型计算量，比如：约减不重要的权重(连接)，权重稀疏化、减少权重位数等。然而，降低权重会导致输入信息损失，从而导致模型性能明显下降。另外，现有的方案大多比较适用于图像级任务(比如，图像分类任务)和区域级任务(比如，目标检测任务)，而对于像素级任务(比如，图像分割、深度预测、超分辨率、去噪等)，由于应用于像素级任务的网络一般较为复杂，对于权重约减较为敏感，上述方式并不适用于像素级任务。综上，亟需一种图像处理装置及方法，能够有效提升图像处理的神经网络的处理速度。
技术实现思路
(一)要解决的技术问题本公开提供了一种图像处理装置及方法，以至少部分解决以上所提出的技术问题。(二)技术方案根据本公开的一个方面，提供了一种图像处理方法，包括：获取输入图像；将所述输入图像或所述输入图像的特征图转换成多个目标输入图像或目标特征图，其中，各目标输入图像或目标特征图的分辨率小于所述输入图像或所述输入图像的特征图的分辨率，且各目标输入图像或目标特征图中相同位置的像素在所述输入图像或所述输入图像的特征图中是邻域关系；通过卷积神经网络中的一个或多个卷积块，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理；以及提升所述卷积神经网络中的一个或多个卷积块的输出的特征图的分辨率。在一些实施例中，所述输入图像的特征图是所述输入图像经过所述卷积神经网络中的一个或多个卷积块处理而得到的。在一些实施例中，提升所述卷积神经网络中的一个或多个卷积块的输出的特征图的分辨率包括：提升所述卷积神经网络的任一个或多个卷积块的输出的特征图的分辨率，使所述卷积神经网络的输出的特征图的分辨率升高至所述输入图像只经过所述卷积神经网络处理达到的分辨率。在一些实施例中，将所述输入图像或所述输入图像的特征图转换成多个目标输入图像或目标特征图包括：确定所述目标输入图像或目标特征图与所述输入图像或所述输入图像的特征图之间的降分辨率比率N；根据所述降分辨率比率N确定所述目标输入图像或目标特征图的数量F*F，其中F＝U(N)U(·)为向上取整函数；以及将所述输入图像或所述输入图像的特征图变换为F*F个目标输入图像或目标特征图。在一些实施例中，将所述输入图像或所述输入图像的特征图变换为F*F个目标输入图像或目标特征图包括：对所述输入图像或所述输入图像的特征图进行步长为N的下采样，得到F*F个目标输入图像或目标特征图，其中，采样公式为：Oi，j(x，y)＝I(xN+i，yN+j)其中，I，O分别表示输入图像或输入图像的特征图和目标输入图像或目标特征图，i，j是为变换后的多个目标输入图像或目标特征图建立的索引，且i∈[0，F)，j∈[0，F)，x和y分别是相应目标输入图像或目标特征图中像素的横坐标和纵坐标，且x∈[0，W′)，y∈[0，H′)，W′＝L(W/N)，H′＝L(H/N)，xN+i和yN+j是所述输入图像或所述输入图像的特征图中像素的索引，U(·)表示向上取整函数，L(·)表示向下取整函数，W和H分别表示所述输入图像或所述输入图像的特征图的宽度和高度，W′和H′分别表示所述目标输入图像或所述目标特征图的宽度和高度。在一些实施例中，通过卷积神经网络中的一个或多个卷积块，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理，包括：通过所述卷积神经网络中的一个或多个卷积块使用以下卷积方式之一，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理：通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理；通过每个卷积块按照权重对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行卷积处理；根据多个目标输入图像或目标特征图之间的信息差异，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理。在一些实施例中，通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理包括：通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理，其中，所述部分目标输入图像或目标特征图之间具有特定步长间隔；或通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理，其中，一个卷积块处理的所述部分目标输入图像或目标特征图之间的相关性高于阈值，或者一个卷积块处理的所述部分目标输入图像或目标特征图为设定的具有相关性的多个目标输入图像或目标特征图。在一些实施例中，通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理，其中，所述部分目标输入图像或目标特征图之间具有特定步长间隔，包括：将目标输入图像或目标特征图分成R组目标输入图像或目标特征图，其中，R是整数，每组中的目标输入图像或目标特征图之间具有步长间隔R，所述R组部分目标输入图像或目标特征图之间不重叠；对每组目标输入图像或目标特征图进行卷积操作，得到对应的输出特征图，其中，第t组目标输入图像或目标特征图的起始目标输入图像或目标特征图为第t个目标输入图像或目标特征图，其中，t∈[0，R-1]；以及第t组目标输入图像或目标特征图中的第i个目标输入图像或目标特征图为全部目标输入图像或目标特征图中的第(i*R+t)个目标输入图像或目标特征图，i为非负整数。在一些实施例中，通过每个卷积块按照权重对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行卷积处理包括：通过每个卷积块按照下面的公式对多个目标输入图像或目标特征图中进行卷积处理：其中，Si表示第i个输出特征图，Convi，p(Mp)表示第i个卷积核对第p个目标输入图像或目标特征图MP的卷积操作，Wi，p表示第i个卷积核对应第p个目标输入图像或目标特征图的权重，P表示目标输入图像或目标特征图的总数。在一些实施例中，根据多个目标输入图像或目标特征图之间的信息差异，对多个目标输入图像或目标特征图中的至少部分目标输入图像或本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n获取输入图像；/n将所述输入图像或所述输入图像的特征图转换成多个目标输入图像或目标特征图，其中，各目标输入图像或目标特征图的分辨率小于所述输入图像或所述输入图像的特征图的分辨率，且各目标输入图像或目标特征图中相同位置的像素在所述输入图像或所述输入图像的特征图中是邻域关系；/n通过卷积神经网络中的一个或多个卷积块，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理；以及/n提升所述卷积神经网络中的一个或多个卷积块的输出的特征图的分辨率。/n

【技术特征摘要】
20180530 CN 20181054605461.一种图像处理方法，包括：
获取输入图像；
将所述输入图像或所述输入图像的特征图转换成多个目标输入图像或目标特征图，其中，各目标输入图像或目标特征图的分辨率小于所述输入图像或所述输入图像的特征图的分辨率，且各目标输入图像或目标特征图中相同位置的像素在所述输入图像或所述输入图像的特征图中是邻域关系；
通过卷积神经网络中的一个或多个卷积块，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理；以及
提升所述卷积神经网络中的一个或多个卷积块的输出的特征图的分辨率。


2.根据权利要求1所述的图像处理方法，其中，所述输入图像的特征图是所述输入图像经过所述卷积神经网络中的一个或多个卷积块处理而得到的。


3.根据权利要求1所述的图像处理方法，其中，提升所述卷积神经网络中的一个或多个卷积块的输出的特征图的分辨率包括：提升所述卷积神经网络的任一个或多个卷积块的输出的特征图的分辨率，使所述卷积神经网络的输出的特征图的分辨率升高至所述输入图像只经过所述卷积神经网络处理达到的分辨率。


4.根据权利要求1或2所述的图像处理方法，其中，将所述输入图像或所述输入图像的特征图转换成多个目标输入图像或目标特征图包括：
确定所述目标输入图像或目标特征图与所述输入图像或所述输入图像的特征图之间的降分辨率比率N；
根据所述降分辨率比率N确定所述目标输入图像或目标特征图的数量F*F，其中
F＝U(N)
U(·)为向上取整函数；以及
将所述输入图像或所述输入图像的特征图变换为F*F个目标输入图像或目标特征图。


5.根据权利要求4所述的图像处理方法，其中，
将所述输入图像或所述输入图像的特征图变换为F*F个目标输入图像或目标特征图包括：
对所述输入图像或所述输入图像的特征图进行步长为N的下采样，得到F*F个目标输入图像或目标特征图，其中，采样公式为：
Oi，j(x，y)＝I(xN+i，yN+j)
其中，I，O分别表示输入图像或输入图像的特征图和目标输入图像或目标特征图，i，j是为变换后的多个目标输入图像或目标特征图建立的索引，且i∈[0，F)，j∈[0，F)，x和y分别是相应目标输入图像或目标特征图中像素的横坐标和纵坐标，且x∈[0，W′)，y∈[0，H′)，W′＝L(W/N)，H′＝L(H/N)，xN+i和yN+j是所述输入图像或所述输入图像的特征图中像素的索引，U(·)表示向上取整函数，L(·)表示向下取整函数，W和H分别表示所述输入图像或所述输入图像的特征图的宽度和高度，W′和H′分别表示所述目标输入图像或所述目标特征图的宽度和高度。


6.根据权利要求1所述的图像处理方法，其中，通过卷积神经网络中的一个或多个卷积块，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理，包括：
通过所述卷积神经网络中的一个或多个卷积块使用以下卷积方式之一，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理：
通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理；
通过每个卷积块按照权重对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行卷积处理；
根据多个目标输入图像或目标特征图之间的信息差异，对多个目标输入图像或目标特征图中的至少部分目标输入图像或目标特征图进行处理。


7.根据权利要求6中所述的图像处理方法，其中，通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理包括：
通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理，其中，所述部分目标输入图像或目标特征图之间具有特定步长间隔；或
通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理，其中，一个卷积块处理的所述部分目标输入图像或目标特征图之间的相关性高于阈值，或者一个卷积块处理的所述部分目标输入图像或目标特征图为设定的具有相关性的多个目标输入图像或目标特征图。


8.根据权利要求7中所述的图像处理方法，其中，通过每个卷积块对多个目标输入图像或目标特征图中的部分目标输入图像或目标特征图进行卷积处理，其中，所述部分目标输入图像或目标特征图之间具有特定步长间隔，包括：
将目标输入图像或目标特征图分成R组目标输入图像或目标特征图，其中，R是整数，每组中的目标输入图像或目标特征图之间具有步长间隔R，所述R组部分目标输入图像或目标特征图之间不重叠；
对每组目标输入图像或目标特征图进行卷积操作，得到对应的输出特征图，其中，第t组目标输入图像或目标特征图的起始目标输入图像或目标特征图为第t个目标输入图像或目标特征图，其中，t∈[0，R-1]；以及
第t组目标输入图像或目标特征图中的第i个目标输入图像或目标特征图为全部目标输入图像或目标特征图中的第(i*R+t)个目标输入图像或目标特征图，i为非负整数。

【专利技术属性】
技术研发人员：刘子坤，仇函，刘颖璐，李春阳，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11