图像处理方法、装置及设备制造方法及图纸

本发明专利技术提供一种图像处理方法、装置及设备，可提高对具有一定并行度的应用平台的利用率。该方法包括：获得待处理的目标图像；确定目标图像对应的N个目标特征图；将N个目标特征图输入至神经网络，得到图像处理结果；神经网络包括N个特征处理子网络和图像处理子网络；N个特征处理子网络对目标特征图进行处理并输出特征处理结果至图像处理子网络；N个特征处理子网络中的至少一个包括分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；N个特征处理子网络对应的输入通道数相同、且由一个分组卷积层对应的输入通道数确定；图像处理子网络用于对输入的特征处理结果进行图像处理得到图像处理结果。

【技术实现步骤摘要】
图像处理方法、装置及设备
本专利技术涉及机器学习
，尤其涉及的是一种图像处理方法、装置及设备。
技术介绍
机器学习可以用于实现图像处理，包括目标检测(ObjectDetection)、图像分类(ImageClassification)、图像识别等方面。这些方面中，一般都会涉及到通过卷积层进行特征提取的操作，而这一操作会影响神经网络的性能。为了进一步提升神经网络的性能，通常会增加卷积层(下面将其称为常规卷积层)的层数(深度)与通道数(宽度)。但是，伴随着常规卷积层的层数与通道数越来越大，神经网络的计算量和参数量也越来越大，这让神经网络在AI(人工智能)芯片等硬件平台上的部署成为瓶颈。为了降低计算开销，相关方式中，在神经网络中采用Depthwise(深度)卷积层替换常规卷积层，不同于常规卷积时通道间的强相关性(每个卷积核会依赖于之前的所有通道处理结果)，Depthwise是一个卷积核负责一个通道子图，即特征图中的一个通道子图只被一个卷积核执行卷积，所以所需的计算量和参数量都会减少。但是，上述方式应用到具有一定并行度的应用平台时，以应用于AI芯片为例，AI芯片的每个逻辑单元是支持多通道并行处理的，由于Depthwise是一个卷积核负责一个通道，所以每次卷积操作都只利用了逻辑单元中一个通道的处理资源，浪费了其他通道的处理资源。因此，上述方式中，对可多通道并行处理的应用平台的利用率较低，导致整体的执行效率也较低。
技术实现思路
有鉴于此，本专利技术提供一种图像处理方法、装置及设备，可提高对具有一定并行度的应用平台的利用率。本专利技术第一方面提供一种图像处理方法，应用于电子设备，该方法包括：获得待处理的目标图像；确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。根据本专利技术的一个实施例，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；所述确定所述目标图像对应的N个目标特征图包括：将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。根据本专利技术的一个实施例，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。根据本专利技术的一个实施例，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。根据本专利技术的一个实施例，所述图像处理子网络包括：通道合并层、通道重排层、图像处理层；所述通道合并层，用于按照设定的通道合并原则将来自所述N个特征处理子网络输出的N个特征处理结果进行通道合并，得到通道合并图；所述通道重排层，用于将所述通道合并图所包括的通道子图进行分组得到多个通道子图组，同一通道子图组包括的通道子图属于同一特征处理结果，按照设定的重排方式对多个通道子图组中的通道子图进行重排，得到重排特征图；所述图像处理层，用于依据设定的图像处理方式对所述重排特征图进行处理得到图像处理结果。根据本专利技术的一个实施例，所述设定的重排方式为相邻两个通道子图组关联不同的特征处理结果，通道子图组关联的特征处理结果为通道子图组中通道子图所属的特征处理结果。本专利技术第二方面提供一种图像处理装置，应用于电子设备，该装置包括：图像获得模块，用于获得待处理的目标图像；目标特征图确定模块，用于确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；图像处理模块，用于将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。根据本专利技术的一个实施例，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；所述目标特征图确定模块确定所述目标图像对应的N个目标特征图时，具体用于：将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。根据本专利技术的一个实施例，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。根据本专利技术的一个实施例，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，应用于电子设备，该方法包括：/n获得待处理的目标图像；/n确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；/n将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；/n所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；/n所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于电子设备，该方法包括：
获得待处理的目标图像；
确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；
将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；
所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；
所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。


2.如权利要求1所述的图像处理方法，其特征在于，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；
所述确定所述目标图像对应的N个目标特征图包括：
将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。


3.如权利要求2所述的图像处理方法，其特征在于，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，
所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。


4.如权利要求1所述的图像处理方法，其特征在于，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，
所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。


5.一种图像处理装置，其特征在于，应用于电子设备，该装置包括：
图像获得模块，用于获得待处理的目标图像；
目标特征图...

【专利技术属性】
技术研发人员：石大虎，谭文明，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33