一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请的技术方案提供了一种图像处理方法，所述方法应用于深度学习模型，包括：对输入图像进行特征检测，得到第一特征图像；对所述第一特征图像进行转换，得到不同尺度的多个第二特征图像；增加所述第二特征图像的感受野，得到不同尺度的多个第三特征图像；根据不同尺度的多个所述第三特征图像，确定所述输入图像内检测目标的检测信息。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质
本专利技术实施例涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
随着计算机技术的发展，计算机技术的应用场景越来越多。计算机技术中包括图像处理技术，例如图像检测等。通过图像处理技术可以对图像进行多种处理，进而可以满足不同应用场景的需求。但是，随着各种需求的不断增加以及不同应用场景的增加，对于图像处理技术的要求也会增加。
技术实现思路
本专利技术实施例提供一种图像处理方法、装置、电子设备及存储介质。本公开实施例第一方面提供一种图像处理方法，所述方法应用于深度学习模型，包括：对输入图像进行特征检测，得到第一特征图像；对所述第一特征图像进行转换，得到不同尺度的多个第二特征图像；增加所述第二特征图像的感受野，得到不同尺度的多个第三特征图像；根据不同尺度的多个所述第三特征图像，确定所述输入图像内检测目标的检测信息。在一个实施例中，所述对输入图像进行特征检测，得到第一特征图像，包括：对所述输入图像依次进行深度卷积和逐点卷积，得到至少具有两种不同尺度的所述第一特征图像。在一个实施例中，所述深度学习模型包括第一网络；所述第一网络包括：第一卷积单元、第二卷积单元及第三卷积单元；所述第一卷积单元、第二卷积单元及第三卷积单元的卷积序列不同；其中，所述第一卷积单元，用于对所述输入图像依次进行深度卷积和逐点卷积，得到第一尺度的第一特征图像；所述第二卷积单元，用于对所述第一尺度的第一特征图像依次进行深度卷积和逐点卷积，得到第二尺度的第一特征图像；所述第三卷积单元，用于对所述第二尺度的第一特征图像依次进行深度卷积和逐点卷积，得到第三尺度的第一特征图像。在一个实施例中，从所述第一尺度、所述第二尺度到所述第三尺度依次减小。在一个实施例中，所述对所述第一特征图像进行转换，得到不同尺度的多个第二特征图像，包括：对不同尺度的所述第一特征图像进行不同的卷积，得到不同尺度的所述第二特征图像。在一个实施例中，所述深度学习模型还包括：第二网络；所述第二网络包括：编码器和位于所述编码器输出端的解码器，所述编码器包括：自底向上的n个编码层，且所述编码层自底向上排序；所述解码器包括：自顶向下的n个解码层，且所述解码层自顶向下排序；所述对不同尺度的所述第一特征图像进行不同的卷积，得到不同尺度的所述第二特征图像，包括：自底向上的n个所述编码层对f个尺度由大到小的所述第一特征图像对应进行卷积，n等于f；第m个编码层对所述第一特征图像进行卷积，得到第m个输出，并将所述第m个输出传输到第n-m+1个解码层，其中，所述m为小于n的正整数；第s个解码层对从第s-1个解码层的输出和从第n-s+1个编码层的输出进行卷积，得到第s个尺度的所述第二特征图像，其中，所述s为小于或等于n的正整数；第n个所述编码层的输出传输到第1个所述解码层；所述第1个所述解码层基于所述第n个编码层的输出，得到第1个尺度的所述第二特征图像。在一个实施例中，所述第m个编码层与所述第一网络的所述第一卷积单元、所述第二卷积单元及所述第三卷积单元中的一个连接；其中，第m-1个编码层接收的第一特征图像，比第m个编码层接收的第一特征图像的尺度大。在一个实施例中，所述n等于3。在一个实施例中，所述增加所述第二特征图像的感受野，得到不同尺度的多个第三特征图像，包括：通过对所述第二特征图像的不同次数的卷积，得到相对于不同尺度的多个所述第二特征图像增加所述感受野后的不同尺度的多个所述第三特征图像。在一个实施例中，所述深度学习模型还包括：第三网络；所述第三网络包括：第一卷积分支和第二卷积分支，所述第一卷积分支的卷积层的个数，小于所述第二卷积分支的卷积层的个数；所述通过对所述第二特征图像的不同次数的卷积，得到相对于不同尺度的多个所述第二特征图像增加所述感受野后的不同尺度的多个所述第三特征图像，包括：利用第一卷积分支对所述第二特征图像进行卷积，得到第一分支卷积结果；利用第二卷积分支对所述第二特征图像进行卷积，得到第二分支卷积结果；通过所述第一分支卷积结果和第二分支卷积结果，增加所述第二特征图像的感受野，得到相对于不同尺度的多个所述第二特征图像增加所述感受野后的不同尺度的多个所述第三特征图像。在一个实施例中，所述根据不同尺度的多个所述第三特征图像，确定所述输入图像内检测目标的检测信息，包括：融合不同尺度的多个所述第三特征图像，得到特征融合图像；根据所述特征融合图像，确定所述输入图像内检测目标的检测信息；其中，所述检测信息包括：所述检测目标所属类别的置信度、所述检测目标的所在区域和/或所述检测目标的关键点信息。在一个实施例中，所述根据所述特征融合图像，确定所述输入图像内检测目标的检测信息，包括：根据所述特征融合图像，基于多标签分类函数，确定所述输入图像中检测目标所属类别的置信度。在一个实施例中，所述根据所述特征融合图像，确定所述输入图像内检测目标的检测信息，包括：将预设检测框与所述特征融合图像所在区域进行匹配；通过所述平均绝对误差函数，确定所述预设检测框的中心位置与所述特征融合图像所在区域的中心位置之间的第一平均绝对误差；在所述第一平均绝对误差小于第一预设阈值时，确定所述预设检测框所在的区域为所述检测目标的所在区域。在一个实施例中，所述根据所述特征融合图像，确定所述输入图像内检测目标的检测信息，包括：将第一预设关键点的位置信息与所述检测目标的关键点的位置信息进行匹配；基于所述平均绝对误差函数，确定所述预设关键点的位置信息与所述检测目标的关键点的位置信息之间的第二平均绝对误差；在所述第二平均绝对误差小于第二预设阈值时，确定所述第一预设关键点所在的位置为所述检测目标的关键点的位置。在一个实施例中，还包括：确定所述检测目标的关键点的位置信息是否与第二预设关键点的位置信息相匹配；在所述检测目标的关键点的位置信息与第二预设关键点的位置信息不匹配时，根据第二预设关键点的位置信息，将所述检测目标的关键点的位置信息进行变换，修正所述检测目标的位置。本公开实施例第二方面提供一种图像的处理装置，包括：特征检测模块，用于对输入图像进行特征检测，得到第一特征图像；转换模块，用于对所述第一特征图像进行转换，得到不同尺度的多个第二特征图像；感受野增加模块，用于增加所述第二特征图像的感受野，得到不同尺度的多个第三特征图像；确定模块，用于根据不同尺度的多个所述第三特征图像，确定所述输入图像内检测目标的检测信息。本公开实施例第三方面提供一种电子设备，包括：处理器；存储器，其存储有程序指令，当所述程序指令被所述处理器执行时，使得所述电子设备执行上述所述的方法。本公开实施例第四方面提供一种存储介质，其存储有程序，当所述程序由处理器运行时，执行上述所述的方法。本公开实施例的技术方案中的深度学习模型通过对输入图像进行特征检测，提取到输入图像的特征，得到第一特征图像。通过对第一特征图像的转换，得到不同尺度的多个第二特征图像。由本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法应用于深度学习模型，包括：/n对输入图像进行特征检测，得到第一特征图像；/n对所述第一特征图像进行转换，得到不同尺度的多个第二特征图像；/n增加所述第二特征图像的感受野，得到不同尺度的多个第三特征图像；/n根据不同尺度的多个所述第三特征图像，确定所述输入图像内检测目标的检测信息。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法应用于深度学习模型，包括：
对输入图像进行特征检测，得到第一特征图像；
对所述第一特征图像进行转换，得到不同尺度的多个第二特征图像；
增加所述第二特征图像的感受野，得到不同尺度的多个第三特征图像；
根据不同尺度的多个所述第三特征图像，确定所述输入图像内检测目标的检测信息。


2.根据权利要求1所述的方法，其特征在于，所述对输入图像进行特征检测，得到第一特征图像，包括：
对所述输入图像依次进行深度卷积和逐点卷积，得到至少具有两种不同尺度的所述第一特征图像。


3.根据权利要求2所述的方法，其特征在于，所述深度学习模型包括第一网络；
所述第一网络包括：第一卷积单元、第二卷积单元及第三卷积单元；所述第一卷积单元、第二卷积单元及第三卷积单元的卷积序列不同；
其中，所述第一卷积单元，用于对所述输入图像依次进行深度卷积和逐点卷积，得到第一尺度的第一特征图像；
所述第二卷积单元，用于对所述第一尺度的第一特征图像依次进行深度卷积和逐点卷积，得到第二尺度的第一特征图像；
所述第三卷积单元，用于对所述第二尺度的第特征图像依次进行深度卷积和逐点卷积，得到第三尺度的第一特征图像。


4.根据权利要求2或3所述的方法，其特征在于，所述对所述第一特征图像进行转换，得到不同尺度的多个第二特征图像，包括：
对不同尺度的所述第一特征图像进行不同的卷积，得到不同尺度的所述第二特征图像。


5.根据权利要求4所述的方法，其特征在于，所述深度学习模型还包括：第二网络；
所述第二网络包括：编码器和位于所述编码器输出端的解码器，
所述编码器包括：自底向上的n个编码层，且所述编码层自底向上排序；所述解码器包括：自顶向下的n个解码层，且所述解码层自顶向下排序；
所述对不同尺度的所述第一特征图像进行不同的卷积，得到不同尺度的所述第二特征图像，包括：
自底向上的n个所述编码层对f个尺度由大到小的所述第一特征图像对应进行卷积，n等于f；
第m个编码层对所述第一特征图像进行卷积，得到第m个输出，并将所述第m个输出传输到第n-m+1个解码层，其中，所述m为小于n的正整数；
第s个解码层对从第s-1个解码层的输出和从第n-s+1个...

【专利技术属性】
技术研发人员：马向军，苏伟博，马原，
申请(专利权)人：北京澎思科技有限公司，
类型：发明
国别省市：北京;11