图像处理方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

本申请公开了一种图像处理方法、装置、设备、存储介质及计算机程序产品，可应用于云技术、人工智能、智慧交通、区块链等各种领域或场景，该方法包括：获取待处理图像的第一待处理特征图和第二待处理特征图；对第一待处理特征图和第二待处理特征图进行不同的语义分析处理，得到中间局部语义特征图和中间全局语义特征图；根据中间局部语义特征图和中间全局语义特征图确定第一融合特征图和第二融合特征图；再分别对第一融合特征图和第二融合特征图进行不同的语义分析处理，得到融合局部语义特征图和融合全局语义特征图；根据融合局部语义特征图和融合全局语义特征图确定待处理图像的图像处理结果。采用本方案可以有效提高图像处理结果的准确性。理结果的准确性。理结果的准确性。

【技术实现步骤摘要】
图像处理方法、装置、设备、存储介质及计算机程序产品


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、一种图像处理装置、一种计算机设备、一种计算机可读存储介质及计算机程序产品。

技术介绍

[0002]随着人工智能技术的发展，图像处理技术的研究取得了很大的进展，各式各样的深度神经网络大量应用于图像识别、图像分割等基本的图像处理领域。在现有的行业需求中，诸如图像识别或分割等图像处理方式，仍旧是计算机视觉任务中的研究热点，并且有着十分广泛的实际应用。以图像语义分割为例，可以广泛应用于例如目标检测、场景理解、机器人视觉、自动驾驶的街景识别、增强现实、图像理解和图像编辑等方面的计算机视觉任务。但如何保证图像处理结果的准确性是目前有待解决的问题。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、设备、存储介质及计算机程序产品，可以有效提高图像处理结果的准确性。
[0004]本申请实施例一方面提供了一种图像处理方法，包括：获取待处理图像的第一待处理特征图和第二待处理特征图；对第一待处理特征图进行局部语义分析，得到中间局部语义特征图，以及对第二待处理特征图进行全局语义分析，得到中间全局语义特征图；根据中间局部语义特征图和中间全局语义特征图确定第一融合特征图和第二融合特征图；对第一融合特征图进行局部语义分析，得到融合局部语义特征图，以及对第二融合特征图进行全局语义分析，得到融合全局语义特征图；根据融合局部语义特征图和融合全局语义特征图确定待处理图像的图像处理结果。
[0005]本申请实施例一方面提供了一种图像处理装置，包括：获取模块，用于获取待处理图像的第一待处理特征图和第二待处理特征图；处理模块，用于对第一待处理特征图进行局部语义分析，得到中间局部语义特征图，以及对第二待处理特征图进行全局语义分析，得到中间全局语义特征图；处理模块，还用于根据中间局部语义特征图和中间全局语义特征图确定第一融合特征图和第二融合特征图；处理模块，还用于对第一融合特征图进行局部语义分析，得到融合局部语义特征图，以及对第二融合特征图进行全局语义分析，得到融合全局语义特征图；处理模块，还用于根据融合局部语义特征图和融合全局语义特征图确定待处理图像的图像处理结果。
[0006]在一实施例中，获取模块，具体用于：获取待处理图像的初始特征图，将初始特征
图确定为待处理图像的第一待处理特征图；对初始特征图进行处理，确定初始特征图的符号特征图和位置嵌入特征图；将符号特征图和位置嵌入特征图进行融合处理，得到待处理图像的第二待处理特征图。
[0007]在一实施例中，处理模块，具体用于：对初始特征图分别进行N次池化处理，得到N个池化特征图，其中，N为正整数；根据N个池化特征图进行位置编码处理，得到初始特征图的位置嵌入特征图。
[0008]在一实施例中，处理模块，还用于：将初始特征图输入目标特征提取网络包括的符号特征提取模块中进行处理，得到初始特征图的符号特征图；将初始特征图输入目标特征提取网络包括的位置嵌入特征提取模块中进行处理，得到初始特征图的位置嵌入特征图。
[0009]在一实施例中，位置嵌入特征提取模块包括多个特征调整单元和位置编码单元，且各个特征调整单元包括的池化处理子单元的池化核大小不同；多个特征调整单元并行连接，且各个特征调整单元的输出端与位置编码单元的输入端连接；特征调整单元包括池化处理子单元、升维处理子单元和上采样子单元。
[0010]在一实施例中，中间局部语义特征图的尺寸大于中间全局语义特征图的尺寸，中间局部语义特征图的通道数小于中间全局语义特征图的通道数；处理模块，具体用于：对中间全局语义特征图进行降维处理，其中，降维处理后的中间全局语义特征图的通道数与中间局部语义特征图的通道数相同；对降维处理后的中间全局语义特征图进行上采样处理，得到待融合的中间全局语义特征图，其中，待融合的中间全局语义特征图的尺寸与中间局部语义特征图的尺寸相同；将中间局部语义特征图与待融合的中间全局语义特征图进行融合处理，得到第一融合特征图。
[0011]在可行的实施方式中，处理模块，具体还用于：对中间局部语义特征图进行下采样处理，其中，下采样处理后的中间局部语义特征图的尺寸与中间全局语义特征图的尺寸相同；对下采样处理后的中间局部语义特征图进行升维处理，得到待融合的中间局部语义特征图，其中，待融合的中间局部语义特征图的通道数与中间全局语义特征图的通道数相同；将中间全局语义特征图与待融合的中间局部语义特征图进行融合处理，得到第二融合特征图。
[0012]在一实施例中，处理模块，具体还用于：根据融合局部语义特征图和融合全局语义特征图确定待处理图像的语义分割图；或者，根据融合局部语义特征图和融合全局语义特征图确定待处理图像的实例分割图；或者，根据融合局部语义特征图和融合全局语义特征图确定待处理图像的物体检测结果；或者，根据融合局部语义特征图和融合全局语义特征图确定待处理图像的图像分类结果。
[0013]在一实施例中，处理模块，还用于：利用局部语义分析网络中的局部语义分析模块对第一待处理特征图进行局部语义分析，得到中间局部语义特征图；利用全局语义分析网络中的全局语义分析模块对第二待处理特征图进行全局语义分析，得到中间全局语义特征图；其中，局部语义分析网络包括多个串行连接的局部语义分析模块，全局语义分析网络包括多个串行连接的全局语义分析模块，局部语义分析网络和全局语义分析网络之间设置有多尺度扩散模块，多尺度扩散模块用于对中间局部语义特征图和中间全局语义特征图进行处理得到第一融合特征图和第二融合特征图。
[0014]可选地，多尺度扩散模块包括上采样单元、下采样单元、降维处理单元和升维处理
单元；下采样单元的输入端与局部语义分析网络连接，输出端与升维处理单元的输入端连接，升维处理单元的输出端与全局语义分析网络连接；降维处理单元的输入端与全局语义分析网络连接，输出端与上采样单元的输入端连接，上采样单元的输出端与局部语义分析网络连接。
[0015]本申请实施例一方面提供了一种计算机设备，包括：处理器、存储器以及网络接口；处理器与存储器、网络接口相连，其中，网络接口用于提供网络通信功能，存储器用于存储程序代码，处理器用于调用程序代码，以执行本申请实施例中的图像处理方法。
[0016]本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行本申请实施例中的图像处理方法。
[0017]相应的，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例中一方面提供的图像处理方法。
[0018]本申请实施例中，对待处理图像的第一待处理特征图和第二待处理特征图分别进行局部语义分析处理和进行全局语义分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像的第一待处理特征图和第二待处理特征图；对所述第一待处理特征图进行局部语义分析，得到中间局部语义特征图，以及对所述第二待处理特征图进行全局语义分析，得到中间全局语义特征图；根据所述中间局部语义特征图和所述中间全局语义特征图确定第一融合特征图和第二融合特征图；对所述第一融合特征图进行局部语义分析，得到融合局部语义特征图，以及对所述第二融合特征图进行全局语义分析，得到融合全局语义特征图；根据所述融合局部语义特征图和所述融合全局语义特征图确定所述待处理图像的图像处理结果。2.如权利要求1所述的方法，其特征在于，所述获取待处理图像的第一待处理特征图和第二待处理特征图，包括：获取待处理图像的初始特征图，将所述初始特征图确定为所述待处理图像的第一待处理特征图；对所述初始特征图进行处理，确定所述初始特征图的符号特征图和位置嵌入特征图；将所述符号特征图和所述位置嵌入特征图进行融合处理，得到所述待处理图像的第二待处理特征图。3.如权利要求2所述的方法，其特征在于，所述方法还包括：对所述初始特征图分别进行N次池化处理，得到N个池化特征图，其中，N为正整数；根据所述N个池化特征图进行位置编码处理，得到所述初始特征图的位置嵌入特征图。4.如权利要求2所述的方法，其特征在于，所述方法还包括：将所述初始特征图输入目标特征提取网络包括的符号特征提取模块中进行处理，得到所述初始特征图的符号特征图；将所述初始特征图输入所述目标特征提取网络包括的位置嵌入特征提取模块中进行处理，得到所述初始特征图的位置嵌入特征图。5.如权利要求4所述的方法，其特征在于，所述位置嵌入特征提取模块包括多个特征调整单元和位置编码单元，且各个所述特征调整单元包括的池化处理子单元的池化核大小不同；所述多个特征调整单元并行连接，且各个所述特征调整单元的输出端与所述位置编码单元的输入端连接。6.如权利要求1
‑
5中任一项所述的方法，其特征在于，所述中间局部语义特征图的尺寸大于所述中间全局语义特征图的尺寸，所述中间局部语义特征图的通道数小于所述中间全局语义特征图的通道数；根据所述中间局部语义特征图和所述中间全局语义特征图确定第一融合特征图，包括：对所述中间全局语义特征图进行降维处理，其中，降维处理后的中间全局语义特征图的通道数与所述中间局部语义特征图的通道数相同；对所述降维处理后的中间全局语义特征图进行上采样处理，得到待融合的中间全局语义特征图，其中，所述待融合的中间全局语义特征图的尺寸与所述中间局部语义特征图的尺寸相同；
将所述中间局部语义特征图与所述待融合的中间全局语义特征图进行融合处理，得到第一融合特征图。7.如权利要求1
‑
5中任一项所述的方法，其特征在于，所述中间局部语义特征图的尺寸大于所述中间全局语义特征图的尺寸，所述中间局部语义特征图的通道数小于所述中间全局语义特征图的通道数；根据所述中间局部语义特征图和所述中间全局语义特征图确定第二融合特征图，包括：对所述中间局部语义特征图进行下采样处理，其中，下采样处理后的中间局部语义特征图的尺寸与所述中间全局语义特征图的尺寸相同；对所述下采样处理后的中间局部语义特征图进行升维处理，得到待融合的中间局部语义特征图，其中，所述待融合的中间局部语义特征图的通道数与所述中间全局语义特征图的通道数相同；将所述中间全局语义特征图与所述待融合的中间局部语义特征图进行融合处理，得到...

【专利技术属性】
技术研发人员：黄子龙，贲有成，俞刚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：