基于注意力机制的图像处理方法、装置及设备制造方法及图纸

本发明专利技术提供一种基于注意力机制的图像处理方法、装置及设备，方法通过获取待处理图像数据；输入所述待处理图像数据至图像处理模型，得到图像处理结果，所述图像处理模型是通过对注意力网络进行训练得到的，所述注意力网络是基于注意力模块构建的，所述注意力模块用于处理二维结构的图像数据，由于图像处理模型是基于能够直接处理二维图像结构的注意力网络训练得到，使得图像处理模型对待处理图像进行识别时，无需再将二维图像压缩为一维序列进行处理，从而能够增加对图像自身结构的识别，有效地提高图像处理的精度。有效地提高图像处理的精度。有效地提高图像处理的精度。

【技术实现步骤摘要】
基于注意力机制的图像处理方法、装置及设备


[0001]本专利技术涉及图像处理
，尤其涉及一种基于注意力机制的图像处理方法、装置及设备。

技术介绍

[0002]人类视觉系统可以自然高效地找到复杂场景中的重要的区域，受到这种现象的启发，注意力机制被引入到计算机视觉系统中。注意力机制已经在计算机视觉的各种任务(如：图像识别、目标检测、语义分割、动作识别、图像生成、三维视觉等)中取得了巨大的成功。
[0003]目前，视觉中的深度注意力网络通常是基于自注意力机制的，自注意力机制来源于自然语言处理，其首先用于机器翻译任务。由自注意力机制搭建成的深度神经网络被叫做Transformer，在视觉中，Transformer先将图像看成一维的序列，然后对图像序列通过堆叠的自注意力机制进行建模，并得到最终的处理结果。
[0004]由于图像具有自身的二维结构，而自注意力机制将图像看成一维结构进行处理，所以其忽略了图像的结构信息，导致图像处理的输出精度相对较低。

技术实现思路

[0005]本专利技术提供一种基于注意力机制的图像处理方法、装置及设备，用以解决现有技术中只能处理图像的一维结构的缺陷，实现通过对二维结构的处理，能够更准确地根据图像结构信息提高图像处理的精度。
[0006]本专利技术提供一种基于注意力机制的图像处理方法，包括：
[0007]获取待处理图像数据；
[0008]输入所述待处理图像数据至图像处理模型，得到图像处理结果，所述图像处理模型是通过对注意力网络进行训练得到的，所述注意力网络是基于注意力模块构建的，所述注意力模块用于处理二维结构的图像数据。
[0009]根据本专利技术提供的一种基于注意力机制的图像处理方法，所述注意力模块包括普通卷积层、分组卷积层、分组空洞卷积层和矩阵逐元素层。
[0010]根据本专利技术提供的一种基于注意力机制的图像处理方法，所述图像处理模型包括图像分类模型、图像分割模型或图像检测模型；
[0011]所述输入所述待处理图像数据至图像处理模型，得到图像处理结果，包括：
[0012]输入所述待处理图像数据至所述图像分类模型时，输出图像分类结果；或；
[0013]输入所述待处理图像数据至所述图像分割模型时，输出图像分割结果；或；
[0014]输入所述待处理图像数据至所述图像检测模型时，输出图像检测结果。
[0015]根据本专利技术提供的一种基于注意力机制的图像处理方法，所述获取待处理图像数据之前，还包括：
[0016]获取样本图像数据，并对每个样本图像数据标记标签，构建第一训练样本集；
[0017]基于所述第一训练样本集和注意力网络，得到图像分类模型。
[0018]根据本专利技术提供的一种基于注意力机制的图像处理方法，所述获取待处理图像数据之前，还包括：
[0019]获取样本图像数据，并对每个样本图像数据中的每个像素标记标签，构建第二训练样本集；
[0020]基于所述第二训练样本集和注意力网络，得到图像分割模型。
[0021]根据本专利技术提供的一种基于注意力机制的图像处理方法，所述获取待处理图像数据之前，还包括：
[0022]获取样本图像数据，并对每个样本图像数据中的每个物体检测框标记标签，构建第三训练样本集；
[0023]基于所述第三训练样本集和注意力网络，得到图像检测模型。
[0024]根据本专利技术提供的一种基于注意力机制的图像处理方法，所述输入所述待处理图像数据至所述图像处理模型之前，还包括：
[0025]基于反向传播算法，对所述图像处理模型进行优化。
[0026]根据本专利技术提供的一种基于注意力机制的图像处理方法，所述获取待处理图像数据之后，还包括：
[0027]通过神经网络组件对所述待处理图像数据进行特征提取，以利用提取后的特征输入图像处理模型进行图像处理，所述神经网络组件包括多层感知机、卷积层和归一化层中的至少一种。
[0028]本专利技术还提供一种基于注意力机制的图像处理装置，包括：
[0029]获取模块，用于获取待处理图像数据；
[0030]处理模块，用于输入所述待处理图像数据至图像处理模型，得到图像处理结果，所述图像处理模型是通过对注意力网络进行训练得到的，所述注意力网络是基于注意力模块构建的，所述注意力模块用于处理二维结构的图像数据。
[0031]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于注意力机制的图像处理方法的步骤。
[0032]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于注意力机制的图像处理方法的步骤。
[0033]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于注意力机制的图像处理方法的步骤。
[0034]本专利技术提供的一种基于注意力机制的图像处理方法、装置及设备，方法通过获取待处理图像数据；输入所述待处理图像数据至图像处理模型，得到图像处理结果，所述图像处理模型是通过对注意力网络进行训练得到的，所述注意力网络是基于注意力模块构建的，所述注意力模块用于处理二维结构的图像数据，由于图像处理模型是基于能够直接处理二维图像结构的注意力网络训练得到，使得图像处理模型对待处理图像进行识别时，无需再将二维图像压缩为一维序列进行处理，从而能够增加对图像自身结构的识别，有效地提高图像处理的精度。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术提供的基于注意力机制的图像处理方法的流程示意图；
[0037]图2是图1中的注意力模块的流程示意图；
[0038]图3是图1中的注意力模块的原理示意图；
[0039]图4是本专利技术提供的基于注意力机制的图像处理装置的结构示意图；
[0040]图5是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0041]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0042]下面结合图1
‑
图5描述本专利技术的一种基于注意力机制的图像处理方法、装置及设备。
[0043]图1是本专利技术提供的基于注意力机制的图像处理方法的流程示意图；图2是图1中的注意力模块的流程示意图；图3是图1中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的图像处理方法，其特征在于，包括：获取待处理图像数据；输入所述待处理图像数据至图像处理模型，得到图像处理结果，所述图像处理模型是通过对注意力网络进行训练得到的，所述注意力网络是基于注意力模块构建的，所述注意力模块用于处理二维结构的图像数据。2.根据权利要求1所述的基于注意力机制的图像处理方法，其特征在于，所述注意力模块包括普通卷积层、分组卷积层、分组空洞卷积层和矩阵逐元素层。3.根据权利要求1所述的基于注意力机制的图像处理方法，其特征在于，所述图像处理模型包括图像分类模型、图像分割模型或图像检测模型；所述输入所述待处理图像数据至图像处理模型，得到图像处理结果，包括：输入所述待处理图像数据至所述图像分类模型时，输出图像分类结果；或；输入所述待处理图像数据至所述图像分割模型时，输出图像分割结果；或；输入所述待处理图像数据至所述图像检测模型时，输出图像检测结果。4.根据权利要求3所述的基于注意力机制的图像处理方法，其特征在于，所述获取待处理图像数据之前，还包括：获取样本图像数据，并对每个样本图像数据标记标签，构建第一训练样本集；基于所述第一训练样本集和注意力网络，得到图像分类模型。5.根据权利要求3所述的基于注意力机制的图像处理方法，其特征在于，所述获取待处理图像数据之前，还包括：获取样本图像数据，并对每个样本图像数据中的每个像素标记标签，构建第二训练样本集；基于所述第二训练样本集和...

【专利技术属性】
技术研发人员：胡事民，国孟昊，刘政宁，
申请(专利权)人：清华大学，
类型：发明
国别省市：