一种图像特征提取方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种图像特征提取方法、装置、电子设备及存储介质，包括：将待处理图像进行矩阵变换处理，得到待处理图像的特征图；将每个特征图划分为多个窗口；将多个窗口输入至第一特征提取层进行处理，得到第一特征提取层对应的特征块，第一自注意力模块用于分别对每个窗口内的像素点进行第一自注意力操作，第二自注意力模块用于对多个窗口之间进行第二自注意力操作；将得到的特征块输入至下一层特征提取层进行处理，直至最后一层特征提取层得到待处理图像的特征提取结果。这样，第一计算结果可以体现每个窗口内像素点之间的局部注意力特征，第二计算结果可以体现各个窗口之间的全局注意力特征，较少的训练数据就可以得到满足精度需求的模型。精度需求的模型。精度需求的模型。

【技术实现步骤摘要】
一种图像特征提取方法、装置、电子设备及存储介质


[0001]本公开涉及图像处理领域，尤其涉及一种图像特征提取方法、装置、电子设备及存储介质。

技术介绍

[0002]图像特征提取问题是计算机视觉领域最为基础的问题，是指通过对输入图像的分析和学习，提取出输入图像的特征信息，进而根据特征信息对输入图像进行分类的过程。在图像特征提取过程中，对输入图像的特征提取十分重要，一个高效的图像特征提取网络能够使下游的图像特征提取效率得到有效提升。
[0003]现有技术中，可以采用Transformer模型提取输入图像的特征信息，Transformer模型是一种采用Encoder(编码器)
‑
Decoder(解码器)框架的深度学习模型，其中，Encoder包括Self
‑
Attention(自注意力模块)和Feed Forward Neural Network(前馈神经网络)两层网络结构，Decoder包括Self
‑
Attention、Encoder
‑
Decoder Attention(编解码注意力模型)和Feed ForwardNeural Network三层网络结构。
[0004]但是，Transformer模型的训练需要依赖大量的训练数据，不断对模型参数进行迭代调整，才能够实现高精度的特征提取，这将导致Transformer模型训练过程中的计算量较大，计算效率较低，换句话说，在训练数据的数据量相当的情况下，Transformer模型的计算精度难以得到保障。

技术实现思路

[0005]本公开提供一种图像特征提取方法、装置、电子设备及存储介质，以至少解决相关技术中图像特征提取过程计算量较大，计算效率较低，计算精度难以得到保障，越来越难以满足图像特征提取的需求的问题。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种图像特征提取方法，包括：
[0007]获取待处理图像；
[0008]将所述待处理图像进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图，每个特征图中具有相同数量的像素点；
[0009]按照预设窗口尺寸，将每个特征图划分为多个窗口；
[0010]将所述多个窗口输入至第一特征提取层进行处理，得到所述第一特征提取层对应的特征块，其中，所述第一特征提取层包括第一自注意力模块及第二自注意力模块，所述第一自注意力模块用于分别对每个窗口内的像素点进行第一自注意力操作，所述第二自注意力模块用于对所述多个窗口之间进行第二自注意力操作；
[0011]将得到的特征块输入至下一层特征提取层进行处理，得到所述下一层特征提取层对应的特征块，返回所述将得到的特征块输入至下一层特征提取层进行处理的步骤，直至将得到的特征块输入至最后一层特征提取层进行处理，得到所述待处理图像的特征提取结果。
[0012]可选的，所述将所述待处理图像进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图，包括：
[0013]调整所述待处理图像的尺寸，得到中间图像；
[0014]对所述中间图像输入至卷积映射层进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图。
[0015]可选的，所述第一特征提取层对应的特征块中包括第一计算结果，所述第一自注意力模块采用如下步骤，分别对每个窗口内的像素点进行第一自注意力操作，得到每个窗口对应的第一计算结果：
[0016]针对每个窗口，将所述窗口内的像素点输入至所述第一自注意力模块进行相关性分析，得到每个像素点在所属窗口内的权重，作为每个窗口对应的第一计算结果。
[0017]可选的，所述第一特征提取层对应的特征块中包括第二计算结果，所述第二自注意力模块采用如下步骤，对所述多个窗口之间进行第二自注意力操作，得到第二计算结果：
[0018]对每个窗口内的全部像素点进行上采样，得到每个窗口对应的采样点；
[0019]将每个窗口对应的采样点输入至所述第二自注意力模块进行相关性分析，得到每个采样点所属窗口在所述多个窗口内的权重，作为所述第二计算结果。
[0020]可选的，所述将得到的特征块输入至下一层特征提取层进行处理，得到所述下一层特征提取层对应的特征块，包括：
[0021]对得到的特征块进行重组，得到重组特征块，所述特征块的尺寸为所述重组特征块的N倍，所述重组特征块的通道数为所述特征块的N倍，所述N为大于1的整数；
[0022]将所述重组特征块输入至多层感知器进行映射处理，得到映射特征块；
[0023]将所述映射特征块输入至下一层特征提取层进行处理，得到所述下一层特征提取层对应的特征块。
[0024]可选的，每个特征提取层包括多个第一自注意力模块及多个第二自注意力模块，所述将所述多个窗口输入至第一特征提取层进行处理，得到所述第一特征提取层对应的特征块，包括：
[0025]将所述多个窗口依次输入至第一特征提取层中的多个第一自注意力模块，对每个窗口内的像素点进行第一自注意力操作，得到每个第一自注意力模块对应的第一处理结果；
[0026]将所述多个窗口依次输入至所述第一特征提取层中的多个第二自注意力模块分别对所述多个窗口之间进行第二自注意力操作，得到每个第二自注意力模块对应的第二处理结果；
[0027]将得到的第一处理结果及得到的第二处理结果作为所述第一特征提取层对应的特征块。
[0028]根据本公开实施例的第二方面，提供一种图像特征提取装置，包括：
[0029]获取单元，被配置为执行获取待处理图像；
[0030]变换单元，被配置为执行将所述待处理图像进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图，每个特征图中具有相同数量的像素点；
[0031]划分单元，被配置为执行按照预设窗口尺寸，将每个特征图划分为多个窗口；
[0032]提取单元，被配置为执行将所述多个窗口输入至第一特征提取层进行处理，得到
所述第一特征提取层对应的特征块，其中，所述第一特征提取层包括第一自注意力模块及第二自注意力模块，所述第一自注意力模块用于分别对每个窗口内的像素点进行第一自注意力操作，所述第二自注意力模块用于对所述多个窗口之间进行第二自注意力操作；
[0033]处理单元，被配置为执行将得到的特征块输入至下一层特征提取层进行处理，得到所述下一层特征提取层对应的特征块，返回所述将得到的特征块输入至下一层特征提取层进行处理的步骤，直至将得到的特征块输入至最后一层特征提取层进行处理，得到所述待处理图像的特征提取结果。
[0034]可选的，所述变换单元，被配置为执行：
[0035]调整所述待处理图像的尺寸，得到中间图像；
[0036]对所述中间图像输入至卷积映射层进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图。
[0037]可选的，所述第一特征提取层对应的特征块中包括第一计算结果，所述提取单元，被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征提取方法，其特征在于，包括：获取待处理图像；将所述待处理图像进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图，每个特征图中具有相同数量的像素点；按照预设窗口尺寸，将每个特征图划分为多个窗口；将所述多个窗口输入至第一特征提取层进行处理，得到所述第一特征提取层对应的特征块，其中，所述第一特征提取层包括第一自注意力模块及第二自注意力模块，所述第一自注意力模块用于分别对每个窗口内的像素点进行第一自注意力操作，所述第二自注意力模块用于对所述多个窗口之间进行第二自注意力操作；将得到的特征块输入至下一层特征提取层进行处理，得到所述下一层特征提取层对应的特征块，返回所述将得到的特征块输入至下一层特征提取层进行处理的步骤，直至将得到的特征块输入至最后一层特征提取层进行处理，得到所述待处理图像的特征提取结果。2.根据权利要求1所述的图像特征提取方法，其特征在于，所述将所述待处理图像进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图，包括：调整所述待处理图像的尺寸，得到中间图像；对所述中间图像输入至卷积映射层进行矩阵变换处理，得到所述待处理图像对应的预设数量的特征图。3.根据权利要求1所述的图像特征提取方法，其特征在于，所述第一特征提取层对应的特征块中包括第一计算结果，所述第一自注意力模块采用如下步骤，分别对每个窗口内的像素点进行第一自注意力操作：针对每个窗口，将所述窗口内的像素点输入至所述第一自注意力模块进行相关性分析，得到每个像素点在所属窗口内的权重，作为每个窗口对应的第一计算结果。4.根据权利要求1所述的图像特征提取方法，其特征在于，所述第一特征提取层对应的特征块中包括第二计算结果，所述第二自注意力模块采用如下步骤，对所述多个窗口之间进行第二自注意力操作：对每个窗口内的全部像素点进行上采样，得到每个窗口对应的采样点；将每个窗口对应的采样点输入至所述第二自注意力模块进行相关性分析，得到每个采样点所属窗口在所述多个窗口内的权重，作为所述第二计算结果。5.根据权利要求1所述的图像特征提取方法，其特征在于，所述将得到的特征块输入至下一层特征提取层进行处理，得到所述下一层特征提取层对应的特征块，包括：对得到的特征块进行重组，得到重组特征块，所述特征块的尺寸为所述重组特征块的N倍，所述重组特征块的通道数为所述特征块的N倍，所述N为大于1的整数；将所述重组特征块输入至多层感知器进行映射处理，得到映射特征块；将所...

【专利技术属性】
技术研发人员：程星，吴翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：