一种基于注意力机制的特征提取方法、装置及电子设备制造方法及图纸

本公开涉及基于注意力机制的特征提取方法、装置和电子设备。方法包括：获取多个不同尺度的特征图，包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；对第一特征图增加注意力；对至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，至少一个第三特征图与第一特征图的尺度相同；基于增加注意力的第一特征图和至少一个第三特征图，确定输出特征图。可见，通过对第一特征图增加注意力，并与其他不同尺度的第二特征图合并，确定输出特征图，使得通过反向传播进行注意力权重参数更新的过程中，可以针对不同的应用场景，通过损失函数约束注意力向应用场景所关心的信息靠近，提升输出特征图在应用场景下使用的准确性。

【技术实现步骤摘要】
一种基于注意力机制的特征提取方法、装置及电子设备
本公开实施例涉及图像处理
，具体涉及一种基于注意力机制的特征提取方法、装置、电子设备和非暂态计算机可读存储介质。
技术介绍
随着机器学习的发展，不同类型神经网络可用于图像处理
，例如，特征提取网络提取图像中的特征，进而基于特征可对图像进行识别，当图像的应用场景不同，提取的特征的后续处理也不同。因此，亟需提供一种特征提取方案，以提高图像识别在不同应用场景下的准确性。
技术实现思路
为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种基于注意力机制的特征提取方法、装置、电子设备和非暂态计算机可读存储介质。第一方面，本公开实施例提出一种基于注意力机制的特征提取方法，所述方法包括：获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；对所述第一特征图增加注意力；对未增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；基于所述增加注意力的第一特征图和所述至少一个第三特征图，确定输出特征图。第二方面，本公开实施例提出一种基于注意力机制的特征提取方法，所述方法包括：获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；对所述至少一个其他尺度的第二特征图增加注意力；>对增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；基于所述第一特征图和所述至少一个第三特征图，确定输出特征图。第三方面，本公开实施例提供一种基于注意力机制的特征提取装置，所述装置包括：获取模块，用于获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；第一注意力模块，用于对所述第一特征图增加注意力；处理模块，用于对未增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；输出模块，用于基于所述增加注意力的第一特征图和所述至少一个第三特征图，确定输出特征图。第四方面，本公开实施例提供一种基于注意力机制的特征提取装置，所述装置包括：获取模块，用于获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；第二注意力模块，用于对所述至少一个其他尺度的第二特征图增加注意力；处理模块，用于对增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；输出模块，用于基于所述第一特征图和所述至少一个第三特征图，确定输出特征图。第五方面，本公开实施例提供一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面或第二方面所述方法的步骤。第六方面，本公开实施例提供一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面或第二方面所述方法的步骤。可见，本公开的至少一个实施例中，通过对第一特征图增加注意力，并与其他不同尺度的第二特征图合并，确定输出特征图，使得通过反向传播进行注意力权重参数更新的过程中，可以针对不同的应用场景，通过损失函数约束注意力向应用场景所关心的信息靠近，提升输出特征图在应用场景下使用的准确性。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1是本公开实施例提供的一种基于注意力机制的特征提取方法的示例性流程图；图2是本公开实施例提供的一种第一注意力模块的示例性框图；图3是本公开实施例提供的另一种基于注意力机制的特征提取方法的示例性流程图；图4是本公开实施例提供的又一种基于注意力机制的特征提取方法的示例性流程图；图5是本公开实施例提供的一种第二注意力模块的示例性框图；图6是本公开实施例提供的又一种基于注意力机制的特征提取方法的示例性流程图；图7是本公开实施例提供的一种HRNet的结构框图；图8是本公开实施例提供的一种基于注意力机制的特征提取装置的示例性框图；图9是本公开实施例提供的另一种基于注意力机制的特征提取装置的示例性框图；图10是本公开实施例提供的一种电子设备的示例性框图。具体实施方式为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。随着机器学习的发展，不同类型神经网络可用于图像处理
，例如，特征提取网络提取图像中的特征，进而基于特征可对图像进行识别，当图像的应用场景不同，提取的特征的后续处理也不同。应用场景例如，图像中人体骨骼关键点的检测，以识别图像中人体的姿态；应用场景又例如，图像中目标检测，以识别图像中的目标类别和目标位置。以图像中人体骨骼关键点检测的场景为例，人体骨骼关键点包括：眼部、耳部、嘴部、肩部、手肘、手腕、腰部、膝盖、脚踝，共17处关键点。关键点检测包括两个步骤，首先对图片中的人体目标进行识别定位，然后将识别出的人体目标分别单独提取出来，检测人体目标的可见关键点位置。由于人体骨骼关键点可以描述人体姿态，因此关键点检测有广泛的应用前景：1.行为识别，预测人体行为；2.动作分类，异常行为检测；3.自动驾驶/无人驾驶，预测行人运动行为与运动轨迹，提前做出预判；4.步态识别与人物跟踪，因为不同个体的步态有其独特的特点。关键点检测主要需要实现两个功能，其一是对图像中的人体目标进行检测，这个功能已经在目标检测领域中有了非常深入的研究；其二是对人体目标进行骨骼关键点的提取。目前关键点检测方案存在的主要问题有：1.人物存在遮挡关系时，难以正确检测关键点所属的人物；2.关键点位置不够精确，与真值相比存在偏移。因此，亟需提供一种特征提取方案，以提高图像识别在不同应用场景下的准确性，例如，关键点检测的准确性。图本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的特征提取方法，其特征在于，所述方法包括：/n获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；/n对所述第一特征图增加注意力；/n对未增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；/n基于所述增加注意力的第一特征图和所述至少一个第三特征图，确定输出特征图。/n

【技术特征摘要】
1.一种基于注意力机制的特征提取方法，其特征在于，所述方法包括：
获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；
对所述第一特征图增加注意力；
对未增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；
基于所述增加注意力的第一特征图和所述至少一个第三特征图，确定输出特征图。


2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图增加注意力包括：
将所述第一特征图和每个所述第二特征图分别进行卷积操作；
对每个所述第二特征图进行卷积操作后得到的特征图，进行上采样；
将所述第一特征图进行卷积操作后得到的特征图与所述上采样得到的特征图进行相加操作；
对所述相加操作得到的特征图依次进行线性整流操作、卷积操作和激活操作，得到所述第一特征图的第一注意力权重；
将所述第一注意力权重与所述第一特征图进行乘积操作，实现对所述第一特征图增加注意力。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述输出特征图替换所述第一特征图。


4.根据权利要求1所述的方法，其特征在于，所述同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图均来源于HRNet。


5.一种基于注意力机制的特征提取方法，其特征在于，所述方法包括：
获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；
对所述至少一个其他尺度的第二特征图增加注意力；
对增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；
基于所述第一特征图和所述至少一个第三特征图，确定输出特征图。


6.根据权利要求5所述的方法，其特征在于，所述对所述至少一个其他尺度的第二特征图增加注意力包括：
针对每个所述第二特征图：
将所述第一特征图和所述第二特征图分别进行卷积操作；
将所述第一特征图进行卷积操作后得到的特征图，进行下采样；
将...

【专利技术属性】
技术研发人员：任豪，王紫颐，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32