一种基于特征融合和沙漏网络的热图预测方法技术

本发明专利技术公开了一种基于特征融合和沙漏网络的热图预测方法，该方法中包括：基于空间注意力的热图融合模块、加强语义联系的多特征融合沙漏网络。主要步骤是：(1)选择公开图像数据集并进行预处理，预处理包括调整大小和特征扩张；(2)利用沙漏网络得到输入图像的预测热图和特征图；(3)利用热图融合模块引入空间注意力特性，提高预测热图的空间指导能力；(4)提出多特征聚合沙漏网络以融合后的热图和特征图作为输入，聚合不同层次的语义信息，输出更精确的预测热图。本发明专利技术能够更充分利用热图中的空间信息，统合不同层次特征间的关联，实现高精度的预测热图的获取。精度的预测热图的获取。精度的预测热图的获取。

【技术实现步骤摘要】
一种基于特征融合和沙漏网络的热图预测方法

：
[0001]本专利技术涉及深度学习与计算机视觉领域，具体涉及一种基于深度学习的热图预测方法。

技术介绍
：
[0002]在姿态估计领域，有两种主流的方法用以从抽象出的高维特征中获取关键点，一种是基于回归的方法，另一种就是基于检测的方法。基于回归的方法虽然简单直接，但精度会有些不足，所以，业界常用基于检测的方法。热图(heatmap)是基于检测的方法中最常用的一种，利用热图作为估计的目标会使得网络的损失变化更加柔和，更容易实现关键点的预测。因此，获得高精度的预测热图成为了姿态估计领域中的重点目标。
[0003]然而许多提高预测热图精度的方法，将目标放在设计效果更好的特征提取结构，再利用级联迭代地优化出更精准的预测热图，但这样做的方法目前来看代价太大，许多很优秀的特征提取结构被设计出来，再想在此基础上提高预测热图的精度愈发困难。而当前的许多方法都是简单的级联设计出的特征提取结构，没有能够挖掘中间过程产出的预测热图的空间信息，容易受到背景的干扰；其次，对于许多已被设计的特征提取结构，许多方法没有继续探索原有特征提取结构更多的可能性。

技术实现思路
：
[0004]专利技术目的：为了更好的利用中间过程的预测热图，降低背景干扰，提高热图估计的鲁棒性，本专利技术提出一种基于特征融合和沙漏网络的姿态关键点热图预测方法，该方法在级联的沙漏网络中引入空间注意力与多特征融合，能够获得更高精度的预测热图，并且能够减小背景的干扰，提高了方法的鲁棒性。
[0005]为解决上述问题，本专利技术采用以下技术方案：
[0006]一种基于特征融合和沙漏网络的热图预测方法，该方法包括如下步骤：
[0007]S1.选择公开图像数据集作为输入图像，再对输入图像进行预处理，利用最大池化和残差模块缩小输入图像的宽高并扩张通道特征，得到输入特征；
[0008]S2.根据步骤S1中得到的输入特征，使用沙漏网络和卷积层对输入特征进行特征提取，得到预测热图和特征图；
[0009]S3.利用热图融合模块拼接步骤S2中得到的预测热图与步骤S1中得到的输入特征，得到融合热图，将融合热图与步骤S1中得到的输入特征和步骤S2中得到的特征图相加到一起，作为S3的输出；
[0010]3.1：设计热图融合模块
[0011][0012]其中，f1是步骤S1得到的输入特征，f2是S2中经过沙漏网络提取的特征，w表示卷积核参数，*表示卷积操作，表示特征拼接。
[0013]S4.使用沙漏网络和卷积层对S3的输出进行特征提取，得到新的预测热图和新的
特征图，再利用热图融合模块拼接新的预测热图与步骤S1中得到的输入特征，得到新的融合热图，将新的融合热图与步骤S1中得到的输入特征和新的特征图相加到一起，作为S4的输出；
[0014]S5.将步骤S1中得到的输入特征和步骤S4中得到预测热图与特征图相加到一起，得到最终的预测热图；
[0015]5.1：设计多特征聚合模块
[0016]多特征聚合模块由多个卷积操作和一个拼接操作构成，多特征融合沙漏网络包含多个沙漏网络，多特征聚合模块聚合前一级沙漏网络的三个不同层次的特征(输入特征、特征图、热图)，作为下一级沙漏网络的输入，计算公式为：
[0017][0018]其中，f
in
、f
fm
、f
hm
是输入特征、特征图与热图，表示特征拼接，R表示残差模块。
[0019]5.2：设计热图聚合模块
[0020]热图聚合模块，热图聚合模块用以平衡多特征融合沙漏网络内的多个沙漏网络的预测倾向，聚合不同的预测热图得到平均的预测热图；公式如下：
[0021][0022]其中，ρ
t
表示多特征聚合网络里不同的中间预测热图，ρ
fusion
是输出的最终热图。
[0023]S6.设置损失函数并训练网络得到映射模型。
[0024]有益效果：
[0025]本专利技术针对已有的基于堆叠式沙漏网络的热图预测网络中存在没有充分利用中间预测热图的空间尺度信息，受背景干扰严重以及没有完全挖掘不同级特征提取单元之间的上下文语义关系的问题，提出了基于特征融合和沙漏网络的人手热图预测方法。本专利技术结合空间注意力和多阶段特征提取的思想，利用不同阶段的特征提取网络估计的热图不断修正网络的原始输入，加强图像空间和特征空间之间的关联，实现不同阶段特征的空间注意力特征的融合。递进式沙漏网络的热图融合模块，增强了特征上下文语义信息的联系，提高了特征表达能力。本专利技术又设计了多特征聚合网络，通过输入聚合、特征聚合以及预测聚合来统合局部与全局信息的关联、加强高级语义信息的联系、提高预测结果的稳定性，最终实现高精度的热图预测。
附图说明
[0026]图1是专利技术的整个系统的框架示意图。
[0027]图2是热图融合模块作用示意图。
[0028]图3是多特征聚合网络示意图。
具体实施方式
[0029]下面结合附图和具体实施例，进一步阐明本专利技术。在Linux操作系统下选用Pytorch作为网络实现的深度学习框架。硬件环境为Nvidia RTX3070以及Intel(R)i5
‑
10600KF CPU。深度学习框架以及硬件环境仅是为了实现并测试提出的方法，证实本专利提
出的超分辨率重建方法的有效性。应理解这些实例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0030]一种基于特征融合和沙漏网络的热图预测方法，系统框架图如图1所示。
[0031]具体包括以下步骤：
[0032]步骤1：选用公开数据集Human3.6M、MPII Human Pose作为训练数据集。将图像数据集中的图像经过预处理后作为输入图像，利用卷积操作和最大池化操作对输入图像进行下采样与特征扩充，此时得到的输入特征的宽高为64
×
64，特征通道从3变为256，；
[0033]步骤2：将步骤1处理后的图像输入图2所示的虚线框H1中，H1由沙漏网络、卷积层、残差模块、通道拼接等操作构成，输入特征先通过沙漏网络得到中间特征，再利用两个卷积操作分别得到特征图与热图，对得到的热图与步骤1得到的输入特征做拼接操作，将拼接后的特征输入卷积层，得到的融合热图，最后得到的融合热图与输入特征和特征图相加到一起，将其作为H1的输出；
[0034]步骤3：与步骤2类似，将步骤2得到的输出作为图2所示的虚线框H2的输入，H2与H1结构相同，得到相加后的特征；
[0035]步骤4：设计多特征聚合网络，将步骤3得到的连接特征作为多特征聚合网络(即图1中的H3)的输入，多特征聚合网络的结构如图3所示；
[0036]4.1：多特征聚合模块
[0037]选用公开发表的沙漏网络作为特征提取单元，多特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合和沙漏网络的热图预测方法，包括以下步骤：S1.选择公开图像数据集作为输入图像，再对输入图像进行预处理，利用最大池化和残差模块缩小输入图像的宽高并扩张通道特征，得到输入特征；S2.根据步骤S1中得到的输入特征，使用沙漏网络和卷积层对输入特征进行特征提取，得到预测热图和特征图；S3.利用热图融合模块拼接步骤S2中得到的预测热图与步骤S1中得到的输入特征，得到融合热图，将融合热图与步骤S1中得到的输入特征和步骤S2中得到的特征图相加到一起，作为S3的输出；S4.使用沙漏网络和卷积层对S3的输出进行特征提取，得到新的预测热图和新的特征图，再利用热图融合模块拼接新的预测热图与步骤S1中得到的输入特征，得到新的融合热图，将新的融合热图与步骤S1中得到的输入特征和新的特征图连接到一起，作为S4的输出；S5.将步骤S1中得到的输入特征和步骤S4中得到预测热图与特征图相加到一起，输入多特征聚合沙漏网络，得到最终的预测热图；S6.设置损失函数并训练网络得到映射模型。2.根据权利要求1所述的基于特征融合和沙漏网络的热图预测方法，其特征在于，所述步骤S3具体...

【专利技术属性】
技术研发人员：达飞鹏，张开宜，
申请(专利权)人：东南大学，
类型：发明
国别省市：