System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及人体姿态估计领域,具体为一种姿态估计方法、装置及设备。
技术介绍
1、人体姿态估计任务的目标是在输入图像中正确检测和定位人体的关键点,这是其他下游动作任务的基础。随着深度神经网络的发展,人体姿态估计在计算机视觉领域变得越来越重要。高分辨率的特征表示可以提供更高性能的人体姿态估计模型,但这通常需要更多的计算资源,这给在移动设备上应用模型带来了困难。
2、当前基于hrnet的先进姿态估计模型存在模型参数量大且计算成本高的问题,为了使模型轻量化,人们做出了很多尝试。然而,常见的方法主要集中在替换轻量化网络或消除不太重要的过滤器,而忽略了卷积层中冗余特征图的神经结构设计方面的研究,但这些隐秘的细节信息对于姿态估计任务是尤为重要的。
3、为了解决现有技术中存在的以上问题,我们提出一种姿态估计方法。
技术实现思路
1、本专利技术提供一种姿态估计方法、装置及设备,目的在于解决现有的人体姿态估计方法忽略了对输入图像的冗余特征的有效利用的问题。
2、为实现上述目的,本专利技术提供如下技术方案:
3、一种姿态估计方法,包括:
4、获取待识别姿态特征图;
5、利用预先训练的人体姿态估计网络模型对待识别姿态特征图进行分组姿态识别估计,得到常规特征图识别结果集和冗余特征图识别结果集;
6、基于常规特征图识别结果集和冗余特征图识别结果集进行融合处理,得到姿态估计结果。
7、优选的,人体姿态估计网络包括
8、两个3×3卷积组,用于调整所述待识别姿态特征图大小并提取浅层特征;
9、包含4个金字塔动态卷积单元的第一阶段,用于识别所述浅层特征并输出带有所述浅层特征的特征图;其中,每个所述金字塔动态卷积单元由一个podconv模块组成;
10、由一个高分辨率分支和一个低分辨率分支搭建的第二阶段,所述低分辨率分支用于依据所述浅层特征提取深层特征,所述高分辨率分支用于输出带有第二阶段深层特征的特征图;所述高分辨率分支和所述低分辨率分支分别包含4个gpblock模块;
11、由一个高分辨率分支分支和两个低分辨率分支搭建的第三阶段,两个所述低分辨率分支用于依据所述带有第二阶段深层特征的特征图提取第三阶段实物深层特征,所述高分辨率分支输出带有第三阶段深层特征的特征图;所述高分辨率分支和所述低分辨率分支各包含4个gpblock模块;
12、由一个高分辨率分支分支和三个低分辨率分支搭建的第四阶段,三个所述低分辨率分支用于依据所述带有第三阶段深层特征的特征图提取第四阶段的深层特征,所述高分辨率分支输出三个所述低分辨率分支融合后的所述姿态估计结果;所述高分辨率分支和所述低分辨率分支各包含4个gpblock模块;
13、一个1×1卷积层,用于对所述姿态估计结果进行热图操作。
14、优选的,依据待识别姿态特征图进行分组处理,得到常规特征图和冗余特征图;
15、利用预先训练的人体姿态估计网络模型对待识别姿态特征图进行分组姿态识别估计,得到常规特征图识别结果集和冗余特征图识别结果集,包括:
16、利用人体姿态估计网络模型中的gpblock模块中的gpconv层对1/α输入通道的待识别姿态特征图进行常规卷积操作,得到常规特征图识别结果集;
17、利用人体姿态估计网络模型中的gpblock模块中的gpconv层对(α-1)/α输入通道的待识别姿态特征图进行深度卷积操作,得到冗余特征图识别结果集。
18、优选的,利用gpblock模块中的gpconv层对(α-1)/α输入通道的待识别姿态特征图进行深度卷积操作,得到冗余特征图识别结果集,包括:
19、利用gpconv层将(α-1)/α输入通道的待识别姿态特征图均分为三组;
20、对每组内的待识别姿态特征图应用卷积核大小依次递增的滤波器滤波,得到冗余特征图识别结果集。
21、优选的,基于常规特征图识别结果集和冗余特征图集识别结果进行融合,得到姿态估计结果,包括:
22、利用gpblock模块中的gpconv层对常规特征图识别结果集和冗余特征图集在通道维度上进行拼接;
23、利用gpblock模块中的第一层逐点卷积层对常规特征图的结果集与冗余特征图的结果集进行融合得到姿态估计结果。
24、优选的,人体姿态估计网络模型的训练过程,包括:
25、步骤一、获取人体姿态估计数据集,包括训练集数据和测试集数据,并进行数据预处理;
26、步骤二、构建初始的人体姿态估计网络;
27、步骤三、使用步骤一中得到的训练集数据,对初始的人体姿态估计网络进行训练;
28、步骤四、使用步骤三训练得到的人体姿态估计网络模型在步骤一中得到的测试集数据上进行测试。
29、优选的,第三阶段中的三个分支重复四次融合,第四阶段中的四个分重复三次融合。
30、优选的,gpblock模块还包括第二层逐点卷积层和se注意力层。
31、一种姿态估计装置,包括:
32、特征图获取模块,用于获取待识别姿态特征图;
33、分组姿态估计模块,用于利用预先训练的人体姿态估计网络模型对待识别姿态特征图进行分组姿态识别估计,得到常规特征图识别结果集和冗余特征图识别结果集;
34、姿态估计结果生成模块,用于基于常规特征图识别结果集和冗余特征图识别结果集进行融合处理,得到姿态估计结果。
35、一种姿态识别设备,包括:存储器和处理器,存储器中存储有指令,存储器和处理器通过线路互连;处理器调用存储器中的指令。
36、与现有技术相比,本专利技术的有益效果是:
37、本专利技术提出了一种姿态估计方法,包括:获取待识别姿态特征图;利用预先训练的人体姿态估计网络模型对所述待识别姿态特征图进行分组姿态识别估计,得到常规特征图识别结果集和冗余特征图识别结果集;基于所述常规特征图识别结果集和所述冗余特征图识别结果集进行融合处理,得到姿态估计结果,其中利用轻量化的gpblock模块,旨在提高冗余特征的有效利用,从而协助网络学习到更难以捉摸的微妙信息。本专利技术将这一模块应用于基线模型,构建了人体姿态估计网络。gpblock模块中的gpconv层首先选择一部分特征图进行标准卷积操作,而将其余部分视为冗余特征图,并对其应用不同卷积核大小的卷积操作。这一处理方式不仅有助于获取隐含的细节信息,还能够获得多尺度特征信息,从而有助于整个网络更好地预测被遮挡的关键点所需的细粒度特征信息。
本文档来自技高网...【技术保护点】
1.一种姿态估计方法,其特征在于:包括
2.根据权利要求1所述的姿态估计方法,其特征在于,所述人体姿态估计网络包括:
3.根据权利要求2所述的姿态估计方法,其特征在于,还包括:依据所述待识别姿态特征图进行分组处理,得到常规特征图和冗余特征图;
4.根据权利要求3所述的姿态估计方法,其特征在于,所述利用所述GPblock模块中的GPConv层对(α-1)/α输入通道的所述待识别姿态特征图进行深度卷积操作,得到所述冗余特征图识别结果集,包括:
5.根据权利要求2所述的姿态估计方法,其特征在于,所述基于所述常规特征图识别结果集和所述冗余特征图集识别结果进行融合,得到姿态估计结果,包括:
6.根据权利要求1所述的姿态估计方法,其特征在于,所述人体姿态估计网络模型的训练过程,包括:
7.根据权利要求2所述的姿态估计方法,其特征在于:所述第三阶段中的三个分支重复四次融合,所述第四阶段中的四个分重复三次融合。
8.根据权利要求2所述的姿态估计方法,其特征在于:所述GPblock模块还包括第二层逐点卷积层和SE注
9.一种姿态估计装置,其特征在于,包括:
10.一种姿态识别设备,其特征在于,包括:存储器和处理器,所述存储器中存储有指令,所述存储器和所述处理器通过线路互连;所述处理器调用所述存储器中的所述指令,实现如权利要求1~8中任意一项所述姿态估计方法。
...【技术特征摘要】
1.一种姿态估计方法,其特征在于:包括
2.根据权利要求1所述的姿态估计方法,其特征在于,所述人体姿态估计网络包括:
3.根据权利要求2所述的姿态估计方法,其特征在于,还包括:依据所述待识别姿态特征图进行分组处理,得到常规特征图和冗余特征图;
4.根据权利要求3所述的姿态估计方法,其特征在于,所述利用所述gpblock模块中的gpconv层对(α-1)/α输入通道的所述待识别姿态特征图进行深度卷积操作,得到所述冗余特征图识别结果集,包括:
5.根据权利要求2所述的姿态估计方法,其特征在于,所述基于所述常规特征图识别结果集和所述冗余特征图集识别结果进行融合,得到姿态估计结果,包括:
【专利技术属性】
技术研发人员:张传雷,张丹丹,李建荣,石蕾,时公诚,可婷,范海峰,马辉,王辉,
申请(专利权)人:天津科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。