一种基于多分辨率特征融合的目标关键点检测方法技术

本发明专利技术公开了一种基于多分辨率特征融合的目标关键点检测方法，分为三个部分：特征提取、多分辨率特征融合、分辨率调整。特征提取模块使用骨架网络ResNet网络提取图像特征；多分辨率特征融合模块对提取的特征图重复上下采样，将特征图进行融合。分辨率调整模块对融合模块得到的特征图与从低分辨率特征中上采样得到的特征图进行拼接。最后输出姿态热图估计结果。该方法将主干网络提取出的不同分辨率的特征，进行多次融合，构建了一种新的目标关键点检测方法，可对任何大小的图片，进行单目标关键点检测；本发明专利技术有效的融合了网络的深层特征和浅层特征，在精度、模型参数量和计算量方面体现出了较大的优越性。

【技术实现步骤摘要】
一种基于多分辨率特征融合的目标关键点检测方法
本专利技术属于计算机视觉、数字图像处理
，尤其涉及一种基于多分辨率特征融合的目标关键点检测方法。
技术介绍
目标关键点检测也称姿态估计。姿态估计早期应用在人体骨架检测，主要应用场景有：协助体育裁判评分、训练机器人形体动作、虚拟换衣等。同时，人体行为分析现在也是一大研究热点。越来越多的研究人员，不断地通过精准且连续的姿态估计来分析人体行为。其中，将人体姿态用图的方式来表示，并且通过图结构中包含的特征来提取更高语义层次的人体行为信息。也有很多研究者，将目标关键点检测用于动物数据集，进一步分析动物的行为。现有的目标关键点检测算法大都使用卷积神经网络。常见的模型，大多先使用主干网络对图像进行特征提取，为了减少模型的运算量，在提取特征的过程中不断地降低图像的分辨率，例如ResNet。在主干网络之后，再通过几步上采样将图像恢复到任务所需的分辨率。这类型的模型在很多应用中取得了较高的精度。后来，研究者意识到，在卷积神经网络模型中，网络浅层提取的特征包含较多的细节信息，网络深层提取的特征包含较多的语义本文档来自技高网...

【技术保护点】
1.一种基于多分辨率特征融合的目标关键点检测方法，其特征在于：分为特征提取、多分辨率特征融合、分辨率调整；特征提取使用骨架网络ResNet网络提取图像特征；多分辨率特征融合对提取的特征图重复上下采样，将分辨率为192×144、96×72、48×36的特征图进行融合；分辨率调整对融合模块得到的特征图与从低分辨率特征中上采样得到的特征图进行拼接；最后输出姿态热图估计结果；该方法将主干网络提取出的不同分辨率的特征，进行多次融合，构建了目标关键点检测方法，对任何大小的图片，进行单目标关键点检测。/n

【技术特征摘要】
1.一种基于多分辨率特征融合的目标关键点检测方法，其特征在于：分为特征提取、多分辨率特征融合、分辨率调整；特征提取使用骨架网络ResNet网络提取图像特征；多分辨率特征融合对提取的特征图重复上下采样，将分辨率为192×144、96×72、48×36的特征图进行融合；分辨率调整对融合模块得到的特征图与从低分辨率特征中上采样得到的特征图进行拼接；最后输出姿态热图估计结果；该方法将主干网络提取出的不同分辨率的特征，进行多次融合，构建了目标关键点检测方法，对任何大小的图片，进行单目标关键点检测。


2.根据权利要求1所述的一种基于多分辨率特征融合的目标关键点检测方法，其特征在于：包括以下步骤：
步骤1：输入已裁剪好的单目标图片到目标关键点检测模型中；
步骤2：将单目标图片的分辨率调整为当前网络设定的分辨率；
步骤3：对输入的单目标图片使用ResNet网络提取图像特征，分别得到分辨率为96×128,48×64,24×32,12×16,6×8的特征图，将这五个分辨率大小不同的特征图取名为:2×down,4×down,8×down,16×down，32×down；
步骤4：将ResNet特征提取网络提取的2×down,4×down,8×down,16×down四个特征图进行多分辨率特征融合；
步骤5：将多分辨率特征融合模块最终输出的特征图的分辨率大小调整为和4×down分辨率大小...

【专利技术属性】
技术研发人员：何宁，张聪聪，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11