关键点检测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种关键点检测方法及装置、电子设备和存储介质，所述方法包括：获得针对输入图像的多个尺度的第一特征图，各第一特征图的尺度成倍数关系；利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，其中，所述第二特征图与其一一对应的所述第一特征图的尺度相同；利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，其中，所述第三特征图与其一一对应的所述第二特征图的尺度相同；对各所述第三特征图进行特征融合处理，并利用特征融合处理后的特征图获得所述输入图像中的各关键点的位置。本公开能够精确的提取关键点的位置。

【技术实现步骤摘要】
关键点检测方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，特别涉及一种关键点检测方法及装置、电子设备和存储介质。
技术介绍
人体关键点检测是从人体图像上检测出关节或者五官等关键点的位置信息，从而通过这些关键点的位置信息来描述人体的姿态。因为人体在图像中有大有小，现有的技术通常可以采用神经网络来获取图像的多尺度特征，用来最终预测人体关键点的位置。但是我们发现使用这种方式，还不能完全地挖掘和利用多尺度特征，关键点的检测精度较低。
技术实现思路
本公开实施例提供了一种有效的提高关键点检测精度的关键点检测方法及装置、电子设备和存储介质。根据本公开的第一方面，提供了一种关键点检测方法，其包括：获得针对输入图像的多个尺度的第一特征图，各第一特征图的尺度成倍数关系；利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，其中，所述第二特征图与其一一对应的所述第一特征图的尺度相同；利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，其中，所述第三特征图与其一一对应的所述第二特征图的尺度相同；对各所述第三特征图进行特征融合处理，并利用特征融合处理后的特征图获得所述输入图像中的各关键点的位置。在一些可能的实施方式中，所述获得针对输入图像的多个尺度的第一特征图包括：将所述输入图像调整为预设规格的第一图像；将所述第一图像输入至残差神经网络，对第一图像执行不同采样频率的降采样处理得到多个不同尺度的第一特征图。在一些可能的实施方式中，所述正向处理包括第一卷积处理和第一线性插值处理，所述反向处理包括第二卷积处理和第二线性插值处理。在一些可能的实施方式中，所述利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，包括：利用第一卷积核对第一特征图C1...Cn中的第一特征图Cn进行卷积处理，获得与第一特征图Cn对应的第二特征图Fn，其中n表示第一特征图的数量，以及n为大于1的整数；对所述第二特征图Fn执行线性插值处理获得与第二特征图Fn对应的第一中间特征图F′n，其中第一中间特征图F′n的尺度与第一特征图Cn-1的尺度相同；利用第二卷积核对第一特征图Cn以外的各第一特征图C1...Cn-1进行卷积处理，得到分别与第一特征图C1...Cn-1一一对应的第二中间特征图C′1...C'n-1，其中所述第二中间特征图的尺度与和其一一对应的第一特征图的尺度相同；基于所述第二特征图Fn以及各所述第二中间特征图C'1...C'n-1，得到第二特征图F1...Fn-1以及第一中间特征图F′1...F′n-1，其中所述第二特征图Fi由所述第二中间特征图C′i与所述第一中间特征图F′i+1进行叠加处理得到，第一中间特征图F′i由对应的第二特征图Fi经线性插值得到，并且，所述第二中间特征图C′i与第一中间特征图F′i+1的尺度相同，其中，i为大于或者等于1且小于n的整数。在一些可能的实施方式中，利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，包括：利用第三卷积核对第二特征图F1...Fm中的第二特征图F1进行卷积处理，获得与第二特征图F1对应的第三特征图R1，其中m表示第二特征图的数量，以及m为大于1的整数；利用第四卷积核对第二特征图F2...Fm进行卷积处理，分别得到对应的第三中间特征图F″2...F″m，其中，第三中间特征图的尺度与对应的第二特征图的尺度相同；利用第五卷积核对第三特征图R1进行卷积处理得到与第三特征图R1对应的第四中间特征图R'1；利用各第三中间特征图F″2...F″m以及第四中间特征图R'1，得到第三特征图R2...Rm以及第四中间特征图R'2...R'm，其中，第三特征图Rj由第三中间特征图F″j与第四中间特征图R'j-1的叠加处理得到，第四中间特征图R'j-1由对应的第三特征图Rj-1通过第五卷积核卷积处理获得，其中j为大于1且小于或者等于m。在一些可能的实施方式中，所述对各所述第三特征图进行特征融合处理，并利用特征融合处理后的特征图获得所述输入图像中的各关键点的位置，包括：对各第三特征图进行特征融合处理，得到第四特征图：基于所述第四特征图获得所述输入图像中各关键点的位置。在一些可能的实施方式中，所述对各第三特征图进行特征融合处理，得到第四特征图，包括：利用线性插值的方式，将各第三特征图调整为尺度相同的特征图；对所述尺度相同的特征图进行连接得到所述第四特征图。在一些可能的实施方式中，在所述对各第三特征图进行特征融合处理，得到第四特征图之前，还包括：将第一组第三特征图分别输入至不同的瓶颈区块结构中进行卷积处理，分别得到更新后的第三特征图，各所述瓶颈区块结构中包括不同数量的卷积模块，其中，所述第三特征图包括第一组第三特征图和第二组第三特征图，所述第一组第三特征图和所述第二组第三特征图中均包括至少一个第三特征图。在一些可能的实施方式中，所述对各第三特征图进行特征融合处理，得到第四特征图，包括：利用线性插值的方式，将各所述更新后的第三特征图以及所述第二组第三特征图，调整为尺度相同的特征图；对所述尺度相同的特征图进行连接得到所述第四特征图。在一些可能的实施方式中，所述基于所述第四特征图获得所述输入图像中各关键点的位置，包括：利用第五卷积核对所述第四特征图进行降维处理；利用降维处理后的第四特征图确定输入图像的关键点的位置。在一些可能的实施方式中，所述基于所述第四特征图获得所述输入图像中各关键点的位置，包括：利用第五卷积核对所述第四特征图进行降维处理；利用卷积块注意力模块对降维处理后的第四特征图中的特征进行提纯处理，得到提纯后的特征图；利用提纯后的特征图确定所述输入图像的关键点的位置。在一些可能的实施方式中，所述方法还包括利用训练图像数据集训练所述第一金字塔神经网络，其包括：利用第一金字塔神经网络对所述训练图像数据集中各图像对应的第一特征图进行所述正向处理，得到所述训练图像数据集中各图像对应的第二特征图；利用各第二特征图确定识别的关键点；根据第一损失函数得到所述关键点的第一损失；利用所述第一损失反向调节所述第一金字塔神经网络中的各卷积核，直至训练次数达到设定的第一次数阈值。在一些可能的实施方式中，所述方法还包括利用训练图像数据集训练所述第二金字塔神经网络，其包括：利用第二金字塔神经网络对所述第一金字塔神经网络输出的关于训练图像数据集中各图像对应的第二特征图进行所述反向处理，得到所述训练图像数据集中各图像对应的第三特征图；利用各第三特征图确定识别的关键点；根据第二损失函数得到识别的各关键点的第二损失；利用所述第二损失反向调节所述第二金字塔神经网络中卷积核，直至训练次数达到设定的第二次数阈值；或者，利用所述第二损失反向调节所述第一金字塔网络中的卷积核以及第二金字塔神经网络中的卷积核，直至训练次数达到设定的第二次数阈值。在一些可能的实施方式中，通过特征提取网络执行所述对各所述第三特征图进行特征融合处理,并且，在通过特征提取网络执行所述对各所述第三特征图进行特征融合处理之前，所述方法还包括：利用训练图像数据集训练所述特征提取网络，其包括：利用特征本文档来自技高网...

【技术保护点】
1.一种关键点检测方法，其特征在于，包括：获得针对输入图像的多个尺度的第一特征图，各第一特征图的尺度成倍数关系；利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，其中，所述第二特征图与其一一对应的所述第一特征图的尺度相同；利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，其中，所述第三特征图与其一一对应的所述第二特征图的尺度相同；对各所述第三特征图进行特征融合处理，并利用特征融合处理后的特征图获得所述输入图像中的各关键点的位置。

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：获得针对输入图像的多个尺度的第一特征图，各第一特征图的尺度成倍数关系；利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，其中，所述第二特征图与其一一对应的所述第一特征图的尺度相同；利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，其中，所述第三特征图与其一一对应的所述第二特征图的尺度相同；对各所述第三特征图进行特征融合处理，并利用特征融合处理后的特征图获得所述输入图像中的各关键点的位置。2.根据权利要求1所述的方法，其特征在于，所述获得针对输入图像的多个尺度的第一特征图包括：将所述输入图像调整为预设规格的第一图像；将所述第一图像输入至残差神经网络，对第一图像执行不同采样频率的降采样处理得到多个不同尺度的第一特征图。3.根据权利要求1所述的方法，其特征在于，所述正向处理包括第一卷积处理和第一线性插值处理，所述反向处理包括第二卷积处理和第二线性插值处理。4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，包括：利用第一卷积核对第一特征图C1...Cn中的第一特征图Cn进行卷积处理，获得与第一特征图Cn对应的第二特征图Fn，其中n表示第一特征图的数量，以及n为大于1的整数；对所述第二特征图Fn执行线性插值处理获得与第二特征图Fn对应的第一中间特征图Fn'，其中第一中间特征图Fn'的尺度与第一特征图Cn-1的尺度相同；利用第二卷积核对第一特征图Cn以外的各第一特征图C1...Cn-1进行卷积处理，得到分别与第一特征图C1...Cn-1一一对应的第二中间特征图C'1...C'n-1，其中所述第二中间特征图的尺度与和其一一对应的第一特征图的尺度相同；基于所述第二特征图Fn以及各所述第二中间特征图C'1...C'n-1，得到第二特征图F1...Fn-1以及第一中间特征图F1'...Fn'-1，其中所述第二特征图Fi由所述第二中间特征图Ci'与所述第一中间特征图Fi'+1进行叠加处理得到，第一中间特征图Fi'由对应的第二特征图Fi经线性插值得到，并且，所述第二中间特征图Ci'与第一中间特征图Fi'+1的尺度相同，其中，i为大于或者等于1且小于n的整数。5.根据权利要求1-4中任意一项所述的方法，其特征在于，利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征...

【专利技术属性】
技术研发人员：杨昆霖，田茂清，伊帅，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11