System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 位姿识别模型的训练方法、装置、电子设备及存储介质制造方法及图纸_技高网

位姿识别模型的训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41301024 阅读:2 留言:0更新日期:2024-05-13 14:48
本申请涉及人工智能领域,提供了一种位姿识别模型的训练方法、装置、电子设备及存储介质,该方法包括:获取用于模型训练的位姿样本;将位姿样本作为位姿识别模型的输入;利用增强网络对位姿样本进行增强处理得到增强样本,并将位姿样本和增强样本输入至特征提取网络得到目标特征;利用第一预测网络对目标特征进行特征变换和损失计算得到第一位姿损失;利用第二预测网络对目标特征进行特征重构和损失计算,得到第二位姿损失和特征一致性损失;根据第一位姿损失、第二位姿损失和特征一致性损失对模型的参数进行反向更新,以便对位姿识别模型进行训练。本申请解决了现有技术无法从算法角度对遮挡样本特征进行约束的问题,提高了位姿识别的精度。

【技术实现步骤摘要】

本申请涉及人工智能领域,尤其涉及一种位姿识别模型的训练方法、装置、电子设备及存储介质


技术介绍

1、人体位姿估计任务是计算机视觉领域内一项重要的研究任务,其主要目标是在图像或视频中准确地定位和估算人体的各个关键点的位置,以实现对人体姿势和动作的准确识别和理解。

2、随着科技的不断发展,位姿估计算法已经取得了长足的进步。在常规场景下,即无遮挡的场景中,这些算法的识别精度越来越高,已经能够满足现实需求。然而,当人员密集存在大量遮挡时,这些算法在识别过程中可能会丢失部分关键点,从而导致估计的位姿出现错误。为了解决遮挡场景下的位姿估计问题,现有的算法往往从数据角度出发,通过数据增强来构建大量遮挡样本。这种方法虽然在一定程度上提高了算法的鲁棒性,但是并没有从算法角度出发来对这些遮挡样本特征进行约束。因此,在处理遮挡场景时,这些算法仍然存在着一定的局限性。


技术实现思路

1、有鉴于此,本申请实施例提供了一种位姿识别模型的训练方法、装置、电子设备及存储介质,以解决现有技术无法从算法角度对遮挡样本特征进行约束,导致识别效果不理想的问题。

2、本申请实施例的第一方面,提供了一种位姿识别模型的训练方法,包括:

3、获取用于模型训练的样本集,其中样本集中包含多个位姿样本;将位姿样本作为待训练的位姿识别模型的输入,其中位姿识别模型设有增强网络、特征提取网络、第一预测网络和第二预测网络;利用增强网络对位姿样本进行数据增强处理,得到增强样本,并将位姿样本和增强样本输入至特征提取网络,以使特征提取网络输出目标特征;利用第一预测网络对目标特征进行特征变换和损失计算,得到第一位姿损失;利用第二预测网络对目标特征进行特征重构和损失计算,得到第二位姿损失和特征一致性损失;根据第一位姿损失、第二位姿损失和特征一致性损失对模型的参数进行反向更新,以便对位姿识别模型进行训练。

4、本申请实施例的第二方面,提供了一种位姿识别模型的训练装置,包括:

5、样本模块,被配置为获取用于模型训练的样本集,样本集中包含多个位姿样本;输入模块,被配置为将位姿样本作为待训练的位姿识别模型的输入,其中位姿识别模型设有增强网络、特征提取网络、第一预测网络和第二预测网络;特征处理模块,被配置为利用增强网络对位姿样本进行数据增强处理,得到增强样本,并将位姿样本和增强样本输入至特征提取网络,以使特征提取网络输出目标特征;第一预测模块,被配置为利用第一预测网络对目标特征进行预测和损失计算,得到第一位姿损失;第二预测模块,被配置为利用第二预测网络对目标特征进行预测和损失计算,得到第二位姿损失和特征一致性损失;训练模块,被配置为根据第一位姿损失、第二位姿损失和特征一致性损失对模型的参数进行反向更新,以便对位姿识别模型进行训练。

6、本申请实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。

7、本申请实施例的第四方面,提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。

8、本申请实施例与现有技术相比存在的有益效果是:

9、通过获取用于模型训练的位姿样本,并将位姿样本作为待训练的位姿识别模型的输入;利用增强网络对位姿样本进行数据增强处理,得到增强样本,并将位姿样本和增强样本输入至特征提取网络,以使特征提取网络输出目标特征;利用第一预测网络对目标特征进行特征变换和损失计算,得到第一位姿损失;利用第二预测网络对目标特征进行特征重构和损失计算,得到第二位姿损失和特征一致性损失;根据第一位姿损失、第二位姿损失和特征一致性损失对模型的参数进行反向更新,以便对位姿识别模型进行训练,由于第一位姿损失和第二损失可以优化预测得到的关节位置,使其更加接近于真实标签的关节位置,并且特征一致性损失可以确保模型在处理遮挡人体图时,可以学习到与原始人体图相似的特征表示,使得模型可以从算法角度对遮挡样本特征进行约束,进而提高识别精度。

本文档来自技高网...

【技术保护点】

1.一种位姿识别模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述第一预测网络包括上采样层和第一卷积层,所述利用所述第一预测网络对所述目标特征进行特征变换和损失计算,得到第一位姿损失,包括:

3.根据权利要求2所述的方法,其特征在于,所述第二预测网络包括第二卷积层、函数层和特征重构模块,所述利用所述第二预测网络对所述目标特征进行特征重构和损失计算,得到第二位姿损失和特征一致性损失,包括:

4.根据权利要求3所述的方法,其特征在于,所述利用所述函数层的对所述第二变换特征进行计算,并基于计算得到的特征和所述第一变换特征,得到注意力增强特征,包括:

5.根据权利要求3所述的方法,其特征在于,所述特征重构模块包括第三卷积层、第一分支网络和第二分支网络,所述将所述注意力增强特征输入到所述特征重构模块,得到所述特征重构模块输出的所述第二位姿损失和所述特征一致性损失,包括:

6.根据权利要求5所述的方法,其特征在于,所述将所述第三变换特征输入至所述第一分支网络,得到所述第一分支网络输出的所述特征一致性损失,包括:

7.根据权利要求5所述的方法,其特征在于,所述将所述第三变换特征输入至所述第二分支网络,得到所述第二分支网络输出的所述第二位姿损失,包括:

8.一种位姿识别模型的训练装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种可读存储介质,所述可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种位姿识别模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述第一预测网络包括上采样层和第一卷积层,所述利用所述第一预测网络对所述目标特征进行特征变换和损失计算,得到第一位姿损失,包括:

3.根据权利要求2所述的方法,其特征在于,所述第二预测网络包括第二卷积层、函数层和特征重构模块,所述利用所述第二预测网络对所述目标特征进行特征重构和损失计算,得到第二位姿损失和特征一致性损失,包括:

4.根据权利要求3所述的方法,其特征在于,所述利用所述函数层的对所述第二变换特征进行计算,并基于计算得到的特征和所述第一变换特征,得到注意力增强特征,包括:

5.根据权利要求3所述的方法,其特征在于,所述特征重构模块包括第三卷积层、第一分支网络和第二分支网络,所述将所述注意力增强特征输入到所述特征重构模块,得到所...

【专利技术属性】
技术研发人员:蒋召周靖宇
申请(专利权)人:深圳须弥云图空间科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1