姿态识别、姿态识别模型的训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种姿态识别、姿态识别模型的训练方法、装置、设备及介质。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。该方法包括：获取目标对象的第一图像；基于第一图像获取第一关键点的图像位置信息，图像位置信息用于指示第一关键点在第一图像中所处的位置，第一关键点为描述目标对象的二维姿态所利用的关键点；对图像位置信息进行特征提取，得到第一图像的姿态表征特征；基于第一图像的姿态表征特征识别目标对象的三维姿态，得到目标三维姿态参数。此种方式，识别目标对象的三维姿态所依据的是姿态表征特征，流程较为简单，有利于节省计算量，进而提高姿态识别的效率。识别的效率。识别的效率。

【技术实现步骤摘要】
姿态识别、姿态识别模型的训练方法、装置、设备及介质


[0001]本申请实施例涉及计算机
，特别涉及一种姿态识别、姿态识别模型的训练、方法、装置、设备及介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的应用场景需要对目标对象的三维姿态进行识别，以得到用于指示目标对象的三维姿态的三维姿态参数。
[0003]相关技术的姿态识别方法包括：确定第一关键点在目标对象的图像中所处的位置，预测第一关键点的深度，根据第一关键点在图像中所处的位置以及深度，确定第一关键点在三维空间中所处的位置，基于第一关键点在三维空间中所处的位置识别目标对象的三维姿态，得到三维姿态参数。
[0004]上述姿态识别方法的流程较为复杂，所需的计算量较大，导致姿态识别的效率较低。

技术实现思路

[0005]本申请实施例提供了一种姿态识别、姿态识别模型的训练方法、装置、设备及介质，可用于提高姿态识别的效率。所述技术方案如下：
[0006]一方面，本申请实施例提供了一种姿态识别方法，所述方法包括：
[0007]获取目标对象的第一图像；
[0008]基于所述第一图像获取第一关键点的图像位置信息，所述图像位置信息用于指示第一关键点在所述第一图像中所处的位置，所述第一关键点为描述所述目标对象的二维姿态所利用的关键点；
[0009]对所述图像位置信息进行特征提取，得到所述第一图像的姿态表征特征；
[0010]基于所述第一图像的姿态表征特征识别所述目标对象的三维姿态，得到目标三维姿态参数。
[0011]还提供了一种姿态识别模型的训练方法，所述方法包括：
[0012]获取样本对象的样本图像以及所述样本图像对应的标准三维姿态参数；
[0013]基于所述样本图像获取第一样本关键点的样本图像位置信息，所述样本图像位置信息用于指示所述第一样本关键点在所述样本图像中所处的位置，所述第一样本关键点为描述所述样本对象的二维姿态所利用的关键点；
[0014]调用初始姿态识别模型对所述样本图像位置信息进行特征提取，得到样本姿态表征特征，基于所述样本姿态表征特征识别所述样本对象的三维姿态，得到样本三维姿态参数；
[0015]基于所述标准三维姿态参数和所述样本三维姿态参数，获取目标损失；
[0016]利用所述目标损失更新所述初始姿态识别模型的模型参数，得到目标姿态识别模型。
[0017]另一方面，提供了一种姿态识别装置，所述装置包括：
[0018]第一获取单元，用于获取目标对象的第一图像；基于所述第一图像获取第一关键点的图像位置信息，所述图像位置信息用于指示第一关键点在所述第一图像中所处的位置，所述第一关键点为描述所述目标对象的二维姿态所利用的关键点；
[0019]第一特征提取单元，用于对所述图像位置信息进行特征提取，得到所述第一图像的姿态表征特征；
[0020]第一识别单元，用于基于所述第一图像的姿态表征特征识别所述目标对象的三维姿态，得到目标三维姿态参数。
[0021]在一种可能实现方式中，所述目标对象的第一图像为所述目标对象的视频中位于所述目标对象的第二图像后一帧的图像；所述第一特征提取单元，用于对所述图像位置信息进行编码，得到所述第一图像的第一编码特征；将所述第一图像的第一编码特征与所述第二图像的融合特征进行融合，得到所述第一图像的融合特征；对所述第一图像的融合特征进行编码，得到所述第一图像的第二编码特征；将所述第一图像的第二编码特征与所述第二图像的姿态表征特征进行融合，得到所述第一图像的姿态表征特征。
[0022]在一种可能实现方式中，所述装置还包括：
[0023]预测单元，用于基于所述第一图像的姿态表征特征预测得到目标投影参数；
[0024]确定单元，用于基于所述目标三维姿态参数，确定第二关键点在三维空间中所处的位置，所述第二关键点为描述所述目标对象的三维姿态所利用的关键点；基于所述目标投影参数将第二关键点在所述三维空间中所处的位置投影到所述第一图像中，得到所述第二关键点的目标投影位置信息；
[0025]第一获取单元，还用于基于所述目标投影位置信息获取所述第一图像对应的特效图像。
[0026]在一种可能实现方式中，第一获取单元，用于从所述目标投影位置信息中提取第三关键点的投影位置信息，从所述图像位置信息中提取所述第三关键点的图像位置信息，基于所述第三关键点的投影位置信息和所述第三关键点的图像位置信息，确定第一校正损失；利用所述第一校正损失更新所述目标投影参数，得到第一投影参数；基于所述第一投影参数对所述目标三维姿态参数进行校正，得到校正后的三维姿态参数；基于所述校正后的三维姿态参数对所述第一投影参数进行校正，得到校正后的投影参数；基于所述校正后的三维姿态参数和所述校正后的投影参数获取所述第一图像对应的特效图像。
[0027]在一种可能实现方式中，所述第一获取单元，用于基于所述第一投影参数将所述第二关键点在所述三维空间中所处的位置投影到所述第一图像中，得到所述第二关键点的第一投影位置信息；从所述第一投影位置信息中提取第四关键点的投影位置信息，从所述图像位置信息中提取所述第四关键点的图像位置信息，基于所述第四关键点的投影位置信息和所述第四关键点的图像位置信息，确定第二校正损失，利用所述第二校正损失更新所述目标三维姿态参数，得到所述校正后的三维姿态参数。
[0028]在一种可能实现方式中，所述第一获取单元，用于基于所述校正后的三维姿态信息，确定所述第二关键点在所述三维空间中所处的校正后的位置；基于所述第一投影参数将所述第二关键点在所述三维空间中所处的校正后的位置投影到所述第一图像中，得到所述第二关键点的第二投影位置信息；从所述第二投影位置信息中提取第五关键点的投影位
置信息，从所述图像位置信息中提取所述第五关键点的图像位置信息，基于所述第五关键点的投影位置信息和所述第五关键点的图像位置信息，确定第三校正损失，利用所述第三校正损失更新所述第一投影参数，得到所述校正后的投影参数。
[0029]在一种可能实现方式中，所述第一获取单元，用于基于所述校正后的三维姿态参数，确定与所述目标对象匹配的目标三维特效模型；基于所述校正后的投影参数将所述目标三维特效模型投影到所述第一图像中，得到所述第一图像对应的特效图像。
[0030]在一种可能实现方式中，所述第一获取单元，用于对所述第一图像中位于对象检测框内的图像进行裁剪，基于剪裁得到的图像获取待检测图像；对所述待检测图像进行关键点检测，得到所述第一关键点的参考位置信息，所述参考位置信息用于指示所述第一关键点在所述待检测图像中所处的位置；基于所述待检测图像与所述第一图像之间的位置转换关系，将所述参考位置信息转换成所述图像位置信息。
[0031]在一种可能实现方式中，所述确定单元，还用于响应于所述第一图像满足对象检测条件，检测所述目标对象在所述第一图像中所处的区域，基于所述区域确定所述对象检测框；响应于所述第一图像不满足所述对象检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态识别方法，其特征在于，所述方法包括：获取目标对象的第一图像；基于所述第一图像获取第一关键点的图像位置信息，所述图像位置信息用于指示第一关键点在所述第一图像中所处的位置，所述第一关键点为描述所述目标对象的二维姿态所利用的关键点；对所述图像位置信息进行特征提取，得到所述第一图像的姿态表征特征；基于所述第一图像的姿态表征特征识别所述目标对象的三维姿态，得到目标三维姿态参数。2.根据权利要求1所述的方法，其特征在于，所述目标对象的第一图像为所述目标对象的视频中位于所述目标对象的第二图像后一帧的图像；所述对所述图像位置信息进行特征提取，得到所述第一图像的姿态表征特征，包括：对所述图像位置信息进行编码，得到所述第一图像的第一编码特征；将所述第一图像的第一编码特征与所述第二图像的融合特征进行融合，得到所述第一图像的融合特征；对所述第一图像的融合特征进行编码，得到所述第一图像的第二编码特征；将所述第一图像的第二编码特征与所述第二图像的姿态表征特征进行融合，得到所述第一图像的姿态表征特征。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述第一图像的姿态表征特征预测得到目标投影参数；基于所述目标三维姿态参数，确定第二关键点在三维空间中所处的位置，所述第二关键点为描述所述目标对象的三维姿态所利用的关键点；基于所述目标投影参数将第二关键点在所述三维空间中所处的位置投影到所述第一图像中，得到所述第二关键点的目标投影位置信息；基于所述目标投影位置信息获取所述第一图像对应的特效图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标投影位置信息获取所述第一图像对应的特效图像，包括：从所述目标投影位置信息中提取第三关键点的投影位置信息，从所述图像位置信息中提取所述第三关键点的图像位置信息，基于所述第三关键点的投影位置信息和所述第三关键点的图像位置信息，确定第一校正损失；利用所述第一校正损失更新所述目标投影参数，得到第一投影参数；基于所述第一投影参数对所述目标三维姿态参数进行校正，得到校正后的三维姿态参数；基于所述校正后的三维姿态参数对所述第一投影参数进行校正，得到校正后的投影参数；基于所述校正后的三维姿态参数和所述校正后的投影参数获取所述第一图像对应的特效图像。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一投影参数对所述目标三维姿态参数进行校正，得到校正后的三维姿态参数，包括：基于所述第一投影参数将所述第二关键点在所述三维空间中所处的位置投影到所述第一图像中，得到所述第二关键点的第一投影位置信息；
从所述第一投影位置信息中提取第四关键点的投影位置信息，从所述图像位置信息中提取所述第四关键点的图像位置信息，基于所述第四关键点的投影位置信息和所述第四关键点的图像位置信息，确定第二校正损失，利用所述第二校正损失更新所述目标三维姿态参数，得到所述校正后的三维姿态参数。6.根据权利要求4所述的方法，其特征在于，所述基于所述校正后的三维姿态参数对所述第一投影参数进行校正，得到校正后的投影参数，包括：基于所述校正后的三维姿态信息，确定所述第二关键点在所述三维空间中所处的校正后的位置；基于所述第一投影参数将所述第二关键点在所述三维空间中所处的校正后的位置投影到所述第一图像中，得到所述第二关键点的第二投影位置信息；从所述第二投影位置信息中提取第五关键点的投影位置信息，从所述图像位置信息中提取所述第五关键点的图像位置信息，基于所述第五关键点的投影位置信息和所述第五关键点的图像位置信息，确定第三校正损失，利用所述第三校正损失更新所述第一投影参数，得到所述校正后的投影参数。7.根据权利要求4所述的方法，其特征在于，所述基于所述校正后的三维姿态参数和所述校正后的投影参数获取所述第一图像对应的特效图像，包括：基于所述校正后的三维姿态参数，确定与所述目标对象匹配的目标三维特效模型；基于所述校正后的投影参数将所述目标三维特效模型投影到所述第一图像中，得到所述第一图像对应的特效图像。8.根据权利要求1
‑
7任一所述的方法，其特征在于，所述基于所述第一图像获取第一关键点的图像位置信息，包括：对所述第一图像中位于对象检测框内的图像进行裁剪，基于剪裁得到的图像获取待检测图像；对所述待检测图像进行关键点检测，得到所述第一关键点的参考位置信息，所述参考位置信息用于指示所述第一关键点在所述待检测图像中所处的位置；基于所述待检测图像与所述第一图像之间的位置转换关系，将所述参考位置信息转换成所述图像位置信息。9.根据权利要求8所述的方法，其特征在于，所述对所述第一图像中位于对象检测框内的图像进行裁剪之前，所述方法还包括：响应于所述第一图像满足对象检测条件，检测所述目标对象在所述第一图像中所处的区域，基于所述区域确定所述对象检测框；响应于所述第一图像不满足所述对象检测条件，基于参考检测框确定所述对象检测框，所述参考检测框基于满足所述对象检测条件且与所述第一图像关联的图像确定。10.根据权利要求1
‑
7、9任一所述的方法，其特征在...

【专利技术属性】
技术研发人员：张莹，张莫涵，徐列，付灿苗，李琛，吕静，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：