姿势估计方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种姿势估计方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过获取对应行人顶部视角的用于姿势估计的彩色图像和相对齐的深度图像，将彩色图像和相对齐的深度图像输入预先训练的姿势估计模型，通过深度图像预测出各个行人头部、肩部、肘部和腕部的预测关节点及对应的预测连接向量，并根据预测关节点和所述预测连接向量确定各个行人的边框，根据边框从彩色图像中截取出对应的行人框图，并输出对应的嵌入向量。采用上述技术手段，基于行人顶部视角的图像数据，并通过深度图像进行行人姿势估计，可以有效避免行人相互遮挡影响识别效果的问题，保障行人姿势估计的有效性，进而优化行人姿势估计的效果。

Posture estimation method, device, equipment and storage medium

【技术实现步骤摘要】
姿势估计方法、装置、设备及存储介质
本申请实施例涉及计算机视觉
，尤其涉及一种姿势估计方法、装置、电子设备及存储介质。
技术介绍
目前，姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都得到的广泛的应用。在一些场景中，利用人体姿势估计算法并通过摄像头获取的人体图像计算出场景中每个人的肢体骨架，基于图像识别出的肢体骨架来即可进一步确定行人的身份，进而实现行人的跟踪、定位等功能。但是，现有的基于行人的姿势估计算法应用中，其图像数据大多都是基于正面加斜上方视角进行获取的。这些图像数据中容易出现行人之间相互遮挡的情况，导致算法无法准确的识别到行人的相关特征点，进而影响人体姿势估计的效果，甚至出现行人姿势预测失败的情况。
技术实现思路
本申请实施例提供一种姿势估计方法、装置、电子设备及存储介质，能够解决行人相互遮挡影响姿势估计算法识别精度的技术问题，优化行人姿势估计的效果。在第一方面，本申请实施例提供了一种姿势估计方法，包括：获取用于姿势估计的待检测图像，所述待检测图像包括彩色图像和相对齐的深度图像本文档来自技高网...

【技术保护点】
1.一种姿势估计方法，其特征在于，包括：/n获取用于姿势估计的待检测图像，所述待检测图像包括彩色图像和相对齐的深度图像，所述待检测图像对应行人顶部视角获取；/n将所述待检测图像输入预先训练的姿势估计模型，通过所述深度图像预测出各个行人的头部、肩部、肘部和腕部的预测关节点及对应的预测连接向量，并根据所述预测关节点和所述预测连接向量确定各个行人的边框；/n根据所述边框从所述彩色图像中截取出对应的行人框图，并输出对应的嵌入向量，所述嵌入向量用于表示对应行人的姿势特征。/n

【技术特征摘要】
1.一种姿势估计方法，其特征在于，包括：
获取用于姿势估计的待检测图像，所述待检测图像包括彩色图像和相对齐的深度图像，所述待检测图像对应行人顶部视角获取；
将所述待检测图像输入预先训练的姿势估计模型，通过所述深度图像预测出各个行人的头部、肩部、肘部和腕部的预测关节点及对应的预测连接向量，并根据所述预测关节点和所述预测连接向量确定各个行人的边框；
根据所述边框从所述彩色图像中截取出对应的行人框图，并输出对应的嵌入向量，所述嵌入向量用于表示对应行人的姿势特征。


2.根据权利要求1所述的姿势估计方法，其特征在于，所述根据所述预测关节点和所述预测连接向量确定各个行人的边框，包括：
将所述深度图像经过三次卷积池化模块输出得到对应的特征图；
以所述特征图作为输入，通过卷积运算预测初始连接向量；
以所述特征图和所述初始连接向量作为输入，通过卷积运算得到预测连接向量；
以所述特征图和所述预测连接向量作为输入，通过卷积运算预测初始关节点；
以所述特征图和所述初始关节点作为输入，通过卷积运算得到预测关节点；
以所述特征图、所述预测连接向量和所述预测关节点作为输入，预测对应行人的边框，所述边框以对应行人头部位置到所述边框四周的相对距离数值表示。


3.根据权利要求1-2任一所述的姿势估计方法，其特征在于，所述预测关节点使用正态概率分布特征表示。


4.根据权利要求1-2任一所述的姿势估计方法，其特征在于，所述预测连接向量使用向量微分表示。


5.根据权利要求2所述的姿势估计方法，其特征在于，所述姿势估计模型包括深度图像预测网络及彩色图像预测网络，所述深度图像预测网络用于根据所述深度图像预测得到所述边框，所述彩色图像预测网络用于根据所述边框从所述彩色图像中截取得到所述行人框图，并将所述预测关节点及所述预测连接向量映射到所述行人框图中，得到对应所述行人框图的所述嵌入向量。

...

【专利技术属性】
技术研发人员：陈志明，文介华，
申请(专利权)人：广州织点智能科技有限公司，
类型：发明
国别省市：广东;44