一种基于合成数据集的三维多人物姿态估计制造技术

本发明专利技术中提出的一种基于合成数据集的三维多人物姿态估计，其主要内容包括：人体姿势分层骨架、姿势推断和网络构架，其过程为，先给定RGB图像，分别估计图像中多人物的三维姿势，相对于它们的参考关节编码关节位置，接着利用遮挡鲁棒位置图的特殊读取方案将身体分解成躯干、四肢和头部并建立矢量，读出相应的肢体姿势，最后通过读取优先级和二维关节验证的策略对三维姿势进行推断。本发明专利技术使用现有的单人三维数据的合成方法创建了新的带注释的多人数据集，不需要边界框提取，即可预测二维和三维的关节位置，即使是复杂的多人物场景和遮挡情况，也能有效预测人物姿态；多人物姿态估计的实现将大大有利于实际场景中人物姿态的估计。

【技术实现步骤摘要】
一种基于合成数据集的三维多人物姿态估计
本专利技术涉及姿态估计领域，尤其是涉及了一种基于合成数据集的三维多人物姿态估计。
技术介绍
人体检测及姿态估计是计算机视觉领域中进行行为识别的重要基础和研究热点之一。人物姿态估计具有很高的应用价值，例如，人物姿态估计系统可以从图像中检测出人物所在的位置，进而分析出该人物的一些附加信息(姿态、年龄、性别、表情、身份和行为等)。通过对人物姿态进行识别和估计，可以减轻分析视频中人物姿态的工作人员的工作量，减少时间、财力和物力的花费。人体姿态估计可以应用在智能视频监控领域，通过分析视频中人物所在的位置、人物的姿态、神态表情、行为以及其他身份信息，可以帮助侦查人员对人物身份做出判断并预测其行为，若该行为为危险或有害行为，将提示警务人员进行及时制止；在智能交通领域，通过自动检测车辆周围各个方向的行人并估计其姿态，通过车速、车与人的距离以及行人的姿态来判断汽车与行人是否会在某一时刻发生触碰，如有发生触碰的可能，则可以及时提醒驾驶员注意车辆周围行人，及时调整车速和方向等；在人机交互领域，通过摄像头拍摄的人物图像，可以分析出人物的位置、姿态、行为、表情、年龄等信本文档来自技高网...

【技术保护点】
一种基于合成数据集的三维多人物姿态估计，其特征在于，主要包括人体姿势分层骨架(一)；姿势推断(二)；网络构架(三)。

【技术特征摘要】
1.一种基于合成数据集的三维多人物姿态估计，其特征在于，主要包括人体姿势分层骨架(一)；姿势推断(二)；网络构架(三)。2.基于权利要求书1所述的人体姿势分层骨架(一)，其特征在于，给定RGB图像分别估计图像中m个人的三维姿势其中，描述了人物i的n(n＝17)个身体关节的三维位置；关节位置是相对于它们的参考关节编码的；利用由网络预测的二维关节热点图编码图像中每个关节类型j的检测置信度；此外，预测部分亲和字段它为每个身体部分编码一个二维矢量字段，表示从父节点指向其子节点的方向；当场景中有多个人时，这有助于将二维检测与个人身份联系起来。3.基于权利要求书2所述的编码，其特征在于，网络预测的每个关节j的三维位置在和表示的位置图中编码，其中，h＝H/4；本方法预测了固定数量的图，包括n个热点图、3n个位置图和2n个部分亲和字段，所用的多人物姿态编码称为遮挡鲁棒位置图(ORLM)。4.基于权利要求书3所述的遮挡鲁棒位置图(ORLM)，其特征在于，ORLM具有两个特点：(1)它们需要一个特殊的读取方案，使得本方法对身体的部分遮挡具有鲁棒性；(2)编码多人物的姿势，而不需要可变数量的输出；特殊的读取方案将身体分解成躯干、四肢和头部，表示为包含所有关节位置的矢量的完整姿态；将肢体姿态表示为与肢体相对应的姿态参数的一部分，例如，左臂的肢体姿势是由两个三维矢量偏移组成的6个参数的矢量：肩肘和肘腕；ORLM在躯干和颈部的位置可以读出完整的姿势，在手腕、肘部、脚踝和膝盖位置也可以读出相应的肢体姿势。5.基于权利要求书1所述的姿势推断(二)，其特征在于，来自ORLM的多人物三维姿态推断是基于成功的二维关节位置推断和关联而预测的；推断图像中每个人i的二维关节位置和关节检测置信度利用预测的热点图和部分亲和字段完成二维关节到人的联系；用ORLM对三维姿势进行推断。6.基于权利要求书5所述的三维姿势推断，其特征在于，使用二维身体关节位置和身体关节检测置信度来推断场景中所有人的三维姿势；由于出现了遮挡现象，在二维检测中三维关节位置的读取方案不能实现，因此提出了两种处理遮挡的策略：读取优先级和二维关节验证。7....

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44