【技术实现步骤摘要】
本专利技术涉及3d姿态识别领域，尤其是涉及一种基于统一掩模的3d姿态检测器优化方法、装置及存储介质。
技术介绍
1、精确的人体三维姿态估计在包括人机交互在内的众多领域中发挥着举足轻重的作用。如人机交互、机器人学、运动表现分析、人体重建以及增强/虚拟现实等领域。与二维姿态估计相比，它需要更多的标注数据，并施加了更强的几何约束。因此，获取三维数据提出了比二维数据更多的挑战。
2、一些现有技术设计了一种弱监督的三维姿态估计方法，利用无配对的二维姿态信息和三维刚体变化提供的几何约束提供监督信号。首先，该方法需要利用检测器得到预测的二维关键点。方法将根据人体骨架连接关系，选取指定的关键点连接成为线段，并合并作为二维骨架图。二维关键点将利用转换网络得到三维关键点。该方法的监督信号来源于三维关键点在投影至二维后和无配对的二维姿态相近，另一方面需要三维关键点在通过转换网络-刚性变换-投影-转换网络-逆刚性变换的流程后，与原始三维关键点重合。
3、也有一些现有技术设计了一种无监督的三维姿态估计方法，利用背景相同的两张图像提供监督信号。具体而言，一张图像通过深度网络提供纹理信息，另一张图像利用检测器得到二维姿态。此后，二维姿态将在人体姿态运动学先验的约束下被升维，并重新投影回二维，计算仿射变换后的椭圆作为人体骨架图和包含人体关键点的高斯热力图。最后，纹理信息将和人体姿态信息一同用于重建图像，重建损失作为监督信号。此外，从大量动作捕捉数据集中训练得到的smpl(蒙皮多人线性模型)先验同样作为约束被纳入考虑。
4、在
5、但获取标注的三维数据仍然是一个成本高昂、耗时耗力的过程。
技术实现思路
1、本专利技术的目的就是为了提供一种基于统一掩模的3d姿态检测器优化方法、装置及存储介质，基于得到的骨架特征图和体型特征图，与统一掩膜求差，再配合各像素点的权重，可以在实现无需人工标注数据的基础上，保障经由优化后的3d姿态检测器具有比较准确的3d姿态估计。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于统一掩模的3d姿态检测器优化方法，包括：
4、步骤s1：获取3d姿态检测器基于三维特征图生成的人体关键点坐标；
5、步骤s2：基于得到的人体关键点坐标，与预配置的人体骨架进行配准，得到所有骨骼的轴线段，其中，所述骨骼的轴线段的两端分别对应于两个人体关键点；
6、步骤s3：计算三维特征图中的所有点到各骨骼的距离，并将基于得到的距离生成所有骨骼的骨骼特征图，其中，点到骨骼的距离具体为点到骨骼的轴线段所在直线的距离；
7、步骤s4：将所有骨骼的骨骼特征图合成为骨架特征图；
8、步骤s5：基于骨架特征图，生成体型特征图；
9、步骤s6：获取预存储的统一掩膜的掩膜重心，获取骨架特征图前景区域中各像素点至掩膜重心的距离作为该像素点的骨架权重，以及获取体型特征图前景区域中各像素点至掩膜重心的距离作为该像素点的体型权重，
10、获取骨架特征图背景区域中各像素点至前景区域的最近距离作为该像素点的骨架权重，以及获取体型特征图背景区域中各像素点至前景区域的最近距离作为该像素点的体型权重；
11、步骤s7：基于骨架特征图及其所有像素点的骨架权重，以及体型特征图及其所有像素点的体型权重，结合统一掩膜中各像素点的像素值，计算得到像素点偏差作为损失函数值；
12、步骤s8：基于得到的损失函数值优化3d姿态检测器。
13、所述步骤s3中对于单个骨骼的骨骼特征图，其生成过程包括：
14、计算三维特征图中的所有点到该骨骼的欧式距离；
15、基于各点到骨骼的欧式距离生成对应像素点的像素值；
16、基于各点的像素值得到该骨骼的骨骼特征图。
17、所述骨架特征图和骨骼特征图均为二维图像，所述步骤s3中对于单个骨骼的骨骼特征图，其生成过程包括：
18、将三维特征图投影至二维平面得到二维特征图，并获得各骨骼的轴线段在二维平面内的投影作为投影线段；
19、计算二维特征图中的所有点到骨骼的欧式距离，其中，点到骨骼的距离具体为点到骨骼的投影线段所在直线的距离；
20、基于各点到骨骼的欧式距离生成对应像素点的像素值；
21、基于各像素点的像素值得到该骨骼的骨骼特征图。
22、所述步骤s5中通过u-net网络处理得到体型特征图，其中，所述骨架特征图作为u-net网络的输入。
23、所述人体骨架中，相互连接的两根骨骼的轴线段共用一个人体关键点。
24、所述步骤s4具体包括：
25、配准所有骨骼的骨骼特征图；
26、将所有骨骼特征图中同一像素点的像素值求和作为初步骨架特征图中对应像素点的像素值；
27、将初步骨架特征图中所有像素点的像素值进行归一化得到最终的骨架特征图。
28、所述体型特征图中的所有像素点的像素值的取值范围为0-1。
29、所述像素点偏差的数学表达式为：
30、
31、其中：l为像素点偏差，w_skel为骨架偏差系数，取常数，w_physo为体型偏差系数，取常数，l_skeli为骨架特征图中像素点i和统一掩膜中像素点i的像素值之差，为像素点i的骨架权重，l_physoi为体型特征图中像素点i和统一掩膜中像素点i的像素值之差，为像素点i的体型权重，i为像素点的序号，m为像素点的数量。
32、一种基于统一掩模的3d姿态检测器优化装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述的方法。
33、一种存储介质，其上存储有程序，所述程序被执行时实现如上述的方法。
34、与现有技术相比，本专利技术具有以下有益效果：
35、1、基于得到的骨架特征图和体型特征图，与统一掩膜求差，再配合各像素点的权重，可以在实现无需人工标注数据的基础上，保障经由优化后的3d姿态检测器具有比较准确的3d姿态估计。
36、2、通过投影的方式，得到二维的骨架特征图，从而可以利用比较成熟的u-net网络处理得到体型特征图。
37、3、骨架特征图和体型特征图的像素值都进行了归一化，可以便于设置偏差系数，提高计算机处理的性能。
38、4、设计了特有的像素点偏差，从而提高了3d姿态估计的准确性。
本文档来自技高网...【技术保护点】
1.一种基于统一掩模的3D姿态检测器优化方法，其特征在于，包括：
2.根据权利要求1所述的一种基于统一掩模的3D姿态检测器优化方法，其特征在于，所述步骤S3中对于单个骨骼的骨骼特征图，其生成过程包括：
3.根据权利要求1所述的一种基于统一掩模的3D姿态检测器优化方法，其特征在于，所述骨架特征图和骨骼特征图均为二维图像，所述步骤S3中对于单个骨骼的骨骼特征图，其生成过程包括：
4.根据权利要求3所述的一种基于统一掩模的3D姿态检测器优化方法，其特征在于，所述步骤S5中通过U-Net网络处理得到体型特征图，其中，所述骨架特征图作为U-Net网络的输入。
5.根据权利要求1-4中任一所述的一种基于统一掩模的3D姿态检测器优化方法，其特征在于，所述人体骨架中，相互连接的两根骨骼的轴线段共用一个人体关键点。
6.根据权利要求1-4中任一所述的一种基于统一掩模的3D姿态检测器优化方法，其特征在于，所述步骤S4具体包括：
7.根据权利要求1-4中任一所述的一种基于统一掩模的3D姿态检测器优化方法，其特征在于，所述体型特征图
8.根据权利要求1-4中任一所述的一种基于统一掩模的3D姿态检测器优化方法，其特征在于，所述像素点偏差的数学表达式为：
9.一种基于统一掩模的3D姿态检测器优化装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种基于统一掩模的3d姿态检测器优化方法，其特征在于，包括：
2.根据权利要求1所述的一种基于统一掩模的3d姿态检测器优化方法，其特征在于，所述步骤s3中对于单个骨骼的骨骼特征图，其生成过程包括：
3.根据权利要求1所述的一种基于统一掩模的3d姿态检测器优化方法，其特征在于，所述骨架特征图和骨骼特征图均为二维图像，所述步骤s3中对于单个骨骼的骨骼特征图，其生成过程包括：
4.根据权利要求3所述的一种基于统一掩模的3d姿态检测器优化方法，其特征在于，所述步骤s5中通过u-net网络处理得到体型特征图，其中，所述骨架特征图作为u-net网络的输入。
5.根据权利要求1-4中任一所述的一种基于统一掩模的3d姿态检测器优化方法，其特征在于，所述人体骨架中，相互连接的两根骨骼的轴线段...
【专利技术属性】
技术研发人员：杨雨辰，乔宇，孙骁，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。