人体关键点的深度前后关系预测方法、装置、介质及设备制造方法及图纸

本申请的实施方式公开了一种人体关键点的深度前后关系预测方法、神经网络训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人体关键点的深度前后关系预测方法包括：获取待处理图像；将所述待处理图像提供给神经网络，经由所述神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。本申请提供的技术方案有利于提高三维人体姿态预测的准确性，从而有利于避免由于三维人体姿态预测错误而对互动娱乐以及行为分析等产生不良影响。

【技术实现步骤摘要】
人体关键点的深度前后关系预测方法、装置、介质及设备
本申请涉及计算机视觉技术，尤其是涉及一种人体关键点的深度前后关系预测方法、人体关键点的深度前后关系预测装置、神经网络训练方法、神经网络训练装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
三维人体姿态预测在互动娱乐以及行为分析等
中，发挥着一定的作用。在三维人体姿态预测过程中，往往会由于人体关键点的深度预测错误而导致三维人体姿态预测错误，例如，手臂应该位于身体前侧，而三维人体姿态预测结果可能会由于相应关键点的深度预测错误，而最终预测出手臂位于身体后侧。三维人体姿态预测错误会对互动娱乐以及行为分析等产生不良影响。如何提高三维人体姿态预测的准确性，是一个值得关注的技术问题。
技术实现思路
本申请实施方式提供一种人体关键点的深度前后关系预测以及训练神经网络的技术方案。根据本申请实施方式其中一个方面，提供一种人体关键点的深度前后关系预测方法，所述方法包括：获取待处理图像；将所述待处理图像提供给神经网络，经由所述神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。在本申请一实施方式中，所述获取待处理图像包括：获取待处理图像以及待处理图像的至少两个人体关键点的特征图；所述将所述待处理图像提供给神经网络包括：将所述待处理图像以及所述人体关键点的特征图提供给神经网络。在本申请又一实施方式中，所述人体关键点的特征图包括：人体关键点的热点图。在本申请再一实施方式中，所述经由所述神经网络执行人体关键点的深度前后关系预测处理包括：经由所述神经网络根据所述待处理图像以及所述人体关键点的特征图，形成至少两个人体关键点的特征值，并获取特征值之间的差值，基于所述差值形成人体关键点的深度前后关系。在本申请又一实施方式中，所述人体关键点的深度前后关系包括：表征一个人体关键点位于另一个人体关键点之前或之后的信息。在本申请又一实施方式中，所述表征一个人体关键点位于另一个人体关键点之前或之后的信息包括：表征一个人体关键点位于另一个人体关键点之前或之后的概率值。在本申请又一实施方式中，所述人体关键点的深度前后关系包括：人体关键点的深度前后关系矩阵；其中，所述矩阵的行数和列数为人体关键点的数量，所述矩阵的第n行表示第n个人体关键点，所述矩阵的第m列表示第m个人体关键点，所述矩阵第n行第m列的数值表示第n个人体关键点在第m个人体关键点之前或之后的概率值。在本申请又一实施方式中，所述神经网络是利用多条设置有人体关键点的深度前后关系标注信息的图像样本预先训练而成的；其中，所述人体关键点的深度前后关系标注信息表示人体关键点之间的深度位置相对关系。根据本申请实施方式的其中再一方面，提供一种神经网络的训练方法，所述方法包括：获取图像样本；将所述图像样本提供给待训练的神经网络，经由所述待训练的神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；利用所述图像样本的人体关键点的深度前后关系标注信息对所述人体关键点的深度前后关系进行监督，以使所述待训练的神经网络进行监督学习。在本申请一实施方式中，所述获取图像样本包括：获取图像样本以及图像样本的至少两个人体关键点的特征图；所述将所述图像样本提供给待训练的神经网络包括：将所述图像样本以及所述人体关键点的特征图提供给待训练的神经网络。在本申请又一实施方式中，所述图像样本的人体关键点的深度前后关系标注信息，是利用图像样本的人体关键点在三维空间中的坐标标注信息形成的；或者，所述图像样本的人体关键点的深度前后关系标注信息，是通过人工标注形成的。在本申请再一实施方式中，所述图像样本的人体关键点的深度前后关系标注信息包括：表征一个人体关键点位于另一个人体关键点之前或之后的标注信息。在本申请再一实施方式中，所述表征一个人体关键点位于另一个人体关键点之前或之后的标注信息包括：表征一个人体关键点位于另一个人体关键点之前或之后的概率标注值。在本申请再一实施方式中，所述人体关键点的深度前后关系标注信息包括：人体关键点的深度前后关系标注矩阵；其中，所述标注矩阵的行数和列数为人体关键点的数量，所述标注矩阵的第n行表示第n个人体关键点，所述标注矩阵的第m列表示第m个人体关键点，所述标注矩阵第n行第m列的标注值表示第n个人体关键点在第m个人体关键点之前或之后的概率标注值。在本申请再一实施方式中，所述概率标注值为：第一标注值，表示一个人体关键点在三维空间中的深度坐标标注信息大于，另一个人体关键点在三维空间中的深度坐标标注信息与预定值之和；或者，第二标注值，表示一个人体关键点在三维空间中的深度坐标标注信息小于，另一个人体关键点在三维空间中的深度坐标标注信息与预定值之差；或者，第三标注值，表示一个人体关键点在三维空间中的深度坐标标注信息与另一个人体关键点在三维空间中的深度坐标标注信息之差的绝对值，不超过预定值。根据本申请实施方式其中再一方面，提供一种人体关键点的深度前后关系预测装置，所述装置包括：第一获取模块，用于获取待处理图像；包含有神经网络的第一深度前后关系模块，用于将所述待处理图像提供给神经网络，经由所述神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。在本申请一实施方式中，所述第一获取模块进一步用于：获取待处理图像以及待处理图像的至少两个人体关键点的特征图；所述第一深度前后关系模块进一步用于：将所述待处理图像以及所述人体关键点的特征图提供给神经网络。在本申请又一实施方式中，所述人体关键点的特征图包括：人体关键点的热点图。在本申请再一实施方式中，所述神经网络包括：第一单元，用于根据所述待处理图像以及所述人体关键点的特征图，形成至少两个人体关键点的特征值；第二单元，用于获取特征值之间的差值；第三单元，用于基于所述差值形成人体关键点的深度前后关系。在本申请再一实施方式中，所述第二单元包括：向量差值计算单元，用于针对多个人体关键点的特征值中的两两特征值，执行特征值差值计算，以获得两两特征值之间的差值。在本申请再一实施方式中，所述第三单元包括：前后关系形成单元，用于根据至少一个差值，形成所述人体关键点的深度前后关系。根据本申请实施方式的其中再一方面，提供一种神经网络的训练装置，所述装置包括：第二获取模块，用于获取图像样本；包含有待训练的神经网络的第二深度前后关系模块，用于将所述图像样本提供给待训练的神经网络，经由所述待训练的神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；监督模块，用于利用所述图像样本的人体关键点的深度前后关系标注信息对所述人体关键点的深度前后关系进行监督，以使所述待训练的神经网络进行监督学习。在本申请一实施方式中，所述第二获取模块进一步用于：获取图像样本以及图像样本的至少两个人体关键点的特征图；所述第二深度前后关系模块进一步用于：将所述图像样本以及所述人体关键点的特征图提供给待训练的神经网络。在本申请又一实施方式中，所述装置还包括：第一标注模块，用于利用图像样本的人体关键点在三维空间中的坐标标注信息，形本文档来自技高网...

【技术保护点】
1.一种人体关键点的深度前后关系预测方法，其特征在于，包括：获取待处理图像；将所述待处理图像提供给神经网络，经由所述神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。

【技术特征摘要】
1.一种人体关键点的深度前后关系预测方法，其特征在于，包括：获取待处理图像；将所述待处理图像提供给神经网络，经由所述神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像包括：获取待处理图像以及待处理图像的至少两个人体关键点的特征图；所述将所述待处理图像提供给神经网络包括：将所述待处理图像以及所述人体关键点的特征图提供给神经网络。3.根据权利要求2所述的方法，其特征在于，所述人体关键点的特征图包括：人体关键点的热点图。4.根据权利要求2至3中任一项所述的方法，其特征在于，所述经由所述神经网络执行人体关键点的深度前后关系预测处理包括：经由所述神经网络根据所述待处理图像以及所述人体关键点的特征图，形成至少两个人体关键点的特征值，并获取特征值之间的差值，基于所述差值形成人体关键点的深度前后关系。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述人体关键点的深度前后关系包括：表征一个人体关键点位于另一个人体关键点之前或之后的信息。6.一种神经网络的训练方法，其特征在于，包括：获取图像样本；将所述图像样本提供给待训练的神经网络，经由所述待训练的神经网络执行人体关键点的深度前后关系预测处理，以获取人...

【专利技术属性】
技术研发人员：汪旻，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11