姿势估计方法和装置、计算机系统制造方法及图纸

本申请涉及一种姿势估计方法和装置、计算机系统，其中该方法包括：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。

【技术实现步骤摘要】

本申请涉及计算机视觉，具体涉及姿势估计方法和装置、计算机系统。
技术介绍
关节型对象的姿势估计是计算机视觉领域中的基本任务之一。其解决了在图像中对象的部位定位问题，并具有如动作识别和人体跟踪等很多重要的应用。该任务所面临的主要挑战在于高度关节化、遮蔽、服装、灯光、杂乱的背景等。近来在人体姿势估计领域已利用深度卷积神经网络(DCNN)实现了最先进的性能。这些方法主要分为两类：利用DCNN对每个身体部位位置的热图(heat map)进行回归；以及学习深度结构化输出以进一步对身体关节之间的关系进行建模。基于DCNN的热图回归模型已显示出学习更好的特征表达的可能性。但是，如图1(b)和图1(d)所示，这些方法可产生诸多假阳性。例如，在图1(b)中多数假阳性区域为未标注人员的头部，虽然这些假阳性区域是合理的但是将在训练中被当作误报。这些区域上的误差将反向传播以影响与头部检测对应的特征，而这是不适当的。图1(d)中示出了另一示例，其中处于背景(左上角)中的假阳性区域将在训练中被当作难阴性。近来，深度结构化输出学习吸引了相当大的关注，并且在诸如语义分割、目标检测和深度估计等任务中显示出了可喜的成果。对于人体姿势估计，最近的研究将DCNN与全连接马尔可夫随机场(Markov Random Field)或身体部位位置的弱空间直方图结合，以检测身体关节位置之间的结构性约束。然而，利用卷积核学习空间约束的参数空间太大，使得学习变得非常困难。此外，对于具有各种可能姿势的人，例如，在图像中头部并不总是处于肩膀上方，这些方法效果甚微。
技术实现思路
本申请实施例提供了一种姿势估计技术方案。本申请实施例的一方面公开了一种姿势估计方法，该方法包括：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。根据本申请的实施例，所述消息表示与所述点对应的身体部位的所述相邻身体部位的置信，以及在所述根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图之前，姿势估计方法还包括：根据与所述点对应的身体部位的相邻身体部位的部位类型得分图确定所述相邻身体部位的置信。根据本申请的实施例，根据与所述点对应的身体部位的相邻身体部位相关的消息，通过置信传播来优化所建立的部位类型得分图。根据本申请的实施例，所述消息还表示所述身体部位与所述相邻身体部位之间的空间相容性。根据本申请的实施例，根据所述身体部位与所述相邻身体部位之间的相对位置信息确定所述身体部位与所述相邻身体部位之间的空间相容性。根据本申请的实施例，在确定所述空间相容性之前，姿势估计方法还包括：根据第一距离和第二距离确定所述相对位置信息，其中所述第一距离表示在x轴方向上所述身体部位与所述相邻身体部位之间的距离，所述第二距离表示在y轴方向上所述身体部位与所述相邻身体部位之间的距离。根据本申请的实施例，通过卷积神经网络来提取所述图像中的所述特征。根据本申请的实施例，通过卷积神经网络来提取所述图像中的所述特征之前，姿势估计方法还包括：根据预设数据集提取的特征图与所述预设数据集的参考部位类型之间的差别，训练所述卷积神经网络。根据本申请的实施例，通过消息传递单元来传递消息和优化所建立的部位类型得分图，其中所述消息传递单元根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别训练而得。本申请实施例的另一方面公开了一种姿势估计装置，该装置包括：提取模块，提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；预测模块，为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；优化模块，对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及确定模块，根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。根据本申请的实施例，所述消息表示与所述点对应的身体部位的所述相邻身体部位的置信，以及所述优化模块还用于根据与所述点对应的身体部位的相邻身体部位的部位类型得分图确定所述相邻身体部位的置信。根据本申请的实施例，所述优化模块用于对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，通过置信传播来优化所建立的部位类型得分图。根据本申请的实施例，所述消息还表示所述身体部位与所述相邻身体部位之间的空间相容性。根据本申请的实施例，所述优化模块还用于根据所述身体部位与所述相邻身体部位之间的相对位置信息确定所述身体部位与所述相邻身体部位之间的空间相容性。根据本申请的实施例，所述优化模块还用于根据第一距离和第二距离确定所述相对位置信息，其中所述第一距离表示在x轴方向上所述身体部位与所述相邻身体部位之间的距离，所述第二距离表示在y轴方向上所述身体部位与所述相邻身体部位之间的距离。根据本申请的实施例，所述提取模块用于通过卷积神经网络来提取所述图像中的所述特征。根据本申请的实施例，姿势估计装置还包括：网络训练模块，用于根据预设数据集提取的特征图与所述预设数据集的参考部位类型之间的差别，训练所述卷积神经网络。根据本申请的实施例，所述优化模块包括消息传递单元，所述优化模块用于通过所述消息传递单元来传递消息和优化所建立的部位类型得分图；以及姿势估计装置还包括：单元训练模块，用于根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别，训练所述消息传递单元。本申请实施例的另一方面还公开了一种计算机系统，该系统包括：存储器，存储可执行指令；一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。本申请实施例的又一方面公开了非暂时性计算机存储介质，该介质存储计算机可读指令，当这些指令被执行时使处理器执行以下操作：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图本文档来自技高网...

【技术保护点】
一种姿势估计方法，其特征在于，所述方法包括：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。

【技术特征摘要】
1.一种姿势估计方法，其特征在于，所述方法包括：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。2.如权利要求1所述的姿势估计方法，其特征在于，所述消息表示与所述点对应的身体部位的所述相邻身体部位的置信，以及在所述根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图之前，所述方法还包括：根据与所述点对应的身体部位的相邻身体部位的部位类型得分图确定所述相邻身体部位的置信。3.如权利要求2所述的姿势估计方法，其特征在于，根据与所述点对应的身体部位的相邻身体部位相关的消息，通过置信传播来优化所建立的部位类型得分图。4.如权利要求2或3所述的姿势估计方法，其特征在于，所述消息还表示所述身体部位与所述相邻身体部位之间的空间相容性。5.如权利要求4所述的姿势估计方法，其特征在于，根据所述身体部位与所述相邻身体部位之间的相对位置信息确定所述身体部位与所述相邻身体部位之间的空间相容性。6.一种姿势估计装置，其特征在于，所述装置包括：提取模块，用于提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；预测模块，用于为每个所述特征图中的每个特征...

【专利技术属性】
技术研发人员：王晓刚，杨巍，欧阳万里，李鸿升，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11