人体姿态估计方法和装置、电子设备、存储介质、程序制造方法及图纸

本发明专利技术实施例公开了一种人体姿态估计方法和装置、电子设备、存储介质、程序，其中，方法包括：利用坐标估计网络，基于图像获得至少一个人体图像特征；基于所述人体图像特征获得所述图像中的人体关键点的二维坐标信息，所述图像包括至少一个人体关键点；利用深度估计网络，基于所述图像和所述图像中的人体关键点的二维坐标信息获得人体关键点的深度信息。本发明专利技术上述实施例通过坐标估计网络获得图像中各人体关键点的二维坐标信息，通过二维坐标信息可确定人体关键点在图像中所处的平面位置；获得人体关键点的深度信息，通过获得的人体关键点的深度信息结合二维坐标信息，即可确定图像中人体关键点的三维坐标信息，实现三维人体姿态估计。

【技术实现步骤摘要】
人体姿态估计方法和装置、电子设备、存储介质、程序
本专利技术涉及计算机视觉技术，尤其是一种人体姿态估计方法和装置、电子设备、存储介质、程序。
技术介绍
人体姿态估计是计算机视觉领域的一个基础研究课题。给定一张图像或一段视频，人体姿态估计旨在定位出图像或视频中人体身体各部分的二维位置或者三维位置。人体姿态估计在很多领域都有重要应用，如动作识别，行为识别，服装解析，人物比对，人机交互等。随着深度学习的快速发展，二维人体姿态估计已经取得了长足的进步。然而三维人体姿态估计的进展仍然十分有限，三维人体姿态估计的难点主要在于获取训练数据十分困难，对二维人体姿态估计数据集而言，可通过人工标注获得，标注员只需要标注出人体关键点在图像中的位置即可；而对于三维人体姿态数据集，还需要知道每个关键点的深度信息，而深度信息无法通过人工标注。
技术实现思路
本专利技术实施例提供的一种人体姿态估计技术。根据本专利技术实施例的一个方面，提供的一种人体姿态估计方法，包括：利用坐标估计网络，基于图像获得至少一个人体图像特征；基于所述人体图像特征获得所述图像中的人体关键点的二维坐标信息，所述图像包括至少一个人体关键点；利用深度估计网络，基于所述图像和所述图像中的人体关键点的坐标信息获得所述人体关键点的深度信息。在基于本专利技术上述方法的另一个实施例中，所述坐标估计网络和所述深度估计网络通过与判别网络对抗训练获得。在基于本专利技术上述方法的另一个实施例中，每个所述人体图像特征对应一个人体关键点。在基于本专利技术上述方法的另一个实施例中，所述人体图像特征包括得分特征图；基于所述人体图像特征获得所述图像中的人体关键点的二维坐标信息，包括：基于所述得分特征图中最大分值的位置，将所述最大分值的位置映射到所述图像，得到对应所述人体关键点的二维坐标信息。在基于本专利技术上述方法的另一个实施例中，所述利用深度估计网络，基于所述图像和所述图像中的人体关键点的二维坐标信息获得人体关键点的深度信息，包括：所述图像经过所述坐标估计网络中的至少一个卷积层输出中间图像特征；利用深度估计网络，基于所述中间图像特征和所述图像中的人体关键点的二维坐标信息获得人体关键点的深度信息。在基于本专利技术上述方法的另一个实施例中，所述利用深度估计网络，基于所述中间图像特征和所述图像中的人体关键点的二维坐标信息获得人体关键点的深度信息，包括：利用至少一个卷积层分别对所述中间图像特征和所述图像中的人体关键点的二维坐标信息进行卷积处理，得到图像特征和二维坐标特征；利用池化层，基于所述图像特征和所述二维坐标特征得到一个特征向量；利用全连接层，基于所述特征向量获得人体关键点的深度信息。在基于本专利技术上述方法的另一个实施例中，所述利用深度估计网络，基于所述图像和所述图像中的人体关键点的二维坐标信息获得人体关键点的深度信息，包括：利用至少一个卷积层分别对所述图像和所述图像中的人体关键点的二维坐标信息进行卷积处理，得到图像特征和二维坐标特征；利用池化层，基于所述图像特征和所述二维坐标特征得到一个特征向量；利用全连接层，基于所述特征向量获得人体关键点的深度信息。在基于本专利技术上述方法的另一个实施例中，所述利用池化层，基于所述图像特征和所述二维坐标特征得到一个特征向量，包括：连接所述图像特征和所述二维坐标特征获得连接特征，利用池化层对所述连接特征进行池化处理得到一个特征向量。在基于本专利技术上述方法的另一个实施例中，所述利用池化层，基于所述图像特征和所述二维坐标特征得到一个特征向量，包括：利用池化层对所述图像特征和所述二维坐标特征分别进行池化处理，将得到的两个特征向量连接得到一个特征向量。在基于本专利技术上述方法的另一个实施例中，所述利用全连接层，基于所述特征向量获得人体关键点的深度信息，包括：利用全连接层，将所述特征向量进行维度变换，得到变换维度后的新特征向量，所述新特征向量的维度数对应所述图像中的人体关键点数；基于所述新特征向量中各维度对应的值，得到对应所述人体关键点的深度信息。在基于本专利技术上述方法的另一个实施例中，还包括：基于所述人体关键点的二维坐标信息和深度信息确定所述图像中的人体姿态。在基于本专利技术上述方法的另一个实施例中，基于所述人体关键点的二维坐标信息和深度信息确定所述图像中的人体姿态，包括：基于所述人体关键点的二维坐标信息确定所述图像中的各人体关键点；基于所述人体关键点的深度信息连接所述各人体关键点，确定所述图像中的人体姿态。在基于本专利技术上述方法的另一个实施例中，还包括：将所述图像的人体关键点的三维坐标信息输入判别网络，得到预测分类结果，所述人体关键点的三维坐标信息包括二维坐标信息和深度信息，所述预测分类结果包括所述三维坐标信息是否为真实标注；基于所述预测分类结果训练所述坐标估计网络、深度估计网络和判别网络。在基于本专利技术上述方法的另一个实施例中，所述利用判别网络，基于所述图像的人体关键点的三维坐标信息，得到预测分类结果，包括：将所述人体关键点的三维坐标信息分别分解为至少一个特征图，连接所述至少一个特征图得到组合特征；利用卷积层对所述组合特征进行卷积操作，得到关键点特征；利用池化层对所述关键点特征进行处理，得到关键点向量；利用全连接层对所述关键点向量进行处理，得到二分类的预测分类结果，所述二分类的预测分类结果包括：所述人体关键点的三维坐标信息为真实标注，或所述人体关键点的三维坐标信息为网络标注。在基于本专利技术上述方法的另一个实施例中，基于所述预测分类结果训练所述坐标估计网络、深度估计网络和判别网络，包括：每次基于所述预测分类结果调整所述坐标估计网络和深度估计网络中的参数，或调整所述判别网络中的参数。在基于本专利技术上述方法的另一个实施例中，还包括：将所述图像、所述图像对应的几何描述子、和所述图像的人体关键点的三维坐标信息输入判别网络，得到预测分类结果；基于所述预测分类结果训练所述坐标估计网络、深度估计网络和判别网络。在基于本专利技术上述方法的另一个实施例中，基于所述预测分类结果训练所述坐标估计网络、深度估计网络和判别网络，包括：响应于第i次基于所述预测分类结果调整所述坐标估计网络和深度估计网络中的参数，第i+1次基于所述预测分类结果调整所述判别网络中的参数，其中，i≥1；响应于第j次基于所述预测分类结果调整所述判别网络中的参数，第j+1次基于所述预测分类结果调整所述坐标估计网络和深度估计网络中的参数，其中，j≥1；直到满足预设结束条件，结束训练。在基于本专利技术上述方法的另一个实施例中，所述满足预设结束条件包括所述预测分类结果中的两个分类概率的差值小于或等于预设概率值。在基于本专利技术上述方法的另一个实施例中，将所述图像、所述图像对应的几何描述子、和所述图像的人体关键点的三维坐标信息输入判别网络，得到预测分类结果之前，还包括：基于所述图像的人体关键点的三维坐标信息，确定所述图像对应的几何描述子。在基于本专利技术上述方法的另一个实施例中，基于所述图像的人体关键点的三维坐标信息，确定所述图像对应的几何描述子，包括：基于所述图像中每两个人体关键点之间的相对位置，得到3通道的第一描述特征图；基于所述图像中每两个人体关键点之间的相对距离，得到3通道的第二描述特征图；连接所述第一描述特征图和所述第二描述特征图，得到6通道的几何描述子。在基于本专利技术上述方法的本文档来自技高网...

【技术保护点】
1.一种人体姿态估计方法，其特征在于，包括：利用坐标估计网络，基于图像获得至少一个人体图像特征；基于所述人体图像特征获得所述图像中的人体关键点的二维坐标信息，所述图像包括至少一个人体关键点；利用深度估计网络，基于所述图像和所述图像中的人体关键点的二维坐标信息获得所述人体关键点的深度信息。

【技术特征摘要】
1.一种人体姿态估计方法，其特征在于，包括：利用坐标估计网络，基于图像获得至少一个人体图像特征；基于所述人体图像特征获得所述图像中的人体关键点的二维坐标信息，所述图像包括至少一个人体关键点；利用深度估计网络，基于所述图像和所述图像中的人体关键点的二维坐标信息获得所述人体关键点的深度信息。2.根据权利要求1所述的方法，其特征在于，所述坐标估计网络和所述深度估计网络通过与判别网络对抗训练获得。3.根据权利要求1或2所述的方法，其特征在于，每个所述人体图像特征对应一个人体关键点。4.根据权利要求1-3任一所述的方法，其特征在于，所述人体图像特征包括得分特征图；基于所述人体图像特征获得所述图像中的人体关键点的二维坐标信息，包括：基于所述得分特征图中最大分值的位置，将所述最大分值的位置映射到所述图像，得到对应所述人体关键点的二维坐标信息。5.根据权利要求1-4任一所述的方法，其特征在于，所述利用深度估计网络，基于所述图像和所述图像中的人体关键点的二维坐标信息获得人体关键点的深度信息，包括：所述图像经过所述坐标估计网络中的至少一个卷积层输出中间图像特征；利用深度估计网络，基于所述...

【专利技术属性】
技术研发人员：杨巍，欧阳万里，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11