姿态估计方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种姿态估计方法、装置及电子设备，首先获取包含目标对象的待处理图像；将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；然后根据该目标对象的关键点信息确定该目标对象的关键点的位置；进而根据该目标对象的关键点的位置以及该关键点之间的连接关系，确定该目标对象的姿态。本发明专利技术实施例通过结合肢体结构中关键点之间的连接关系，预先建立关键点识别模型并对其进行训练，基于该模型在对关键点进行识别时，可以根据关键点之间的相互关系对关键点位置进行调整和推理，从而提高关键点位置的估计精度，进而提高人体姿态的估计精度。

【技术实现步骤摘要】
姿态估计方法、装置及电子设备
本专利技术涉及计算机视觉
，尤其是涉及一种姿态估计方法、装置及电子设备。
技术介绍
人体姿态估计作为计算机视觉研究领域的一个重要研究方向，以及体感
中的一个关键问题，广泛应用于人体活动分析、智能视频监控及高级人机交互等领域。其中，人体姿态估计技术可以通过计算机在一幅包含人体的图像中自动地检测出人体，包括定位人体的关节点。目前，现有的人体姿态估计方法通常是对人体的各个关节点进行独立的定位，这种方式导致估计出的关节点位置精度较低，使得人体姿态的估计精度也较低。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种姿态估计方法、装置及电子设备，可以提高人体姿态估计中，关键点位置的估计精度，进而提高人体姿态的估计精度。第一方面，本专利技术实施例提供了一种姿态估计方法，包括：获取包含目标对象的待处理图像；将该待处理图像输入至关键点识别模型中，输出该目标对象的关键点信息；该关键点识别模型基于预设的肢体结构建立，该肢体结构包括肢体中指定的关键点，以及该指定的关键点之间的连接关系；该本文档来自技高网...

【技术保护点】
1.一种姿态估计方法，其特征在于，包括：/n获取包含目标对象的待处理图像；/n将所述待处理图像输入至关键点识别模型中，输出所述目标对象的关键点信息；所述关键点识别模型基于预设的肢体结构建立，所述肢体结构包括肢体中指定的关键点，以及所述指定的关键点之间的连接关系；所述关键点信息包括：所述目标对象的关键点位于图中各个像素点的概率；/n根据所述目标对象的关键点信息确定所述目标对象的关键点的位置；/n根据所述目标对象的关键点的位置以及所述关键点之间的连接关系，确定所述目标对象的姿态。/n

【技术特征摘要】
1.一种姿态估计方法，其特征在于，包括：
获取包含目标对象的待处理图像；
将所述待处理图像输入至关键点识别模型中，输出所述目标对象的关键点信息；所述关键点识别模型基于预设的肢体结构建立，所述肢体结构包括肢体中指定的关键点，以及所述指定的关键点之间的连接关系；所述关键点信息包括：所述目标对象的关键点位于图中各个像素点的概率；
根据所述目标对象的关键点信息确定所述目标对象的关键点的位置；
根据所述目标对象的关键点的位置以及所述关键点之间的连接关系，确定所述目标对象的姿态。


2.根据权利要求1所述的姿态估计方法，其特征在于，所述关键点识别模型通过下述方式进行训练：
根据预设的肢体结构实例化神经网络模型；
将当前训练图片输入实例化的所述神经网络模型中，输出所述当前训练图片中关注对象的关键点信息；所述关键点信息包括：所述关注对象的关键点位于图中各个像素点的概率；
基于所述关键点信息、所述当前训练图片的标注值，确定所述神经网络模型对应的损失值；
根据所述损失值，对所述神经网络模型的参数进行迭代更新，得到所述关键点识别模型。


3.根据权利要求2所述的姿态估计方法，其特征在于，所述神经网络模型包括全卷积神经网络模块和图卷积神经网络模块；所述将当前训练图片输入实例化的所述神经网络模型中，输出所述当前训练图片中关注对象的关键点信息的步骤，包括：
将当前训练图片输入所述全卷积神经网络模块，输出所述当前训练图片中关注对象的关键点的卷积特征图；
将所述关注对象的关键点的卷积特征图输入所述图卷积神经网络模块，输出所述当前训练图片中所述关注对象的关键点信息。


4.根据权利要求3所述的姿态估计方法，其特征在于，所述图卷积神经网络模块包括第一图卷积神经网络单元和第二图卷积神经网络单元；所述第一图卷积神经网络单元基于所述关注对象的关键点在局部感受野内的相关关系建立；所述第二图卷积神经网络单元基于所述关注对象的关键点彼此之间的相关关系建立；
所述将所述关注对象的关键点的卷积特征图输入所述图卷积神经网络模块，输出所述当前训练图片中所述关注对象的关键点信息的步骤，包括：
将所述关注对象的关键点的卷积特征图分别输入所述第一图卷积神经网络单元、所述第二图卷积神经网络单元，对应输出所述关键点的第一卷积特征图、第二卷积特征图；
分别对所述第一卷积特征图和所述第二卷积特征图进行1×1卷积处理，对应得到所述关键点的第一关键点信息、第二关键点信息；
根据所述第一关键点信息和所述第二关键点信息，输出所述当前训练图片中所述关注对象的关键点信息。


5.根据权利要求4所述的姿态估计方法，其特征在于，所述根据所述第一关键点信息和所述第二关键点信息，输出所述当前训练图片中所述关注对象的关键点信息的步骤，包括：
对所述第一关键点信息和所述第二关键点信息进行特征融合，得到所述关键点的第三关键点信息；
输出所述关键点的第一关键点信息、第二关键点信息和第三关键点信息。


6.根据权利要求4所述的姿态估计方法，其特征在于，所述第一图卷积神经网络单元的网络结构根据下述公式构建：



其中，
式中，表示所述第一图卷积神经网络单元的第l层网络中关键点u的输入卷积特征图；表示所述关键点u的隐藏特征表示；沿着channel方向将分成K份，每一份特征attu,v代表卷积参数；*代表卷积操作；Nu代表所述关键点u的邻接关键点集合；concate(·)代表沿channel方向串联特征图；σ代表RELU激活...

【专利技术属性】
技术研发人员：魏秀参，
申请(专利权)人：南京旷云科技有限公司，徐州旷视数据科技有限公司，北京迈格威科技有限公司，
类型：发明
国别省市：江苏;32