一种基于人体拓扑感知网络的三维人体姿态估计方法及系统技术方案

本发明专利技术涉及一种基于人体拓扑感知网络的三维人体姿态估计方法及系统。本方法利用人体拓扑的分层次结构和运动约束，充分捕捉信息密度稀疏的人体关节点数据中的先验信息，有效缓解了人体末端关节点估计精度不足的问题。本方法构建了一种多层次特征提取聚合框架，可以由细粒度到粗粒度依次提取关节点层次、肢体层次、全身层次的特征信息；构建了同一肢体内关节点间的运动约束关系，利用父节点辅助高误差的末端关节点的预测。本发明专利技术充分利用人体拓扑中高度结构化的先验信息，无需引入额外的数据，便可在控制模型参数量的情况下获得更丰富的人体姿态表征学习能力。的人体姿态表征学习能力。的人体姿态表征学习能力。

【技术实现步骤摘要】
一种基于人体拓扑感知网络的三维人体姿态估计方法及系统


[0001]本专利技术属于计算机视觉中的目标识别和智能人机交互领域，具体涉及一种基于人体拓扑感知网络的三维人体姿态估计方法及系统。

技术介绍

[0002]三维人体姿态估计是计算机视觉领域一个基础且活跃的研究方向，其旨在从图像中预测人体关键点的三维坐标并由此构建出人体的骨架表示。由三维人体姿态估计算法估计出的人体骨架可以被进一步运用在在虚拟现实、动作识别、三维人体重建等任务中，因此具有重要的研究意义和应用价值。
[0003]当前，三维人体姿态估计算法主要分为两种实现方式：一阶段方法和两阶段方法。一阶段方法对RGB图片进行处理，旨在端到端地回归出人体关节点的三维坐标。虽然RGB图像具有丰富的语义信息，但各种形式的衣服、任意遮挡、视角造成的遮挡和背景上下文都会增大估计的难度，基于一阶段的经典姿态估计算法(Pavlakos G,Zhou X,Derpanis K G,et al.Coarse
‑
to
‑
fine volumetric prediction 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体拓扑感知网络的三维人体姿态估计方法，其特征在于，包括以下步骤：利用预训练好的二维人体姿态估计器从包含人体信息的图片中提取出二维关节点坐标；利用空间特征嵌入模块将二维关节点坐标填充为高维向量；将高维向量划分为三部分子向量；第一部分子向量中，利用局部关节点构建模块对关节点间的物理连接进行建模；第二部分子向量中，利用肢体内约束模块对肢体层次的运动约束关系进行建模；第三部分子向量中，利用全局信息交互模块对身体层次的长距离交互进行建模；将各子向量中提取到的分层次信息依次连接并聚合；利用空间感知器模型对聚合后的高维向量提取高级语义特征；利用预测头模块对高级语义特征进行回归，最终输出关节点的三维坐标。2.如权利要求1所述的方法，其特征在于，利用均方根损失函数对输出的关节点的三维坐标和真实值间进行监督学习。3.如权利要求1所述的方法，其特征在于，所述的局部关节点构建模块采用图卷积网络，利用邻接矩阵模仿人体关节点间的物理连接关系；所述邻接矩阵仅考虑人体关节点间的物理连接和每个关键点与该关键点的自身相连。4.如权利要求1所述的方法，其特征在于，所述的肢体内约束模块由两组一维标准卷积和空间感知器组成；该模块利用一维标准卷积和替换操作，引入同一肢体中的父节点来约束具有高运动复杂度的末端关节点的运动；所述的两组一维标准卷积的卷积核分别是2和3，其跨步值也分别为2和3。5.如权利要求1所述的方法，其特征在于，所述的全局信息交互模块利用自注意力机制捕获全身关节点层次的长距离特征；所述的自注意力机制包含多个自注意力头，且仅考虑关节点间的空间信息交互。6.如权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：刘宏，蔡家伦，丁润伟，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：