一种基于图和注意力交织的三维人体姿态估计方法及系统技术方案

本发明专利技术涉及一种基于图和注意力交织的三维人体姿态估计方法及系统。该系统通过预训练的二维姿态检测器从图像特征中提取人体的二维骨架信息；将二维骨架嵌入到高维空间；利用图和注意力交织的网络模块挖掘骨架的局部和全局信息；利用U型结构的多层感知机模块捕获骨架的多层次信息；利用回归头模块将高维数据回归到三维骨架；利用关节点的平均误差作为模型训练的损失函数。本发明专利技术结合了图卷积和注意力机制在捕获骨架的局部和全局信息上的优势，允许图卷积模块和注意力模块之间双向通信以优势互补，可有效加强模型对人体骨架的建模能力，能够估计得到更接近真实三维姿态的结果。能够估计得到更接近真实三维姿态的结果。能够估计得到更接近真实三维姿态的结果。

【技术实现步骤摘要】
一种基于图和注意力交织的三维人体姿态估计方法及系统


[0001]本专利技术属于机器视觉中的目标识别和智能人机交互领域，具体涉及一种基于图和注意力交织的三维人体姿态估计方法和系统。

技术介绍

[0002]人体姿态估计的目的是在图片、视频等对象中描绘出人体形态，包括目标识别、图像分割、回归检测等多方面的任务。相比二维姿态估计，三维人体姿态估计对人体姿态的表述比二维姿态更为精准，拥有更高的研究价值。时下，三维人体姿态估计任务已成为计算机视觉领域的研究热点，也是很多研究工作的基础，从图像或视频中提取出的人体三维姿态可进一步用于动作识别、三维网格重建等任务。
[0003]现有的三维人体姿态估计方法可大体划分为两类：(1)基于直接回归的三维人体姿态估计。该类方法无需借助二维姿态表示，直接从二维图形中预测三维姿态坐标。这类方法的优势是可以实现端到端的网络训练，但对网络结构和数据预处理的要求较高。(2)基于二维骨架的三维人体姿态估计。该类方法通常分为两阶段，先用预训练好的二维姿态估计网络提取出骨架序列，再将得到的骨架输入到三维姿态估计网络中进行维度提升本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图和注意力交织的三维人体姿态估计方法，包括以下步骤：将三维人体姿态估计数据集中的图像作为训练图像；利用二维姿态检测器从输入的训练图像中提取人体的二维骨架信息；利用骨架嵌入模块将提取的二维骨架信息映射到至高维空间，得到高维向量；利用图和注意力交织的网络模块挖掘骨架嵌入模块得到的高维向量中蕴含的骨架的局部和全局信息；利用U型结构的多层感知机模块从图和注意力交织的网络模块的输出中提取人体骨架的多层次信息；利用回归头模块对提取的人体骨架的多层次信息进行回归，输出得到三维骨架；利用关节点的均方误差作为监督学习的损失函数，对回归头模块估计出的三维骨架进行监督学习，以训练三维人体姿态估计模型；将二维姿态检测器从待估计图像中提取的二维骨架信息作为训练好的三维姿态估计模型的输入，依次经过骨架嵌入模块，图和注意力交织的网络模块，U型结构的多层感知机模块和回归头模块，最后输出得到三维人体姿态估计的结果。2.如权利要求1所述的方法，其特征在于，所述图和注意力交织的网络模块包含图卷积块和注意力块，同时结合了图卷积和注意力机制在捕获人体骨架局部和全局特征的优势，并允许二者之间进行通信，以加强模型对骨架的建模能力。3.如权利要求2所述的方法，其特征在于，所述图卷积块结合了人体骨架的拓扑结构先验，用于捕获人体骨架的局部信息；所述局部信息是指每个关键点着重关注与其临近的节点，对于较远的节点，则倾向于忽略与其的联系。4.如权利要求3所述的方法，其特征在于，所述人体骨架的拓扑结构先验指用于表示人体骨架的邻接矩阵中，每个关节点不仅与自身相连，也与其相邻的关节点相邻，骨架中对称的关节点相连，借助邻接矩阵将骨架结构的固有特征进行表征。5.如权利要求2所述的方法，其特征在于，所述注意力块用于捕获人体骨架的全局信息；所述全局信息是指每个关节点都与所有关节点之间建立联系，每一个关节点对整个骨架都有全局的感知。6.如权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：刘宏，王体，李文豪，游盈萱，丁润伟，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：