基于语义感知图卷积的三维手物姿态估计方法及系统技术方案

本发明专利技术公开了一种基于语义感知图卷积的三维手物姿态估计方法及系统，使用特征提取网络从彩色图像中提取手感兴趣区域特征和物感兴趣区域特征；基于手感兴趣区域特征估计二维手姿态，基于物感兴趣区域特征估计二维物姿态；将二维手姿态和二维物姿态输入三维姿态估计网络以估计三维手物姿态，所述三维姿态估计网络包括多个共同注意力模块和语义感知图卷积模块。本发明专利技术使用语义感知图卷积模块实现了手物全局特征的充分融合，在一定程度上实现了手物交互，并使用多个共同注意力模块对包含不同数目关键点的手物姿态进行关联计算，能够充分建模不同状态下的手物交互关系，有利于手物姿态的准确估计。姿态的准确估计。姿态的准确估计。

【技术实现步骤摘要】
基于语义感知图卷积的三维手物姿态估计方法及系统


[0001]本专利技术属于姿态识别
，具体涉及一种基于语义感知图卷积的三维手物姿态估计方法及系统。

技术介绍

[0002]手是人类与物理世界接触的主要方式，在日常生活中起着至关重要的作用。近些年来，随着计算机视觉领域的大力发展，出现了一大批智能产物，如增强现实、虚拟现实及人机交互设备等等。人们可以通过调整姿态等方式实现非接触式的人机交互活动，因此，如何有效理解手物交互姿态是实现增强现实、虚拟现实及人机交互领域进一步发展的基础。
[0003]手物姿态识别一般基于深度学习的方法，通过大量的数据训练一个深度网络，使得该网络能够直接从视频或图片中估计手和物体位姿。由于单RGB图像视角单一且手持物体方式多种多样，手、物交互过程极易存在遮挡现象，而常规特征提取方法毫无差别提取图像特征使得手物特征相互混淆，无法有效解决手物遮挡问题。考虑到手部姿态链接关系复杂多变，物体形状各异且手持物体姿态多种多样，目前并没有一个统一的目标识别网络架构能够同时估计三维手物姿态，目前的技术方案基于两个独立分支估计手物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于语义感知图卷积的三维手物姿态估计方法，其特征在于，使用特征提取网络从彩色图像中提取手感兴趣区域特征和物感兴趣区域特征；基于手感兴趣区域特征估计二维手姿态，基于物感兴趣区域特征估计二维物姿态；将二维手姿态和二维物姿态输入三维姿态估计网络以估计三维手物姿态；所述三维姿态估计网络包括姿态估计阶段和姿态优化阶段，姿态估计阶段由编码阶段和解码阶段组成，编码阶段包括依次设置的多个由共同注意力模块和语义感知图卷积模块组成的组合模块；解码阶段包括依次设置的多个由共同注意力模块和语义感知图卷积模块组成的组合模块，随后设置一个单独的语义感知图卷积模块，编码阶段与解码阶段之间设置两个全连接层；姿态优化阶段由多个共同注意力模块与语义感知图卷积模块组成的姿态修正模块级联而成。2.根据权利要求1所述的基于语义感知图卷积的三维手物姿态估计方法，其特征在于，将裁剪到一定大小的彩色图像作为特征提取网络的输入以提取手感兴趣区域特征和物感兴趣区域特征，所述特征提取网络包括ResNet50网络和特征金字塔网络。3.根据权利要求1所述的基于语义感知图卷积的三维手物姿态估计方法，其特征在于，基于手感兴趣区域特征估计二维手姿态，基于物感兴趣区域特征估计二维物姿态的具体过程为：使用卷积将手感兴趣区域特征变换为手热图，将物感兴趣区域特征变换为物热图，其中，手热图和物热图的每一个通道分别对应于手或物姿态中的一个关键点，基于通道使用argmax函数进行关键点预测，最后将关键点拼接起来作为二维手姿态或二维物姿态。4.根据权利要求3所述的基于语义感知图卷积的三维手物姿态估计方法，其特征在于，关键点计算方式如下：；式中，为二维手姿态或二维物姿态的第k个关键点，表示手热图或物热图的第k个通道，n为手热图或物热图某一通道中所有像素点的索引，函数用来提取对应通道所有像素点中最大像素值的索引。5.根据权利要求4所述的基于语义感知图卷积的三维手物姿态估计方法，其特征在于，使用真值热图监督特征提取网络的学习，损失函数定义为预测热图与真值热图的均方误差，即：；式中，为预测热图，为真值热图；真值热图使用高斯函数计算而得，高斯函数的中心在每个关键点的位置上，真值热图计算方式如下：；式中，为基于二维手姿态或二维物姿态第k个关键点位置产生的真值热图，K为关键点数量，K个关键点的真值热图拼接起来即可得到完整的二维手姿态或二维物姿态真值热图，为手热图或物热图的高，为手热图或物热图的宽，e为自然常数，(w,h)为手热图或物热图上某一点的像素坐标，w为像素宽度坐标，h为像素高度坐标；c为高斯函数的标
准差；为第k个关键点的横坐标，为第k个关键点的纵坐标，k=1,2,
…
,K。6.根据权利要求1所述的基于语义感知图卷积的三维手物姿态估计方法，其特征在于，基于二维手姿态构建二维手姿态图，基于二维物姿态构建二维物姿态图；基于二维手姿态构建二维手姿态图的过程如下：其中，, 表示K个关键点构成的集合，表示第k个关键点；表示邻接矩阵，根据关键点间的连接关系来定义邻接关系；若第i个关键点J
i
和第j个关键点J
j
相同或者存在连接关系，则邻接矩阵第i行、第j列位置上的元素，否则为0。7.根据权利要求6所述的基于语义感知图卷积的三维手物姿态估计方法，其特征在于，三维姿态估计网络将二维手姿态图和二维物体姿态图作为输入，输出三维手物姿态估计结果，在编码阶段通过多次四倍下采样逐步对图节点进行简化，最终将所有信息压缩到一个节点上，而后在解码阶段逐步还原图节点，并通过维度为3的语义感知图卷积模块将节点特征维度变为3，将此...

【专利技术属性】
技术研发人员：杨文姬，谢丽萍，杨振姬，钱文彬，
申请(专利权)人：江西农业大学，
类型：发明
国别省市：