一种在遮挡情况下还原手部姿势的方法技术

本申请涉及一种在遮挡情况下还原手部姿势的方法，该方法基于构建的三维手部姿势估计网络，三维手部姿势估计网络，包括特征提取模块、增强空间特征及特征关联模块、特征加强学习模块；该网络对静态图片经过特征提取和权重计算得到多维度的特征信息，并将这些特征进行融合，去除干扰特征和冗余特征，同时加强关键特征的学习；综合考虑到全局信息和局部信息，能够得到更精准的预测结果。

【技术实现步骤摘要】

本申请涉及计算机视觉，具体地，涉及一种在遮挡情况下还原手部姿势的方法。

技术介绍

1、基于视觉的手部重建研究在如今是一个非常重要的主题，随着元宇宙概念的兴起，该项技术被大量应用于虚拟现实(vr)和增强现实(ar)中，在虚拟场景中，用户使用手部动作替代传统计算机中使用鼠标作为输入的工具，并且使用自己的手势更加方便灵活。用户可以仅通过一些手势与虚拟场景进行交互以求达到真实、流畅、自然的效果。

2、尽管多年来各项研究不断兴起，但是三维手部姿态估计工作仍然面临着手部姿态灵活、遮挡严重等问题，在过去近几年间，机器学习在手势估计中大放异彩，如使用支持向量机(svm)、随机森林、k最近邻(k-nn)或决策树等方法，在三维手部重建工作中发挥了强有力的作用，但是使用机器学习也面临着需要预处理、计算复杂等问题。

3、近年来，越来越多的研究人员使用深度学习方法进行三维手势姿态估计，一部分研究人员结合mano低维手部模型进行顶点预测；还有研究人员通过cnn提取手部位置信息结合transformer来预测顶点位置；同时一部分研究人员认为预测手部顶点位置，可以本文档来自技高网...

【技术保护点】

1.一种三维手部姿势估计网络构建方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述特征提取模块包括ResNet50网络、热图解码器模块、手部解码器模块、信息分类模块；

3.如权利要求1所述的方法，其特征在于，所述增强空间特征及特征关联模块包括特征关联模块和增强空间特征模块，所述特征关联模块包括第一交叉注意力计算模块、第二交叉注意力计算模块；

4.如权利要求1所述的方法，其特征在于，所述特征加强学习模块包括依次连接的三个卷积层、注意力计算模块、残差模块和全连接层；

5.如权利要求1所述的方法，其特征在于，基于所述网络训练数...

【技术特征摘要】

1.一种三维手部姿势估计网络构建方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述特征提取模块包括resnet50网络、热图解码器模块、手部解码器模块、信息分类模块；

3.如权利要求1所述的方法，其特征在于，所述增强空间特征及特征关联模块包括特征关联模块和增强空间特征模块，所述特征关联模块包括第一交叉注意力计算模块、第二交叉注意力计算模块；

4.如权利要求1所述的方法，其特征在于，所述特征加强学习模块包括依次连接的三个卷积层、注意力计算模块、残差模块和全连接层；

5.如权利要求1所述的方法，其特征在于，基于所述网络训练数据集对三维手部姿势估计网络进行训练...

【专利技术属性】
技术研发人员：高全力，李劲草，焦子逊，何苗，梁娇，王西汉，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：