一种基于点云语义增强的人手姿态回归方法和系统技术方案

本发明专利技术实施例提供一种基于点云语义增强的人手姿态回归方法和系统，提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息，基于语义分割信息对手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果，利用网络学习来对输入数据和输出进行几何变换的方法，使得人手姿态估计方法对于输入数据的几何变换更加鲁棒，将输入点云逐点分类子网络的语义信息和姿态回归子网络进行有效融合，使得人手姿态估计的性能得到进一步提升。

【技术实现步骤摘要】
一种基于点云语义增强的人手姿态回归方法和系统
本专利技术涉及计算机
，更具体地，涉及一种基于点云语义增强的人手姿态回归方法和系统。
技术介绍
在基于视觉的人机交互中，人手姿态估计是指准确预测人手的骨架节点的三维坐标位置，在虚拟现实、增强现实、人机交互等领域有着广阔的应用前景。人手姿态估计问题在过去十几年内都是计算机视觉领域一个热门的研究点。基于视觉的人手姿态估计方法可以分为2类:一类是基于表观的方法；通过机器学习从二维图像特征空间到三维人手姿态空间建立映射来估计人手的状态，基于表观方法的优点在于易于实现实时跟踪，缺点是为保证精度必须具有稠密的学习样本并在庞大的图像数据库中建立起高效的学习和搜索算法；另一类是基于模型的方法，把人手三维模型投影到二维图像空间，通过特征比较和数据估算修正三维模型中估计的姿态参数，基于模型方法的优点在于估计结果更加精确，但这种方法的性能依赖于所选的模型，通常将深度图像作为单通道图像输入到二维卷积神经网络(ConvolutionalNeuralNetwork，CNN)中，然后预测人手姿态。然而，从二维图像映射到三维节点坐标是一个高度非线性的问题，输入和输本文档来自技高网...

【技术保护点】
1.一种基于点云语义增强的人手姿态回归方法，其特征在于，包括：提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。

【技术特征摘要】
1.一种基于点云语义增强的人手姿态回归方法，其特征在于，包括：提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。2.根据权利要求1所述的基于点云语义增强的人手姿态回归方法，其特征在于，提取手部点云数据的点云特征，并进行逐点分类，具体包括：基于多个点云抽象层、多个点特征传播层和多层感知器构建点云逐点分类网络，所述点云抽象层对手部点云数据进行采样和分组，并通过PointNet层对分组后的手部点云数据进行点云特征提取，将点云特征传输入对应的点特征传播层；所述点特征传播层对输入的点云特征进行插值操作，并跟相应的底层逐点特征进行串接融合；所述多层感知器用于基于串接融合后的底层逐点特征生成逐点分类的标签。3.根据权利要求1所述的基于点云语义增强的人手姿态回归方法，其特征在于，基于所述语义分割信息对所述手部点云数据进行语义增强，还包括：基于变换学习子网络，以手部点云数据为输入，通过三个PointNet层来提取点云特征，并基于三个全连接层学习得到点云特征的输入变换矩阵和输出变换矩阵。4.根据权利要求3所述的基于点云语义增强的人手姿态回归方法，其特征在于，基于所述语义分割信息对所述手部点云数据进行语义增强，具体包括：将所述手部点云数据和所述输入变换矩阵相乘后得到变换后的手部点云数据，将变换后的手部点云数据与所述语义分割信息进行第一次串接融合；提取第一次串接融合后手部点云数据的点云特征，并将提取后的点云特征与语义分割信息进行第二次串接融合。...

【专利技术属性】
技术研发人员：王贵锦，陈醒濠，杨华中，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11