一种基于三维点云的人手三维姿态估计方法和装置制造方法及图纸

本发明专利技术涉及一种基于三维点云的人手三维姿态估计方法和装置。本发明专利技术主要解决的问题是如何从单张深度图得到的人手点云中恢复人手三维姿态，其主要技术难点在于点云排列无序并且存在较高的噪声问题，人手丰富的手势变化以及由于拍摄角度导致的人手自遮挡等。本发明专利技术提出了基于深度神经网络的人手姿态估计算法，能够从丰富的训练数据中自适应提取特征。并且本发明专利技术在实时回归人手关节点的三维位置的同时，能够预测点云的局部以及全局特征，利用关节标注的内在联系，帮助网络提高泛化能力，缓解单任务网络提取的特征泛化能力差的问题。经过实际使用验证，本发明专利技术具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。

A Method and Device for Man's Three-Dimensional Posture Estimation Based on Three-Dimensional Point Cloud

【技术实现步骤摘要】
一种基于三维点云的人手三维姿态估计方法和装置
本专利技术属于计算机视觉、计算机图像处理领域，具体涉及一种基于三维点云的人手三维姿态估计方法和装置。
技术介绍
近年来，随着计算机视觉技术的发展和计算机算力的大幅度提升，基于视觉的人机交互得到了长足的发展。通过图像或视频处理使计算机具有了“看”的能力，采用了依赖大规模数据的统计方法可以使计算机具备理解分析的能力，这是人机交互中最为自然方便的一种方式。其中，基于肢体动作的交互时视觉人机交互的核心问题之一，包括姿态估计、手势识别、人脸识别、面部表情识别和三维重建等。人手作为肢体动作中最灵活的部分，操作起来自然、快捷、方便，传递的信息量丰富，应用范围十分广泛，如现在的智能手机、平板电脑，任天堂的Wii，微软的Surface、Kinect等，都使用了拖拽、点击等来实现特定功能。手势交互和手语识别有广泛的应用场景，并且通常需要精确的手部姿态作为基础，但是基于单视角图像的三维人手姿态估计在准确率方面还达不到精细领域的操作要求。因此，精确的人手姿态估计成为了视觉人机交互发展的瓶颈。近年来，随着机器学习和模式识别的发展，特别是深度学习的带动，使得人手姿态本文档来自技高网...

【技术保护点】
1.一种基于三维点云的人手三维姿态估计方法，其特征在于，包括以下步骤：构建两阶段级联神经网络，第一阶段通过点云神经网络回归粗糙的人手三维关节点位置，第二阶段利用第一阶段的神经网络得到的粗糙的人手三维关节点在人手点云中进行采样聚类，进一步回归精细的人手三维关节点位置；利用关节点恢复损失对所述两阶段级联神经网络进行训练；将待估计的深度图像输入训练完成的所述两阶段级联神经网络，得到人手三维关节点坐标。

【技术特征摘要】
1.一种基于三维点云的人手三维姿态估计方法，其特征在于，包括以下步骤：构建两阶段级联神经网络，第一阶段通过点云神经网络回归粗糙的人手三维关节点位置，第二阶段利用第一阶段的神经网络得到的粗糙的人手三维关节点在人手点云中进行采样聚类，进一步回归精细的人手三维关节点位置；利用关节点恢复损失对所述两阶段级联神经网络进行训练；将待估计的深度图像输入训练完成的所述两阶段级联神经网络，得到人手三维关节点坐标。2.根据权利要求1所述方法，其特征在于，对所述两阶段级联神经网络进行训练之前进行数据预处理，对点云进行方向与大小的归一化。3.根据权利要求2所述方法，其特征在于，所述数据预处理包括：1)对点云数据进行下采样到1024维，再对采样后的点云数据进行主成分分析，得到一个正交的坐标系，对点云进行方向归一化；2)对人手数据进行统计，将不同大小的人手点云归一化到[-1,1]，并计算每一点的法向量。4.根据权利要求1所述方法，其特征在于，所述两阶段级联神经网络，以点云为输入，在第一阶段神经网络中，利用采样聚类得到点云簇，之后利用多重感知机对点云进行特征提取，并利用全连接层回归粗糙的人手关节三维坐标；在第二阶段神经网络专利，利用第一阶段神经网络得到的粗糙的人手关节点在人手点云中进行采样聚类，并用多重感知机对点云进行特征提取，并利用全连接层回归精准的人手关节点三维坐标；在第一阶段和第二阶段神经网络中利用多层感知机对点云数据进行特征提取，并利用最大池化层对局部点云特征进行融合，以消除点云无序性带来的影响。5.根据权利要求4所述方法，其特征在于，所述第一阶段神经网络包括第一采样聚类层、第一多重感知机特征提取层、第一全连接层、第二采样聚类层、第二多重感知机特征提取层、第二全连接层；所述第二阶段神经网络包括第三采样聚类层、第三多重感知机特...

【专利技术属性】
技术研发人员：邓小明，窦毅坤，朱玉影，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京,11