一种基于循环迭代优化的姿态估计方法和装置制造方法及图纸

本发明专利技术提供一种基于循环迭代优化的姿态估计方法和装置。该方法构建循环迭代网络，在每次循环迭代的每个阶段利用通过姿态得到的变换矩阵将点云进行对齐，然后计算对齐后点云的关节位置；在下次迭代的第一阶段利用当前迭代第三阶段得到的变换矩阵，用于将点云进行对齐；在第二阶段预测关节过程中加入循环姿势估计模块，利用LSTM模块保存当前迭代过程中的记忆单元和隐藏状态，并可将记忆单元和隐藏状态传递到下次迭代的LSTM模块中以提升预测的准确性；训练多次迭代的循环迭代网络，利用训练完成的循环迭代网络预测对象的关键点位置。本发明专利技术可以明显提高姿态估计的精度，具有自动化程度高、精度高和速度快的优点，可满足专业的或者大众化的应用需求。或者大众化的应用需求。或者大众化的应用需求。

【技术实现步骤摘要】
一种基于循环迭代优化的姿态估计方法和装置


[0001]本专利技术属于计算机视觉、计算机图像、人机交互处理领域，具体涉及一种基于循环迭代优化的人手姿态估计方法和装置，适用于人体整体或局部(如人体、人手、人脸等)、动物、机器人、一般刚性或非刚性对象，适用于深度相机、双目相机、TOF相机和激光扫描仪、彩色图像、灰度图像、事件相机(Event camera)等多种视觉传感器的输入数据。

技术介绍

[0002]姿态估计尤其是人手姿态估计是许多人机交互和增强现实应用的关键技术。尽管近年来基于深度学习的人手姿态估计方法有比较大的突破，然而由于人手自遮挡和视角变化等原因，高精度的三维人手姿态估计仍然是一个的挑战。三维人手估计的难点在于人手姿态空间的高自由度，尤其是观测视角造成的图像差异导致学习相似的姿态需要大量的数据。
[0003]在三维空间内进行数据对齐是减少输入数据视角多样性最有效的方法之一，它所带来的数据空间的减小可以显著减轻机器学习模型的学习负担。一般在输入数据上进行一次全局刚体变换，使观察到的三维人手变换到规范的人手坐标系，例如手指朝上。对齐带来的好处在于将人手朝向从人手姿态预测问题中分离出来，简化了人手姿态预测模型的优化难度。进一步讲，这个想法在基于深度图的三维人手估计领域已经得到了广泛的研究。
[0004]Sun等人在手掌和手指上建立不同的坐标系，计算深度图的二维特征，在特征上训练随机森林预测姿态，以级联的方式预测姿态的残差。Ye等人使用深度神经网络实现了类似的想法，其工作使用在像素平面上迭代地旋转深度图，使用注意力网络在关节区域裁剪局部特征。上述工作意在使相机位姿任意给定的情况下，输入数据和提取到的特征保持不变，使判别模型的训练更加容易。尽管先前的工作取得了成功，然而没有方法实现将这种迭代的预测流程完全地实现于三维空间，要么对齐变换局限于二维平面，要么特征提取于投影于平面上的深度图。
[0005]现有的人手姿态估计递归模型主要是针对图像序列的输入而设计的。Wu等人利用了时空上下文信息，通过深度图序列来实现人手3D姿态的预测，其中时间网络模块通过LSTM利用输入图像的时间相干性来提取特征。最近，一种名为SeqHAND的循环手部姿势模型被提出，它使用连续彩色图像作为输入来估计手部姿势和手部形状。这些方法是为视频(即图像序列)设计的，因此它们不能适应仅利用有一张深度图像作为输入的问题。

技术实现思路

[0006]本专利技术针对上述问题，提供一种基于循环迭代优化的姿态估计方法和装置。本专利技术首次提出了面向单张图像的迭代优化姿态估计方法，主要研究从单张深度图像估计关键点(如人手三维关节点)的位置，适用于人体整体或局部(如人体、人手、人脸等)、动物、机器人、一般刚性或非刚性对象。
[0007]本专利技术采用的技术方案如下：
[0008]一种基于迭代优化的姿态估计方法，包括以下步骤：
[0009]对深度图像进行分割，获得消除背景的对象区域；
[0010]对分割后的深度图像进行采样得到对象的点云，对点云进行归一化；
[0011]利用归一化后的点云训练多次迭代的循环迭代网络；
[0012]利用训练完成的循环迭代网络预测对象的关键点位置。
[0013]其中，所述对象，是指进行姿态估计的对象，如人体整体或局部(如人体、人手、人脸等)、动物、机器人、其他一般刚性或非刚性对象等。
[0014]其中，所述关键点，对于人体整体或人手、人脸等局部，关键点可以是关节点；对于非人体对象，可以采用表面特征点或关节旋转中心等作为关键点。
[0015]进一步地，所述循环迭代网络的每次迭代包含三个阶段，在每个阶段利用变换矩阵对点云进行姿态引导的对齐，在每次迭代的第一阶段利用前一次迭代的第三阶段得到的变换矩阵将点云进行对齐；所述循环迭代网络在每次迭代的第二阶段加入循环姿势估计模块，用于将先前迭代的特征作为输入来提取循环姿势感知特征；所述循环姿势估计模块利用LSTM单元保存当前迭代和之前迭代中的记忆单元和隐藏状态，并可将记忆单元和隐藏状态传递到下次迭代的LSTM模块中，以提升姿态估计的准确性。
[0016]进一步地，所述循环迭代网络利用对象姿态指导输入数据完成空间变换，对象姿态包括关键点、角度，输入数据包括点云、深度图，空间包括三维空间。
[0017]进一步地，所述循环迭代网络中每一个阶段的输入是上一阶段预测的姿态和原始输入的一个结合，所述结合包括空间变换、加权、拼接。
[0018]进一步地，所述对象为人手时，所述循环迭代网络包括：
[0019]第一阶段称为初始化阶段，输入归一化之后的点云，通过初始化阶段网络预测该点云对应的关节坐标；
[0020]第二阶段称为手掌阶段，将第一阶段得到的关节坐标输入手掌预测网络，预测得到所有关节在手掌坐标系下的坐标，并利用LSTM单元将当前迭代中的点云特征储存为隐藏状态，用于指导下一次迭代中的姿态预测任务；
[0021]第三个阶段称为手指阶段，将第二阶段预测的关节分为五组，每个手指分别为一组；将其输入各个手指预测网络，预测在手指坐标系下的关节坐标，最后拼接各个关节点得到最后的人手姿态。
[0022]进一步地，通过基于序列的关键点位置预测模块在点云序列上实现3D姿势跟踪估计；所述基于序列的关键点位置预测模块对于深度图像序列的每一帧都使用循环迭代网络估计对象姿态，将某帧的第一阶段预测的关键点位置与深度图像序列中前若干帧预测的关键点位置融合，作为第一阶段最终的姿态输出，后续阶段利用前一阶段的姿态输出实施点云的空间变换，输入下一阶段以预测关键点位置；合并最后一次循环迭代的第二阶段和第三阶段的姿态预测结果，作为最终的姿态估计结果。
[0023]进一步地，所述多次迭代的循环迭代网络中，每个阶段所使用的循环迭代网络可替换为图神经网络、三维卷积神经网络、卷积神经网络。
[0024]一种基于循环迭代优化的姿态估计装置，其包括：
[0025]数据预处理模块，负责进行数据预处理，包括：对深度图像进行分割，获得消除背景的对象区域；对分割后的深度图像进行采样得到对象的点云，对点云进行归一化；
[0026]网络构建与训练模块，负责构建和训练循环迭代网络；
[0027]关节位置预测模块，负责利用所训练的循环迭代网络预测对象的关键点位置。
[0028]进一步地，所述装置还包括基于序列的关键点位置预测模块，负责在点云序列上实现3D姿势跟踪估计。
[0029]本专利技术的有益效果如下：
[0030]本专利技术通过坐标系下的对齐使得对象具有更小的自由度，能减轻网络预测对象关键点(如人手关节)的难度。除了对齐的3D点云外，循环姿势估计模块还通过长短期记忆(LSTM)单元将先前迭代的特征作为输入来提取循环姿态感知特征，该单元模拟不同细化迭代中对特征的依赖性。本专利技术除了可用于单张深度图像或点云的姿态估计外，还能解决基于深度或点云序列的3D姿态跟踪估计，如3D手姿势跟踪估计，可以得到更准确的姿态估计结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环迭代优化的姿态估计方法，其特征在于，包括以下步骤：对深度图像进行分割，获得消除背景的对象区域；对分割后的深度图像进行采样得到对象的点云，对点云进行归一化；利用归一化后的点云训练多次迭代的循环迭代网络；利用训练完成的循环迭代网络预测对象的关键点位置。2.根据权利要求1所述的方法，其特征在于，所述循环迭代网络的每次迭代包含三个阶段，在每个阶段利用变换矩阵对点云进行姿态引导的对齐，在每次迭代的第一阶段利用前一次迭代的第三阶段得到的变换矩阵将点云进行对齐；所述循环迭代网络在每次迭代的第二阶段加入循环姿势估计模块，用于将先前迭代的特征作为输入来提取循环姿势感知特征；所述循环姿势估计模块利用LSTM单元保存当前迭代和之前迭代中的记忆单元和隐藏状态，并可将记忆单元和隐藏状态传递到下次迭代的LSTM模块中，以提升姿态估计的准确性。3.根据权利要求1所述的方法，其特征在于，所述循环迭代网络利用对象姿态指导输入数据完成空间变换，对象姿态包括关键点、角度，输入数据包括点云、深度图，空间包括三维空间。4.根据权利要求1所述的方法，其特征在于，所述循环迭代网络中每一个阶段的输入是上一阶段预测的姿态和原始输入的一个结合，所述结合包括空间变换、加权、拼接。5.根据权利要求1所述的方法，其特征在于，所述对象为人手时，所述循环迭代网络包括：第一阶段称为初始化阶段，输入归一化之后的点云，通过初始化阶段网络预测该点云对应的关节坐标；第二阶段称为手掌阶段，将第一阶段得到的关节坐标输入手掌预测网络，预测得到所有关节在手掌坐标系下的坐标，并利用LSTM单元将当前迭代中的点云特征储存为隐藏状态，用于指导下一次迭代中的姿态预测任务；第三...

【专利技术属性】
技术研发人员：邓小明，程坚，曲文天，张寅达，崔兆鹏，马翠霞，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：