基于图论的低秩矩阵恢复三维骨架方法技术

本发明专利技术属于计算机应用领域，为更好地从破损的骨架中恢复出三维物体的运动信息，同时最小化时间成本，本发明专利技术采取的技术方案是，基于图论的低秩矩阵恢复三维骨架方法，时域上，利用凸低秩矩阵恢复模型，通过最小化L1范数和核范数的和，来纠正低秩矩阵中的错误元素，从而得到一个理想的矩阵；空域上，通过最小化保长项的能量来保证骨骼长度的时域不变性，从而保证修复的准确性；通过时域和空域的双重约束实现对复杂运动的准确、光滑的重建。本发明专利技术主要应用于计算机应用图像处理场合。

Restoration of 3D skeleton based on graph theory for low rank matrices

The invention belongs to the field of computer application, in order to better recover the motion information of 3D objects from the damaged skeleton, while minimizing the cost of time, the technical scheme of the invention is that the time domain low rank matrix graph method based on 3D skeleton restoration, using convex, low rank matrix recovery model by minimizing the L1 norm and nuclear norm and, to correct the mistakes in the low rank matrix elements, so as to obtain an ideal matrix; spatial domain, by minimizing the long term energy to ensure the time invariance of bone length, so as to ensure the accuracy of repair; the complex motion of accurate and smooth reconstruction through the dual constraints of time domain and space domain. The invention is mainly used in computer applications and image processing occasions.

【技术实现步骤摘要】
基于图论的低秩矩阵恢复三维骨架方法
本专利技术属于计算机应用领域，对三维骨架的修复问题。本专利技术提出了一种新的基于图论的低秩矩阵恢复三维骨架方法，能够纠正并恢复不合理的以及被严重毁坏的运动信息，保持骨骼不变的空间特性。
技术介绍
三维物体的运动恢复是三维物体运动捕捉领域的一个重要问题，在计算机图形学和计算机视觉领域都有着广泛且实用的重要应用。三维物体运动信息的重建，通常而言，需要采集到良好的三维物体的运动数据，在此基础上进行重建。传统的运动捕捉系统由于造价高、操作困难等缺陷一直难以推广使用，以Kinect为代表的深度相机的兴起，由于其可以方便快捷地采集三维物体的运动信息等优点，得到了十分广泛的应用，也掀起了一股三维物体运动恢复的热潮。然而，哪怕是如Kinect等的新兴流行相机，也很难采集到完整无误的运动信息。这就需要很多后期的处理和优化工作。传统的运动恢复方法主要着重于两个方面的问题：一是，利用RGB(彩色)图像或者深度图像的姿态估计问题；一是，利用二维图像进行的骨架修复问题。很多工作关注于第一种问题，有很多已有的算法可以根据RGB(彩色)图像或者深度图像来估计三维物体的运动。Menier等(C.Menier,E.Boyer,andB.Raffin,“3Dskeleton-basedbodyposerecovery,”inIntl.Symp.3DDataProcessingVisualizationandTransmission,2006,pp.389–396.)利用了前景轮廓信息来进行骨架的姿态恢复；随着深度学习的兴起，越来越多的工作借助深度学习工具实现姿态估计。Toshev等(A.ToshevandC.Szegedy,“Deeppose:Humanposeestimationviadeepneuralnetworks,”inProc.IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2013,pp.1653–1660.)提出了用深度学习的框架来估计骨架的方法。他们将人为破坏的骨架信息放入深度神经网络中，让网络自我学习骨架特点，然后再用有损的骨架进行测试。然而由于深度神经网络需要预先训练，这种方法在得到很好结果的同时也十分耗时。Wei等(X.Wei,P.Zhang,andJ.Chai,“Accuraterealtimefull-bodymotioncaptureusingasingledepthcamera,”ACMTransactionsonGraphics,vol.31,no.6,pp.439–445,2012.)通过一个深度相机整合了深度数据、人体几何数据等信息，建立了一个自动的运动捕捉系统，可以捕捉并重建出人体的相应运动。然而，这个系统对于修复有遮挡的骨架来说，还存在很多有待改进的空间。对于第二种问题，流行的传统方法是光束平差法(BundleAdjustment)Leonards等(S.Leonardos,X.Zhou,andK.Daniilidis,“Articulatedmotionestimationfromamonocularimagesequenceusingsphericaltangentbundles,”inIEEEIntl.Conf.RoboticsandAutomation,2016.)提出了应用球正切光束与黎曼-卡尔曼滤波相结合的模型实现了从二维图像中恢复受损的骨架序列。然而，这些方法都要利用二维图像信息恢复出二维的骨架，或者恢复出三维骨架的运动轨迹，并不能直接地从受损的三维骨架中恢复出可信的三维骨架序列。Wang等(Wang,M.,Kun,L.I.,Yang,J.,Feng,W.U.,&Lai,Y.(2016).3-dskeletonrecoveryviasparserepresentation.)利用低秩矩阵修复的方法，直接应用破损骨架的三维信息对三维物体进行运动重建；然而这种方法并不能保证骨架的空间特性，即骨骼长度不变性。如何直接从破损的骨架中准确、光滑地恢复出三维物体的运动信息，仍然是一个具有挑战性的问题。
技术实现思路
由于人体骨架的运动具有很高的时间相关性，因此，从时域角度而言，三维运动流形应存在于一个低维度的子空间之中。这也就是说，将骨架信息整合到一个矩阵中时，此矩阵应为低秩矩阵。从空域角度而言，三维骨架在任何时刻，都应该保持每一根骨头长度不变，即三维骨架的骨骼保长性。为了更好地从破损的骨架中恢复出三维物体的运动信息，同时最小化时间成本，本专利技术采取的技术方案是，基于图论的低秩矩阵恢复三维骨架方法，时域上，利用凸低秩矩阵恢复模型，通过最小化L1范数和核范数的和，来纠正低秩矩阵中的错误元素，从而得到一个理想的矩阵；空域上，通过最小化保长项的能量来保证骨骼长度的时域不变性，从而保证修复的准确性；通过时域和空域的双重约束实现对复杂运动的准确、光滑的重建。具体步骤是，1)利用骨架运动的时间相关性，将破损的骨架信息整合到一个矩阵D中,其中，代表骨架的第i个节点在第t帧的三维坐标位置，分别表示该节点第t帧时，在x,y,z轴的坐标，i∈{1,2,…,S},t∈{1,2,…,T}；2)将骨架修复问题建模：D＝A+E(1)其中，D为毁坏的骨架三维坐标信息构成的矩阵，A是经过矩阵修复之后得到的修复好的骨架三维坐标构成的矩阵，E是差错矩阵，根据骨架运动信息的时间相关性，矩阵A也应该是低秩的。minrank(A)+γ‖E‖0s.t.D＝A+E(2)其中，rank(A)是矩阵A的秩，‖E‖0是矩阵E的L-0范数，γ是一个平衡A与E之间的比重的权重项，γ>0，将上述方程重新描述：min‖A‖*+λ‖E‖1s.t.D＝A+E(3)其中，‖A‖*是矩阵A的核范数，σi是矩阵A的奇异值，‖E‖1是矩阵E的L-1范数，λ>0，是一个权重系数；考虑到骨骼保长性，将上述公式与图论相结合：G＝(v,ε)代表无向节点图，v表示骨架的节点集，ε表示骨架的骨骼集，ek∈ε,k∈{1,2,…,H},其中ek表示骨架的第k根骨头，H表示骨架的骨骼总数，骨骼的保长性表示为使下面的能量函数最小：其中，lij表示第i个节点和第j个节点之间的骨骼长度，表示节点和之间的距离，矩阵N是矩阵A在保长约束上的等价替代矩阵，所以整体的优化方程写为：其中，γ>0,是一个权重系数；3)利用增广拉格朗日与高斯牛顿方法相结合进行最终求解利用增广拉格朗日方法进行最终求解具体步骤是，引入缩小变量和门限变量，结合高斯牛顿法求解非线性最小二乘问题，再分别求解凸优化方程；方程(5)的拉格朗日方程为：其中，对于保长项Eiso(N)，由于其不能直接求解，将其转化成非线性最小二乘问题：其中，rth(·)表示的是第h根骨骼在第t帧时的能量项，应用高斯牛顿法对上式进行迭代求解，即N-problem:Nk+1＝Nk+δk，δk代表第k次迭代的步长，其中，J是F的雅克比行列式，其中||·||F表示的是矩阵的F范数，其余项通过拉格朗日乘子法求解得出：其中，Sδ(x)是缩小变量，Sδ(x)＝sgn(x)max(|x|-δ,0)，Mδ(x)是门限变量，Mδ(x)＝USδ(本文档来自技高网...

【技术保护点】
一种基于图论的低秩矩阵恢复三维骨架方法，其特征是，时域上，利用凸低秩矩阵恢复模型，通过最小化L1范数和核范数的和，来纠正低秩矩阵中的错误元素，从而得到一个理想的矩阵；空域上，通过最小化保长项的能量来保证骨骼长度的时域不变性，从而保证修复的准确性；通过时域和空域的双重约束实现对复杂运动的准确、光滑的重建。

【技术特征摘要】
1.一种基于图论的低秩矩阵恢复三维骨架方法，其特征是，时域上，利用凸低秩矩阵恢复模型，通过最小化L1范数和核范数的和，来纠正低秩矩阵中的错误元素，从而得到一个理想的矩阵；空域上，通过最小化保长项的能量来保证骨骼长度的时域不变性，从而保证修复的准确性；通过时域和空域的双重约束实现对复杂运动的准确、光滑的重建。2.如权利要求1所述的基于图论的低秩矩阵恢复三维骨架方法，其特征是，具体步骤细化为：1)利用骨架运动的时间相关性，将破损的骨架信息整合到一个矩阵D中,其中，代表骨架的第i个节点在第t帧的三维坐标位置，分别表示该节点第t帧时，在x,y,z轴的坐标，i∈{1,2,…,S},t∈{1,2,…,T}；2)将骨架修复问题建模：D＝A+E(1)其中，D为毁坏的骨架三维坐标信息构成的矩阵，A是经过矩阵修复之后得到的修复好的骨架三维坐标构成的矩阵，E是差错矩阵，根据骨架运动信息的时间相关性，矩阵A也应该是低秩的。minrank(A)+γ‖E‖0s.t.D＝A+E(2)其中，rank(A)是矩阵A的秩，‖E‖0是矩阵E的L-0范数，γ是一个平衡A与E之间的比重的权重项，γ>0，将上述方程重新描述：min‖A‖*+λ‖E‖1s.t.D＝A+E(3)其中，‖A‖*是矩阵A的核范数，σi是矩阵A的奇异值，‖E‖1是矩阵E的L-1范数，λ>0，是一个权重系数；考虑到骨骼保长性，将上述公式与图论相结合：G＝(v,ε)代表无向节点图，v表示骨架的节点集，ε表示骨架的骨骼集，ek∈ε,k∈{1,2,…,H},其中ek表示骨架的第k根骨头，H表示骨架的骨骼总数，骨骼的保长性表示为使下面的能量函数最小：其中，lij表示第i个节点和第j个节点之间的骨骼长度，表示节点和之间的距离，矩阵N是矩阵A在保长约束上的等价替代矩阵，所以整体的优化方程写为：s.t.D＝A+E，N＝A,(5)其中，γ>0,是一个权重系数；3)利用增广拉格朗日与高斯牛顿方法相结合进行最终求解利用增广拉格朗日方法进行最终求解具体步骤是，引入缩小变量和门限变量，结合高斯牛顿法求解非线性最小二乘问题，再分别求解凸优化方程；方程(5)的拉格朗日方程为：

【专利技术属性】
技术研发人员：李坤，王美媛，杨敬钰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12