基于多视角的深度相机的无标记动作捕捉方法及装置制造方法及图纸

本发明专利技术提出一种基于多视角的深度相机的无标记动作捕捉方法及装置，该方法包括步骤：对多视角的深度相机进行标定，得到标定参数；通过多视角的深度相机采集深度图和彩色图；根据标定参数和深度图，进行三维空间变换得到点云集合；根据深度图和彩色图中的信息，将点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；根据匹配结果，按照人体骨架驱动表面模型进行运动捕捉，得到追踪结果。根据本发明专利技术实施例的方法，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉，具有运动参数准确鲁棒、表面网格模型复原程度高、算法运行速度快、系统成本低的优点。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，特别涉及一种基于多视角的深度相机的无标记动作捕捉方法及装置。
技术介绍
人体运动捕捉是计算机视觉中的重点以及难点问题。准确鲁棒的运动捕捉算法在电影制作、电视转播、机器人控制等方面有着广泛应用。运动捕捉一般可以分为有标记和无标记两类方法。其中有标记运动捕捉是指演员要穿着带有特殊标志物的服装进行表演，算法通过对这些标志物的识别，实时的获取演员的动作参数。这种方法准 确性高，算法复杂度小，已经被广泛的应用于商业电影的制作过程中。但这种方法中演员必须穿着笨重的紧身道具服进行表演，而且该方法也很难应用于摄影棚外真实场景的拍摄环境。为了解决上述不足，无标记动作捕捉技术逐渐成为近年本领域研究热点。现有的无标记运动捕捉技术一般指表演者穿着日常普通服装，在一间绿幕布摄影棚内进行表演，由设在其中的多相机系统采集其动作，由特定的算法对采集的多视角视频序列进行运动跟踪。这种方法突破了有标记运动捕捉方法必须穿着带有标记点服装进行采集的不足，但仍然离不开绿幕布的使用，无法适用于一般场景的拍摄。深度相机是近年来逐渐开始普及的感知三维世界的新方式，对于环境中的每个点，深度相机不但可以返回其颜色信息，还可以返回该点距离深度相机光心平面的垂直距离。这一开创性的技术专利技术为一般场景的无标记运动捕捉技术提供了可能性。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的目的在于提出一种无需标记设备、追踪结果更优鲁棒的基于多视角的深度相机的无标记动作捕捉方法。本专利技术的另一目的在于提出一种无需标记设备、追踪结果更优鲁棒的基于多视角的深度相机的无标记动作捕捉装置。为了实现上述目的，根据本专利技术的基于多视角的深度相机的无标记动作捕捉方法包括以下步骤A.对所述多视角的深度相机进行标定，得到标定参数；B.通过所述多视角的深度相机采集深度图和彩色图；C.根据所述标定参数和所述深度图，进行三维空间变换得到点云集合；D.根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；E.根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。在本专利技术的一个实施例中，所述标定参数包括内参矩阵Kc、旋转矩阵Re和平移向量Tc。在本专利技术的一个实施例中，根据下列计算公式进行三维空间变换得到所述点云集合P = R-1 (K-1OjLdO, j))T — Tc).其中P为所述点云集合中的三维点云点，(i，j)为所述深度图中的像素点，i、j表示所述像素点的坐标，d(i，j)表示所述像素点(i，j)的深度值。在本专利技术的一个实施例中,所述将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配进一步包括遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数S (V，P)，并选取所述度量函数最大值的所述V点作为与所述P点匹配成功的点，其中，所述度量函数的计算公式为:S(V, P) =cN),产^ * 产，其中，N(V)、N(P)分别表不表面网格点V和三维点云点P的法向信息值，O N表不两法向内积阈值，C(V)、C(P)分别表不表面网格点V和三维点云点P的颜色信息值，O。表不颜色分布归一化阈值，X (V)、X(P)分别表不表面网格点V和三维点云点P的位置信息值，O x表不距离分布归一化阈值。在本专利技术的一个实施例中，所述人体模型符合骨架驱动表面规律，即满足所述骨架驱动表面规律的定义公式= n|Uexp(0j《j) V，其中V为表面网格点，TxV为表面网格点在关节转角X下变形Tx得到的目标位置，j为关节，叫^为关节旋转参数。在本专利技术的一个实施例中，所述根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果包括根据所述匹配结果，结合所述骨架驱动表面规律的定义公式，求解能量函数MgxminEiWiIITxVi - P1II得到最优化的关节转角X，即得到追踪结果。在本专利技术的一个实施例中，还包括步骤对所述人体模型进行拉普拉斯表面变形，以使所述追踪结果更接近实际情况，其中，所述拉普拉斯表面变形的计算公式为aTinCIIlv — 5Il2 +入丨丨cv — q丨丨2}，其中11LV- s 112为拉普拉斯坐标系表面几何约束，CV-q I2为运动约束，入为表面网格变形权重。根据本专利技术实施例的基于多视角的深度相机的无标记动作捕捉方法，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉，具有运动参数准确鲁棒、表面网格模型复原程度高、算法运行速度快、系统成本低的优点。为了实现上述目的，根据本专利技术的基于多视角的深度相机的无标记动作捕捉方法装置以下部分多视角的深度相机，用于采集深度图和彩色图；标定模块，用于对所述多视角的深度相机进行标定，得到标定参数；点云转换模块，用于根据所述标定参数和所述深度图，进行三维空间变换得到点云集合；匹配模块，用于根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；运动捕捉模块，用于根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。在本专利技术的一个实施例中，所述标定参数包括内参矩阵Kc、旋转矩阵Re和平移向量Tc。在本专利技术的一个实施例中，根据下列计算公式进行三维空间变换得到所述点云集合P = R-1- 7ic)，其中P为所述点云集合中的三维点云点，(i，j)为所述深度图中的像素点，i、j表示所述像素点的坐标，d(i，j)表示所述像素点(i，j)的深度值。在本专利技术的一个实施例中，在所述匹配模块中遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数S (V，P)，并选取所述度量函数最大值的所述V点作为与所述P点匹配成功的点，其中，所述度量函数的计算公式为 S(V,P) = max(N(V)N(P),，其中，麵、應分别表不表面网格点V和三维点云点P的法向信息值，O N表不两法向内积阈值，C(V)、C(P)分别表不表面网格点V和三维点云点P的颜色信息值，O c表不颜色分布归一化阈值，X(V)、X(P)分别表不表面网格点V和三维点云点P的位置信息值，O x表不距离分布归一化阈值。在本专利技术的一个实施例中，所述人体模型符合骨架驱动表面规律，即满足所述骨架驱动表面规律的定义公式TXV = []^哪(；0而)V，其中V为表面网格点，TxV为表面网格点在关节转角X下变形Tx得到的目标位置，j为关节，叫^为关节旋转参数。 在本专利技术的一个实施例中，在所述运动追踪模块中，联合所述人体骨架驱动表面模型的定义公式，根据所述匹配结果，结合所述骨架驱动表面规律的定义公式，求解能量函^arTnSiWiHTxVi - P1Ih得到最优化的关节转角X，即得到追踪结果。在本专利技术的一个实施例中，还包括优化模块，所述优化模块用于对所述人体模型 进行拉普拉斯表面变形，以使所述追踪结果更接近实际情况，其中，所述拉普拉斯表面变形的计算公式为I Ilv-S 112为拉普拉斯坐标系表面几何约束，I |cv-q| I2为运动约束，入为表面网格变形权重。根据本专利技术实施例的基于多视角的深度相机的无标记动作捕捉装置，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉，具有运动参数准确鲁棒、表面网格模型复原程度高、本文档来自技高网...

【技术保护点】
一种基于多视角的深度相机的无标记动作捕捉方法，其特征在于，包括以下步骤：A.对所述多视角的深度相机进行标定，得到标定参数；B.通过所述多视角的深度相机采集深度图和彩色图；C.根据所述标定参数和所述深度图，进行三维空间变换得到点云集合；D.根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；E.根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘烨斌，叶亘之，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：