一种基于彩色-深度相机的动态物体参数化建模方法技术

本发明专利技术涉及一种基于彩色‑深度相机的动态物体参数化建模方法，包括以下步骤：S1、获得物体的彩色‑深度图片序列；S2、获取像素级别保边的前景物体mask；S3、进行动作分析，得到目标物体的完整骨骼模型；S4、使用三维重建算法进行三维重建，得到三维重建模型；S5、使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；S6、为已经绑定骨骼模型的三维重建模型生成关键帧动画。本发明专利技术的基于彩色‑深度相机的动态物体参数化建模方法通过把重建模型刚性绑定到骨骼模型，实现赋予传感器所扫描物体参数化特性的目的，可高效地分析出视频中物体的关节信息，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。

【技术实现步骤摘要】
一种基于彩色-深度相机的动态物体参数化建模方法
本专利技术涉及计算机图形学以及计算机视觉
，具体涉及一种基于彩色-深度相机的动态物体参数化建模方法。
技术介绍
目前人们可以使用消费级的彩色-深度传感器来获取被扫描物体的高质量的三维重建模型，然后他们所获得的重建模型是静态的，不包含运动学特性。为了增强计算机与重建模型的交互能力，赋予重建模型运动学特性是至关重要的，相比静态的模型，这包含运动学特性的模型是一种更合适的物体参数化方式。物体的运动学特性一般通过骨骼模型来表达。要准确地分析视频流中动态物体的骨骼模型是非常具有挑战性的，即使该物体是一个刚性物体。进一步地，要准确地把物体网格模型逐面片地绑定到骨骼模型的对应骨块上，同样也是具有高挑战性的任务。主流的物体三维重建算法利用彩色-深度相机，通过构建体素化立方体来增量融合观测数据的方式，可以给静态或动态的场景进行高精度的三维重建，如《Dynamicfusion:Reconstructionandtrackingofnon-rigidscenesinreal-time》和《Volumedeform本文档来自技高网...

【技术保护点】
1.一种基于彩色-深度相机的动态物体参数化建模方法，其特征在于，包括以下步骤：/nS1：固定彩色-深度相机，扫描相机视野中的任意动态刚性物体，获得物体的彩色-深度图片序列；/nS2：使用前后景分割算法对彩色-深度图片序列进行前景物体分割，获取像素级别保边的前景物体mask；/nS3：进行动作分析，得到目标物体的完整骨骼模型；/nS4：使用三维重建算法进行三维重建，得到经过前景物体分割后的彩色-深度图序列中的动态物体的三维重建模型；/nS5：使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；/nS6：为已经绑定骨骼模型的三维重建模型生成关键帧动画，验证三维重建模型的运动学特性。/n

【技术特征摘要】
1.一种基于彩色-深度相机的动态物体参数化建模方法，其特征在于，包括以下步骤：
S1：固定彩色-深度相机，扫描相机视野中的任意动态刚性物体，获得物体的彩色-深度图片序列；
S2：使用前后景分割算法对彩色-深度图片序列进行前景物体分割，获取像素级别保边的前景物体mask；
S3：进行动作分析，得到目标物体的完整骨骼模型；
S4：使用三维重建算法进行三维重建，得到经过前景物体分割后的彩色-深度图序列中的动态物体的三维重建模型；
S5：使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；
S6：为已经绑定骨骼模型的三维重建模型生成关键帧动画，验证三维重建模型的运动学特性。


2.根据权利要求1所述的基于彩色-深度相机的动态物体参数化建模方法，其特征在于，在步骤S2中，所述前后景分割算法包括以下步骤：
S2.1：进行预处理，给定深度图序列D＝[D1,...,DL]和彩色图序列I＝[I1,...,IL]；
S2.2：通过经典的物体追踪算法来获取指定物体的包围盒，然后基于包围盒内深度值的统计直方图，通过设置指定阈值来二值化包围盒内的每个像素位置，从而得到粗糙的物体分割结果M0；
S2.3：为M0建立最小化能量优化模型：



上式中，M为mask的优化结果，Ec和Ed分别为彩色和深度信息的能量函数，λm和λc和λd分别为可调参数，具体地，Ec和Ed分别是基于二维图像像素距离信息结合彩色图像或者深度图像的高斯卷积核的卷积结果，上述能量函数可通过雅克比近似的方式进行迭代求解；
S2.4：优化得到的仅包含指定物体mask的深度图和颜色图，同样记为D＝[D1,...,DL]和I＝[I1,...,IL]。


3.根据权利要求2所述的基于彩色-深度相机的动态物体参数化建模方法，其特征在于，在步骤S3中，包括以下步骤：
S3.1：把经过前景物体分割后的彩色-深度图序列按照所设定的步长s和长度l，划分为多个时间上重叠的子序列；
S3.2：对每个子序列的l帧彩色图和深度图，执行4dransac算法，得到每个子序列中所对应的关节图；
S3.3：对于多个时间上重叠的关节图，依照关节图合并算法，合并多个关节图，得到目标物体的完整骨骼模型。


4.根据权利要求3所述的基于彩色-深度相机的动态物体参数化建模方法，其特征在于，在步骤S3.3中，所述关节图合并算法包括以下基本定义：关节模型被抽象为关节图来表示，其中每个关节定义为一条边，即edge，一个刚性分块定义为一个顶点，即node；顶点与顶点之间通过边来连接；在图模型中，除了基本的对顶点和边的增删查功能外，还定义了图模型与图模型之间的一些合并的操作，包括顶点与顶点的合并，边与边的合并，顶点与边的合并，边与顶点的合并；以及最后为了让每个顶点和每条边都拥有全序列生命而利用骨骼连接关系进行的动作变换传播操作；每个node包含起始帧start_frame，刚性分块序号node_id，每帧的node的位置集合centersSet，每帧的动作变换集合transformationsSet，以及表示当前node是否已被处理的状态变量state；每条edge包含起始帧frame，所连接的父分块parent_id和子分块son_id，关节类型jointType，每帧的edge的位置集合positionsSet，每帧的动作变换集合transformationsSet，以及表示当前edge是否已被处理的状态变量state。


5.根据权利要求4所述的基于彩色-深度相机的动态物体参数化建模方法，其特征在于，在步骤S3.3中，合并操作包括以下步骤：
S3.3.1：顶点node1与顶点node2的合并，包括以下步骤：
S3.3.1.1：node1和node2时间上重叠的部分，不进行合并；
S3.3.1.2：node2比node1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.1.3：更新node1的start_frame；
S3.3.1.4：更新node1和node2的状态变量；
S3.3.2：边edge1与边edge2的合并，包括以下步骤：
S3.3.2.1：若edge1和edge2关节类型相同，则进入步骤S3.3.2.2，若edge1和edge2类型相异且edge1为铰链式关节，edge2为球形关节，则合并后edge1关节类型更新为球形关节，然后进入步骤S3.3.2.2；
S3.3.2.2：edge1和edge2时间上重叠的部分，合并两者的位置集合；
S3.3.2.3：edge2比edge1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.2.4：更新edge1的start_frame；
S3.3.2.5：更新edge1和edge2的状态变量；
S3.3.3：顶点no...

【专利技术属性】
技术研发人员：成慧，黄浩洸，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44