基于4D融合的高效动态三维模型序列压缩方法技术

本公开内容涉及基于4D融合的高效动态三维模型序列压缩方法。在一个实施例中，包括存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。标模型的最终的融合参数。标模型的最终的融合参数。

【技术实现步骤摘要】
基于4D融合的高效动态三维模型序列压缩方法


本公开一般地涉及图像处理领域，并且具体地涉及用于动态三维模型序列的高效的压缩方法。

技术介绍

近年来，随着图像处理领域的发展和广泛应用，各种各样的技术被用于生成三维内容。尤其是，生成随着时间演进的三维内容引起了学术界和行业的许多关注，例如捕获包含真实人类行为的完整三维内容的体素捕捉系统。体素捕捉系统使用被校准的相机阵列从多个角度采集真实世界中的对象的二维图像，从二维图像提取前景并使用算法(例如，visual hull)来生成网格模型，使用多张图像以及相机参数对网格模型进行贴图从而生成真实世界中的三维内容。但是当前的体素捕捉系统会对所拍摄的每一帧输出一个三维模型。如果需要创建一个10秒到15秒的动态三维模型序列，就会产生大量的三维模型数据，使得难以导出这些数据到其他的应用。例如，如果单个三维模型需要5M的存储空间，对于一个时长为15秒、帧率为30帧每秒的动态三维模型序列则需要大约2GB的存储空间。这对于移动应用来说是难以传输的存储的

技术实现思路

基于4D融合的高效动态三维模型序列压缩方法通过获取少量的融合参数来拟合三维模型序列，从而大大压缩了三维模型序列。本公开的一个方面涉及一种高效的压缩动态三维模型序列的方法，包括存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。优选地，所述方法包括通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数进一步包括将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。优选的，所述方法包括在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的顶点的初始对应点，所述法线投影是基于点到线的距离最小。优选地，所述方法包括在区块划分时确定代表参考模型的区块的刚体运动的顶点x0。优选地，所述方法包括利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x0在目标模型中的位置点x
c
＝Rx0+t，其中x
c
表示顶点x0经过刚体变换后
移动到点x
c
的位置约束。优选地，所述方法包括利用每个区块计算得到的位置约束来构建所述位置约束函数‖W
c
(x
‑
x
c
)‖2，并构建拉普拉斯能量函数‖Lx
‑
Lx0‖2，优化能量函数：E＝‖Lx
‑
Lx0‖2+‖W
c
(x
‑
x
c
)‖2其中L为拉普拉斯矩阵、W
c
为位置约束的权重矩阵、x0为参考模型顶点的初始位置、x
c
为参考模型的顶点的位置约束，其是参考模型的顶点在目标模型中对应的顶点位置。优选地，所述方法包括从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形仿射变换的加权来表示参考模型中顶点的变形优选地，所述方法包括通过模型对齐初始化控制点的融合参数。优选地，所述方法包括在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E
c
，以找到目标模型中能够精确匹配参考模型中的顶点的对应点。优选地，所述方法包括优化由参考模型变形前后的顶点位置约束E
c
、仿射变换参数的约束E
t
以及正则项E
r
构成的模型融合的能量函数w
t
E
t
+w
r
E
r
+w
c
E
c
以获得优化后的最终的融合参数。本公开的一个方面涉及一种用于高效地压缩动态三维模型序列的设备，包括用于存储应用程序的非暂态存储器、处理器以及存储在所述非暂态存储器并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现以下：存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型基本对齐从而得到初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及通过迭代优化的方法确定将参考模型变形为目标模型的最终的融合参数。优选地，所述处理器进一步执行所述计算机程序以：将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。优选地，所述处理器进一步执行所述计算机程序以：在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的顶点的对应点，所述法线投影是基于点到线的距离最小。优选地，所述处理器进一步执行所述计算机程序以：在区块划分时确定代表参考模型的区块的刚体运动的顶点x0。优选地，所述处理器进一步执行所述计算机程序以：利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x0在目标模型中的位置点x
c
＝Rx0+t，其中x
c
表示顶点x0经过变换后移动到点x
c
的位置约束。优选地，所述处理器进一步执行所述计算机程序以：利用每个区块计算得到的位置约束来构建所述位置约束函数‖W
c
(x
‑
x
c
)‖2，并构建拉普拉斯能量函数‖Lx
‑
Lx0‖2，优化能量函数：E＝‖Lx
‑
Lx0‖2+‖W
c
(x
‑
x
c
)‖2其中L为拉普拉斯矩阵、W
c
为位置约束的权重矩阵、x0为参考模型顶点的初始位置、
x
c
为参考模型的顶点的位置约束，其是参考模型的顶点在目标模型中对应的顶点位置。优选地，所述处理器进一步执行所述计算机程序以：从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形优选地，所述处理器进一步执行所述计算机程序以：通过模型对齐初始化控制点的融合参数。优选地，所述处理器进一步执行所述计算机程序以：在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E
c
，找到目标模型中能够精确匹配参考模型中的顶点的对应点。优选地，所述处理器进一步执行所述计算机程序以：优化由参考模型变形前后的顶点位置约束E
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效的压缩动态三维模型序列的方法，包括：存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点问的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。2.根据权利要求1所述的方法，其中通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数进一步包括将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的每个顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。3.根据权利要求2所述的方法，在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的每个顶点的初始对应点，所述法线投影是基于点到线的距离最小。4.根据权利要求2所述的方法，在区块划分时确定代表参考模型的区块的刚体运动的顶点x0。5.根据权利要求4所述的方法，利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x0在目标模型中的位置点x
c
＝Rx0+t，其中x
c
表示顶点x0经过刚体变换后移动到点x
c
的位置约束。6.根据权利要求5所述的方法，利用每个区块计算得到的位置约束来构建所述位置约束函数||W

【专利技术属性】
技术研发人员：李翔，尚弘，施展，许宽宏，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：