基于人体模板对齐的三维网格序列压缩方法技术

本发明专利技术提供一种基于人体模板对齐的三维网格序列压缩方法，属于数据压缩技术领域，具体包括以下步骤：动态数据采集；三维骨骼点获取；参数化模板的准备：参数化模板动作对齐；参数化模板形状对齐；构建参数化模板网格序列；网格序列几何压缩；网格序列纹理压缩。本发明专利技术基于模板映射的模型压缩有良好的压缩效率和压缩质量，降低了自由视角的三维立体视频的存储空间，可以更加广泛的应用到移动设备和其他便携设备上，数据量的降低使其更适于移动数据传输，进而提升了传输效率。

3D mesh sequence compression method based on human template alignment

【技术实现步骤摘要】
基于人体模板对齐的三维网格序列压缩方法
本专利技术属于数据压缩
，尤其涉及基于人体模板对齐的三维网格序列压缩方法。
技术介绍
随着计算机图形学以及三维扫描技术的飞速发展,三维网格已广泛地应用在计算机图形学和计算机视觉等各个领域。近年来，三维网格数据的尺寸和复杂性在逐渐增加，如何进行高效压缩从而合理地节省网络带宽，降低数据传输过程中三维数据的存储空间，成为三维数据研究领域重要而又热门的课题。以顶点、面片为基元的三维网格模型是对三维模型的一种表述方式。三维网格模型根据顶点数、面片数、文件格式与编码方式的不同占用内存常在1兆字节到100兆字节。数十秒高精度的网格序列(或称网格动画)，占用的内存容量就高达上十亿字节，所以需要求网格序列进行有效的压缩处理，在保证动态模型质量的前提下，最大程度的压缩数据体积。另外，中国专利公开号为CN105069820B，专利技术创造名称为一种适用于三维网格序列的压缩方法，其适用于各帧拓扑连接不同的三维网格序列的压缩，提高了异构三维网格序列的压缩效率。该方法包括步骤：(1)利用薄板样条函数TPS对几何图像序列进行非刚性配准，几何图像序列是已知的三维网格序列通过参数化和重采样生成；(2)使用图像压缩算法JPEG2000压缩步骤(1)配准后的几何图像序列的各帧之间的残差。中国专利公开号为CN103927746B的专利技术创造公开了一种三维网格序列的配准及压缩方法，其能够去除网格序列在帧间拓扑信息上的冗余性，提高对网格序列的压缩效率，从而降低存储空间。这种三维网格序列的配准及压缩方法，包括步骤：(1)基于视频的帧间编码来配准一个三维网格序列；(2)用开源软件7-Zip无损压缩所有的I帧的顶点和面片数据；通过压缩相邻帧之间的顶点残差数据来压缩P帧和B帧的顶点数据，而P帧和B帧的面片数据将与I帧共享；(3)用开源软件7-Zip对步骤(b)的压缩文件进行解压，然后重建。但现有的网格压缩方式，一般是对网格序列在空间相关性和时间相关性上的研究。对静态网格内部的冗余区域进行压缩，以及对动态网格序列间的时间相关性的压缩。压缩的方式，如非刚性压缩配准有概率破坏网格序列的显示效果，如果过分保留显示效果，则会出现压缩率不高的情况。
技术实现思路
为了解决上述技术问题，本专利技术公开了一种基于模板对齐的三维网格序列压缩方法，解决了动态网格序列占用存储容量过高的问题。本方法的特点在于，使用一个参数化的模板网格模型，基于嵌入式变形图自动对齐该参数化模板与拍摄得到每一帧的网格模型，用对齐后的动态参数化模板网格代替原网格序列，在保证网格序列显示效果的同时，对网格序列进行压缩。压缩的程度可由参数化模板的精细程度(顶点个数)来决定，高质量的参数化模板保证了压缩后的显示质量，同时，低质量的参数化模板则实现了较高的压缩率。由于使用了模板网格模型，模型的贴图也可以使用同一张或者几张贴图替代每一帧模型对应的贴图，在贴图上也完成了压缩。基于人体模板对齐的三维网格序列压缩方法，其特征在于，包括以下步骤：步骤一，动态数据采集：利用动态环形相机拍摄系统，采集运动的人体对象视频序列，分别对所述人体对象视频序列的每帧图像进行多视角三维重建，得到各帧的网格模型，所述各帧的网格模型即组成视频网格序列；步骤二，三维骨架点获取：利用深度神经网络提取所述视频网格序列每一帧上人体的二维骨架点位置x，运用三角测量、集束调整算法以及人体骨架物理约束计算出人体三维骨架参数步骤三，参数化模板的准备：构建三维人体模型作为参数化模板，给所述参数化模板引入动作参数和形状参数，所述形状参数基于模板网格的测地距离，构建模板的嵌入式变形图实现；步骤四，参数化模板动作对齐：根据所述人体三维骨架参数调整所述参数化模板的三维骨架参数J，J∈[0，N)，使所述参数化模板位移到与所述网格模型相同的位置，并作为下一步形状对齐的初始位置；步骤五，参数化模板形状对齐：基于所述嵌入式变形图调整所述参数化模板的顶点，使所述参数化模板与所述网格模型对齐；步骤六，构建参数化模板网格序列：依次对所述视频网格序列的每一帧重复步骤三到步骤五，得到对应的参数化模板网格序列；步骤七，网格序列几何压缩：用所述参数化模板网格序列的三维几何代替所述视频网格序列的三维几何，对所述视频网格序列在几何空间上进行压缩；步骤八，网格序列纹理压缩：使用纹理贴图代替所述视频网格序列每帧的贴图，实现对所述视频网格序列在纹理上的压缩。优选地，所述多视角三维重建是采用多视角图像的特征点匹配算法以及集束调整算法构建点云模型，并对该点云模型进行三角面片处理的过程。优选地，所述三维骨架参数如下：其中，θ表示骨架的轴角旋转量，S表示沿骨架方向的缩放比例，m表示根骨架点的空间位置。优选地，骨架点的个数N为20个。优选地，步骤三中所述引入动作参数通过给所述参数化模板绑定所述三维骨架参数实现。优选地，所述嵌入式变形图满足：其中，控制点为1000～4500个，各控制点的旋转量Rk∈SO(3)，其中位移优选地，控制点取为2000个。优选地，所述参数化模板形状对齐满足以下公式：其中，Edata描述该优化的数据项；Ereg描述该优化的正则项；其中，λplane、λplane为点到点距离与点到面距离的权重，M为步骤四得到的各顶点位置构成的矩阵；为嵌入式变形图驱动下的顶点i，为该顶点在对象网格上的对应点，为该顶点i的法向；其中，为嵌入式变形图的控制点k的1邻居控制点集合，为两个控制点间的权重，由测地距离计算得到。优选地，所述网格序列几何压缩只保存所述嵌入式变形图的参数与每一帧所述嵌入式变形图的控制点的旋转参数和位移参数。优选地，所述纹理贴图仅使用一张或按10～30帧/张的采样率进行替代。优选地，所述纹理贴图按15帧/张的采样率进行替代。与现有技术相比，本专利技术具有如下有益效果：本专利技术基于模板映射的模型压缩有良好的压缩效率和压缩质量，降低了自由视角的三维立体视频的存储空间，使其可以更加广泛的应用到移动设备和其他便携设备上，数据量的降低使其更适于移动数据传输，降低了传输的总数据量，进而提升了传输效率。通过调整受嵌入式变形图的采样数量、网格纹理的采样数量即可较好的控制网格序列的压缩率，调整简单方便。通过测试，使用优选嵌入式变形图的采样数量为2000个，网格纹理的采样数量为15帧/张；以5秒钟、30FPS的网格序列为例，总序列数为150帧，压缩前占用总空间为3.6GB，压缩后占用空间为200MB，压缩率达到5.4％，并且压缩依然保留了很高质量的显示效果。另外，模板的质量高低可以根据期望的压缩率和显示效果，调整模板的顶点的细分程度和贴图的采样率来实现，可定制的压缩率和显示效果使该方法的使用范围更加广泛。压缩率的范围从4％至95％，压缩率越低网格序列的显示效果越差，压缩高，显示效果越好。附图说明图1是压缩的流程图；图2是重建拍摄的相机排列示意图；图3是N取20时的骨架点位置示意图；图4是对模板的部分区域进行细分处理后的示意图。具体实施方式以下结合附图对本专利技术做进一步描述：如图1所示，一个较佳的基于人体模板对齐的三维网格序列压缩方法具体包括以下步骤：S101：动态数据采集；S102：三维骨架点获取；S103：参数化模板的准备；S104：参数化模板动作对齐；S105：参数本文档来自技高网...

【技术保护点】
1.基于人体模板对齐的三维网格序列压缩方法，其特征在于，包括以下步骤：步骤一，动态数据采集：利用动态环形相机拍摄系统，采集运动的人体对象视频序列，分别对所述人体对象视频序列的每帧图像进行多视角三维重建，得到各帧的网格模型，所述各帧的网格模型即组成视频网格序列；步骤二，三维骨架点获取：利用深度神经网络提取所述视频网格序列每一帧上人体的二维骨架点位置x，运用三角测量、集束调整算法以及人体骨架物理约束计算出人体三维骨架参数

【技术特征摘要】
1.基于人体模板对齐的三维网格序列压缩方法，其特征在于，包括以下步骤：步骤一，动态数据采集：利用动态环形相机拍摄系统，采集运动的人体对象视频序列，分别对所述人体对象视频序列的每帧图像进行多视角三维重建，得到各帧的网格模型，所述各帧的网格模型即组成视频网格序列；步骤二，三维骨架点获取：利用深度神经网络提取所述视频网格序列每一帧上人体的二维骨架点位置x，运用三角测量、集束调整算法以及人体骨架物理约束计算出人体三维骨架参数步骤三，参数化模板的准备：构建三维人体模型作为参数化模板，给所述参数化模板引入动作参数和形状参数，所述形状参数基于模板网格的测地距离，构建模板的嵌入式变形图实现；步骤四，参数化模板动作对齐：根据所述人体三维骨架参数调整所述参数化模板的三维骨架参数J，J∈[0，N)，使所述参数化模板位移到与所述网格模型相同的位置，并作为下一步形状对齐的初始位置；步骤五，参数化模板形状对齐：基于所述嵌入式变形图调整所述参数化模板的顶点，使所述参数化模板与所述网格模型对齐；步骤六，构建参数化模板网格序列：依次对所述视频网格序列的每一帧重复步骤三到步骤五，得到对应的参数化模板网格序列；步骤七，网格序列几何压缩：用所述参数化模板网格序列的三维几何代替所述视频网格序列的三维几何，对所述视频网格序列在几何空间上进行压缩；步骤八，网格序列纹理压缩：使用纹理贴图代替所述视频网格序列每帧的贴图，实现对所述视频网格序列在纹理上的压缩。2.如权利要求1所述的基于人体模板对齐的三维网格序列压缩方法，其特征在于，所述多视角三维重建是采用多视角图像...

【专利技术属性】
技术研发人员：陈欣，罗曦，李玉玮，张迎梁，
申请(专利权)人：叠境数字科技上海有限公司，
类型：发明
国别省市：上海,31