一种三维模型局部变形分量提取方法和系统技术方案

本发明专利技术涉及一种三维模型局部变形分量提取方法和系统，包括：获取多个三维模型，在多个三维模型中选择一个三维模型作为参考模型，并将除参考模型以外的三维模型作为样本模型；根据参考模型和样本模型的顶点坐标，得出样本模型相对于参考模型的变形梯度；基于神经网络构建自编码器，自编码器包括编码器和译码器，译码器和编码器结构对称且共享权值；调用编码器对变形梯度进行卷积操作，生成列向量，通过对列向量进行线性映射处理，得到隐向量，并将隐向量作为样本模型的局部变形分量。本发明专利技术能够处理高精度的三维模型，并且在有噪声、有旋转变换、大尺度形变的模型库里也有优异表现。

A method and system for extracting local deformation components of 3D models

The invention relates to a method and a system for extracting local deformation components of a three-dimensional model, which comprises acquiring a plurality of three-dimensional models, selecting a three-dimensional model as a reference model in a plurality of three-dimensional models, and taking a three-dimensional model other than a reference model as a sample model, and obtaining the vertex coordinates of the reference model and the sample model. The deformation gradient of the sample model relative to the reference model is obtained; a self-encoder is constructed based on neural network, which includes an encoder and a decoder. The decoder and the encoder have symmetrical structure and share weights; the encoder is invoked to convolute the deformation gradient to generate column vectors, and the column vectors are mapped linearly. The implicit vector is obtained and the implicit vector is used as the local deformation component of the sample model. The invention can process high-precision three-dimensional model, and has excellent performance in the model library with noise, rotation transformation and large-scale deformation.

【技术实现步骤摘要】
一种三维模型局部变形分量提取方法和系统
本专利技术涉及计算机图形学和人工智能领域，特别涉及一种三维模型局部变形分量提取方法和系统。
技术介绍
随着三维(3D)扫描和建模技术的发展，高精度的三维网格模型在应用中逐渐普及。通过一定技术手段，研究人员得以从三维模型中挖掘出内在的局部变形分量，从而更好地对模型进行分析处理。近年来，这一项技术被广泛应用在三维模型变形、人脸人体重建、3D卡通动画及电影特效的制作。在上述应用中，早期的工作使用了主成分分析法(PCA)来提取网格模型的变形分量，然而此种变形分量是针对模型整体的，基于该种分量使用者无法对特定部分进行局部变形；稀疏约束对局部变形有很大的帮助，但标准的稀疏PCA方法并不适用于三维网格模型。后来，通过结合空间约束和稀疏项来提取局部变形分量，取得了比PCA更好的结果，然而由于此类算法模型建立在欧式坐标系中，它不能表示有大尺度旋转的模型；之后的工作采用了更多改进版的表示方式如：变形梯度和边-二面角表示，但是前者无法处理超过180度的旋转、后者对距离变化不敏感。现有的针对三维模型进行局部变形分量提取的方法有：Neumann等人于2013年在ACMTransactionsonGraphics发表的《Sparselocalizeddeformationcomponents》，但它无法处理大尺度形变；Wang等人于2016年在ComputerGraphicsForum上发表的发表的《Articulated-motionawaresparselocalizeddecomposition》对噪声数据敏感；Huang等人于2016年在ComputerGraphicsForum上发表的《Sparselocalizeddecompositionofdeformationgradients》同样无法处理大尺度形变。
技术实现思路
鉴于已有方法存在着各种缺陷，本法明提出了一种提取三维模型局部变形分量，并利用该变形分量局部变形三维模型：该方法利用了变形梯度，采用了机器学习中自编码器的框架，加以稀疏项约束，能够提取高质量的局部变形分量，并通过神经网络+变形梯度避开了变形梯度+稀疏项所面临的大尺度旋转问题。在多种应用场景的定量定性分析中，本专利技术表现优于现有技术。具体地说，本专利技术公开了一种三维模型局部变形分量提取方法，其中包括：步骤1、获取多个三维模型，在该多个三维模型中选择一个三维模型作为参考模型，并将除该参考模型以外的三维模型作为样本模型；步骤2、根据该参考模型和该样本模型的顶点坐标，得出该样本模型相对于该参考模型的变形梯度；步骤3、基于神经网络构建自编码器，该自编码器包括编码器和译码器，该译码器和该编码器结构对称且共享权值，其中该自编码器根据该变形梯度并结合损失函数，训练得到该权值；步骤4、调用该编码器对该变形梯度进行卷积操作，生成列向量，通过对该列向量进行线性映射处理，得到隐向量，并将该隐向量作为该样本模型的局部变形分量。该三维模型局部变形分量提取方法，其中还包括：步骤5、对该局部变形分量进行线性插值处理后，输入至该译码器，生成局部变形后的目标模型。该三维模型局部变形分量提取方法，其中步骤2中该神经网络包括：卷积层、重排列层和全链接层；其中该卷积层和该全连接层操作分别为：z＝Cf其中xi为模型编号为i的顶点的输入值，yi编号为i的顶点的输出值，nij为三维模型第i个顶点的1邻域中的第j个顶点的编号，j∈{1,2,...,Di}，Di为和顶点i相连接的点的个数，Wpoint,Wneighbour∈Rd×d为卷积操作的权重，d和d’分别表示卷积层输入输出的通道数，R指实数域，Rd’*d为取值为实数的d’*d的矩阵，b∈Rd'是该卷积层的偏移，f∈RμV为最后一层卷积输出的实数长度为μV的该列向量，其中μ为最后一层卷积层的输出维数，z∈RK为该隐向量，K为该隐向量的维数，矩阵C∈RμV×K将f线性映射至该隐向量。该三维模型局部变形分量提取方法，其中其中该损失函数为：其中L，λ1Ω(C)，λ2ν(Z)分别为损失函数、稀疏项，正则项，λ1,λ2分别为稀疏项权重和正则项权重，N为该样本模型m的顶点数，Xm是该变形梯度，为该变形梯度经过该译码器重建后的重建变形梯度，Zjm是该样本模型的第j维隐向量，θ为预设的正数值，矩阵C的子矩阵为线性变换系数，Λik是对应于的稀疏约束系数，K为该隐向量的维数，V是顶点的总数，i是定点编号。该三维模型局部变形分量提取方法，其中该该参考模型与该样本模型具有有同拓扑性质。本专利技术还公开了一种三维模型局部变形分量提取系统，其中包括：变形梯度获取模块，用于获取多个三维模型，在该多个三维模型中选择一个三维模型作为参考模型，并将除该参考模型以外的三维模型作为样本模型，根据该参考模型和该样本模型的顶点坐标，得出该样本模型相对于该参考模型的变形梯度；自编码器构建模块，用于构建基于神经网络的自编码器，该自编码器包括编码器和译码器，该译码器和该编码器结构对称且共享权值，其中该自编码器根据该变形梯度并结合损失函数，训练得到该权值；局部变形分量提取模块，用于调用该编码器对该变形梯度进行卷积操作，生成列向量，通过对该列向量进行线性映射处理，得到隐向量，并将该隐向量作为该样本模型的局部变形分量。该三维模型局部变形分量提取系统，其中还包括：目标模型生成模块，用于对该局部变形分量进行线性插值处理后，输入至该译码器，生成局部变形后的目标模型。该三维模型局部变形分量提取系统，其中该神经网络包括：卷积层、重排列层和全链接层；其中该卷积层和该全连接层操作分别为：z＝Cf其中xi为模型编号为i的顶点的输入值，yi编号为i的顶点的输出值，nij为三维模型第i个顶点的1邻域中的第j个顶点的编号，j∈{1,2,...,Di}，Di为和顶点i相连接的点的个数，Wpoint,Wneighbour∈Rd'×d为卷积操作的权重，d和d’分别表示卷积层输入输出的通道数，R指实数域，Rd’*d为取值为实数的d’*d的矩阵，b∈Rd'是该卷积层的偏移，f∈RμV为最后一层卷积输出的实数长度为μV的该列向量，其中μ为最后一层卷积层的输出维数，z∈RK为该隐向量，K为该隐向量的维数，矩阵C∈RμV×K将f线性映射至该隐向量。该三维模型局部变形分量提取系统，其中其中该损失函数为：其中L，λ1Ω(C)，λ2ν(Z)分别为损失函数、稀疏项，正则项，λ1,λ2分别为稀疏项权重和正则项权重，N为该样本模型m的顶点数，Xm是该变形梯度，为该变形梯度经过该译码器重建后的重建变形梯度，Zjm是该样本模型的第j维隐向量，θ为预设的正数值，矩阵C的子矩阵为线性变换系数，Λik是对应于的稀疏约束系数，K为该隐向量的维数，V是顶点的总数，i是定点编号。该三维模型局部变形分量提取系统，其中该该参考模型与该样本模型具有有同拓扑性质。与现有技术相比，本专利技术的优点在于：本专利技术提供了一种基于自编码器网络的三维模型局部变形分量提取方法，其相对于现有技术适用性更加广泛，能够处理高精度的网格模型，并且在有噪声、有旋转变换、大尺度形变的模型库里也有优异表现。在网络训练好之后，可以反复使用网络权重对三维模型进行高效的变形分量提取。附图说明图1为自编码器的卷积核结构和网络本文档来自技高网...

【技术保护点】
1.一种三维模型局部变形分量提取方法，其特征在于，包括：步骤1、获取多个三维模型，在该多个三维模型中选择一个三维模型作为参考模型，并将除该参考模型以外的三维模型作为样本模型；步骤2、根据该参考模型和该样本模型的顶点坐标，得出该样本模型相对于该参考模型的变形梯度；步骤3、基于神经网络构建自编码器，该自编码器包括编码器和译码器，该译码器和该编码器结构对称且共享权值，其中该自编码器根据该变形梯度并结合损失函数，训练得到该权值；步骤4、调用该编码器对该变形梯度进行卷积操作，生成列向量，通过对该列向量进行线性映射处理，得到隐向量，并将该隐向量作为该样本模型的局部变形分量。

【技术特征摘要】
1.一种三维模型局部变形分量提取方法，其特征在于，包括：步骤1、获取多个三维模型，在该多个三维模型中选择一个三维模型作为参考模型，并将除该参考模型以外的三维模型作为样本模型；步骤2、根据该参考模型和该样本模型的顶点坐标，得出该样本模型相对于该参考模型的变形梯度；步骤3、基于神经网络构建自编码器，该自编码器包括编码器和译码器，该译码器和该编码器结构对称且共享权值，其中该自编码器根据该变形梯度并结合损失函数，训练得到该权值；步骤4、调用该编码器对该变形梯度进行卷积操作，生成列向量，通过对该列向量进行线性映射处理，得到隐向量，并将该隐向量作为该样本模型的局部变形分量。2.如权利要求1所述的三维模型局部变形分量提取方法，其特征在于，还包括：步骤5、对该局部变形分量进行线性插值处理后，输入至该译码器，生成局部变形后的目标模型。3.如权利要求1所述的三维模型局部变形分量提取方法，其特征在于，步骤2中该神经网络包括：卷积层、重排列层和全链接层；其中该卷积层和该全连接层操作分别为：z＝Cf其中xi为模型编号为i的顶点的输入值，yi编号为i的顶点的输出值，nij为三维模型第i个顶点的1邻域中的第j个顶点的编号，j∈{1,2,...,Di}，Di为和顶点i相连接的点的个数，Wpoint,Wneighbour∈Rd’×d为卷积操作的权重，d和d’分别表示卷积层输入输出的通道数，R指实数域，Rd’*d为取值为实数的d’*d的矩阵，b∈Rd’是该卷积层的偏移，f∈RμV为最后一层卷积输出的实数长度为μV的该列向量，其中μ为最后一层卷积层的输出维数，z∈RK为该隐向量，K为该隐向量的维数，矩阵C∈RμV×K将f线性映射至该隐向量。4.如权利要求1或2所述的三维模型局部变形分量提取方法，其特征在于，其中该损失函数为：其中L，λ1Ω(C)，λ2ν(Z)分别为损失函数、稀疏项，正则项，λ1,λ2分别为稀疏项权重和正则项权重，N为该样本模型m的顶点数，Xm是该变形梯度，为该变形梯度经过该译码器重建后的重建变形梯度，Zjm是该样本模型的第j维隐向量，θ为预设的正数值，矩阵C的子矩阵为线性变换系数，Λik是对应于的稀疏约束系数，K为该隐向量的维数，V是顶点的总数，i是定点编号。5.如权利要求1所述的三维模型局部变形分量提取方法，其特征在于，该该参考模型与该样本模型具有有同拓扑性质。6.一种三维模型局部变形...

【专利技术属性】
技术研发人员：高林，乔怿凌，谈清扬，杨洁，夏时洪，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11