基于照片采集的动态混合变形的建模方法及系统技术方案

本发明专利技术提供了一种基于照片采集的动态混合变形的建模方法及系统，包括：步骤S1：根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型，将多个三维模型按照一定比例进行线性混合得到基础粗模型；步骤S2：利用照片中目标对象的轮廓比例修正基础粗模型，对修正后的基础粗模型进行表面三角形细分得到细分基础模型；步骤S3：根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像识别，依据目标对象类别提取表面特征点；步骤S4：基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型；步骤S5：将细节表面模型根据三维投影原理映射到细分基础模型上，得到混合后的三维模型。三维模型。三维模型。

【技术实现步骤摘要】
基于照片采集的动态混合变形的建模方法及系统


[0001]本专利技术涉及图像渲染
，具体地，涉及基于照片采集的动态混合变形的建模方法及系统。

技术介绍

[0002]在计算机构建数字三维物体表面的处理过程中，主体造型建模和表面细节建模共同决定精确性。表面的精细度决定了建模的质量和速度，而美术建模专业的工程师无论借助建模软件工具，还是徒手传统雕刻工艺，都能做出精细的三维模型作品，只是熟练程度和时间的差别。
[0003]以工业品为例（零部件、物品、装备等），这些对象的造型有繁有简，各式各样分类界限模糊；以动物型体为例（四肢动物，飞禽，爬行，鱼等），这些对象的大类造型相似但区别在面部细节与表皮；以人类为例，面容是主要的区别但也是细节要求最高的建模区域。
[0004]以上是以目标对象来划分大类，想采用传统的建模与雕刻方法固然可以一一解决，但为了更快速的完成对象建模和精细度加工，并且满足不同类别的建模特点，就增加计算机对孪生目标上实施难度。
[0005]以上客观描绘了孪生建模的纯粹性和实时性，也引入了动态环境对孪生计算带去的影响。
[0006]专利文献CN113269886A（申请号：202110473010.7）公开了一种多源数据融合的边坡三维数字孪生模型建立方法，包括：采用倾斜摄影方法获得边坡地表模型；采用空间插值算法生成三维多层数字高程模型；生成地表地形等高线；采用空间插值算法重构地形面；利用重构的地形面网格替代多层DEM的地表层网格，形成修正的三维多层DEM，基于网格地层分析生成三维地层体元模型；生成边坡表面模型，生成结构体模型；将三维地层体元模型、边坡表面模型与结构体模型整合形成边坡三维数字孪生模型；按统一拓扑关系产生边坡三维数字孪生模型数据；在实现多源数据的有效融合，建立边坡三维数字孪生模型；可以为岩土工程计算分析提供仿真模型，采用多种几何拓扑描述方式，数据形式适应性强。该专利与本专利技术相比，看似划分孪生对象的基准有相似性，都阐述了对模型重构的过程，但按照划分基准设计了不同的匹配计算方法和混合模型的过程，解决的问题和方法是不同的。
[0007]专利文献CN114099016A（申请号：202111353026.0）公开了基于数字孪生模型的固定矫正与隐形矫正混合治疗系统，包括数据采集模块，用于采集患者的牙颌面颈部软硬组织影像数据等；数据处理模块，用于对采集的图像及数据进行处理；数字孪生模块，用于将数据采集信息、处理信息、数据扫描信息进行统一整合，并构建数字孪生模型及运算处理；机器学习模块，用于采集固定矫正与隐形矫正混合治疗的数据处理及方案设计；方案选择模块，用于固定矫治和/或隐形矫治方案的选择；矫治效果预测模块，用于输出牙齿矫治后的软硬组织变化情况；方案修订模块，根据预测的矫治效果，修订首选的治疗方案。该专利与本专利技术相比，看似划分孪生对象的基准有相似性，都阐述了面部的生理结构和预测，但按照划分基准设计了不同的匹配计算方法和组织形式，实际上解决的问题和方法是不同的。
[0008]专利文献CN113287118A（申请号：202080007533.6）公开了用于面部再现的系统和方法，包括接收目标视频和源视频，目标视频包括目标面部并且源视频包括源面部。该方法包括基于目标面部确定目标面部表情。该方法包括基于源面部确定源面部表情。该方法使用参数化面部模型合成输出面部。输出面部包括其中修改目标面部表情以模仿源面部表情的目标面部。该方法包括基于深度神经网络生成嘴部和眼部区域，并且将输出面部、嘴部和眼部区域结合以生成输出视频的帧。该专利与本专利技术相比，对比专利关注孪生模型的个体上的数学物理机能的计算处理，与本专利技术所覆盖领域有相交，但实际区别明显，对于模型的混合叠加设计方法不同，输出和输入也有很大不同。
[0009]专利文献CN108765550A（申请号：201810438458.3）公开了一种基于单张图片的三维人脸重建方法，包括步骤：1)基于FLAME模型的脸部重建(脸部重建)；2)FLAME网格脸部细节增强(细节增强)；3)FLAME网格贴图补全(贴图补全)。主要流程：给定输入人脸图像，该算法首先使用从图像提取的人脸特征点并结合FLAME网格的三维特征点，建立特征点匹配能量，求解出人脸形状，接着借助图像中人脸区域的高频信息，引导人脸高度场的网格顶点移动，重建精细脸部细节，最后通过构造的FLAME反照率率参数化模型对人脸贴图进行补全，并去除光照信息。该专利与本专利技术相比，看似是有解决问题的现象交集，实则问题的核心要素，解决目标和方法都不同，参考问是做特征提取，而本专利技术是集合粗模型特征和表面细分的双重影响，适应不同物体表层精细度控制，另外本专利技术对不同类别的物体做了快速建模和混合分类，在混合过程中也做了详细顶点计算设计，对于多种参与模型多方混合加变形产生的过程，对待解决的问题有针对性。
[0010]专利文献CN110363858A（申请号：201910524707.5）公开了一种三维人脸重建方法及系统，方法包括：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；获取所述目标人脸的标志点的三维坐标和目标人脸的原始目标人脸三维点云模型；筛选出目标人脸的点云模型；进行点云粗匹配，得到粗配准的目标人脸三维点云模型；进行精确配准，得到精确配准的目标人脸三维点云模型；进行融合去重、网格化以及网格光顺，然后进行纹理增强得到优化后的目标人脸网格模型；制作纹理图，对优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。该专利与本专利技术相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。
[0011]专利文献CN110796719A（申请号：201810776319.1）公开了一种实时人脸表情重建方法，步骤包括：人工制作29个脸型模型以及46个表情模型。通过对输入的一张或者多张图片或视频进行人脸关键点检测。利用输入照片或者视频检测得到的关键点，以及预先标定好的人脸三维模型的关键点，通过最小化误差的准则对人脸关键点进行拟合脸型，通过照片或视频提取人脸纹理重建无表情的人脸三维模型。对于后续输入的视频，对视频中的人脸关键点进行实时检测，通过最小化关键点和模型关键点误差的方式拟合人脸表情参数。将人脸表情参数应用到已经重建好的表情人脸模型中实现人脸表情的实时重建。该专利与本专利技术相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。
[0012]专利文献CN111340930A（申请号：202010155747.X）公开了一种融合多尺度邻域信息的三维几何模型形状映射方法，通过以下技术方案实现。输入为源形状和目标形状的网
格模型。首先分别提取源形状和目标形状的拉普拉斯矩阵的特征向量作为特征函数。接下来对三维模型的顶点提取邻域特征。在多个尺度的邻域范围内，可以得到多个不同的邻域特征，并使用求解得到不同尺度下的基函数空间下的映射矩阵，然后进行融合。最后还原得到源形状与目标形状的点对点映射关系。该专利与本专利技术相比，提取信息和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于照片采集的动态混合变形的建模方法，其特征在于，包括：步骤S1：根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型，将多个三维模型按照一定比例进行线性混合得到基础粗模型；步骤S2：利用照片中目标对象的轮廓比例修正基础粗模型，对修正后的基础粗模型进行表面三角形细分得到细分基础模型；步骤S3：根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像进行识别，依据目标对象类别提取相应表面特征点；步骤S4：基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型；步骤S5：将细节表面模型根据三维投影原理映射到细分基础模型上，得到混合后的三维模型。2.根据权利要求1所述的基于照片采集的动态混合变形的建模方法，其特征在于，所述步骤S1采用：步骤S1.1：根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型；步骤S1.2：将照片中目标对象进行拆分，得到拆分后的若干个子目标对象；步骤S1.3：根据拆分后的每个子目标对象与多个三维模型的相似度确定混合比例，并按照确定的混合比例进行线性混合，得到混合后子目标对象模型；步骤S1.4：将混合后子目标对象模型进行组合得到基础粗模型。3.根据权利要求1所述的基于照片采集的动态混合变形的建模方法，其特征在于，所述步骤S2采用：步骤S2.1：根据照片中目标对象的细节提取目标对象的轮廓比例，并映射到基础粗模型上进行修剪和挤压，得到修正后的基础粗模型；步骤S2.2：在修正后的基础粗模型的基础上，根据照片上的灰度信息梯度分布开展表面三角形细分得到细分基础模型。4.根据权利要求1所述的基于照片采集的动态混合变形的建模方法，其特征在于，所述步骤S4采用：步骤S4.1：将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点，并将提取的表面特征点与代表点所在坐标做映射处理，通过两者线性插值得到混合后的顶点新坐标；步骤S4.2：采用指数衰减对混合后的顶点新坐标进行数据更新，得到细分表面模型。5.根据权利要求1所述的基于照片采集的动态混合变形的建模方法，其特征在于，对得到的混合后的三维模型进行边缘过渡图像处理，包括局部锐化过渡或融合过渡。6.一种基于...

【专利技术属性】
技术研发人员：张卿，徐莹莹，
申请(专利权)人：盾钰上海互联网科技有限公司，
类型：发明
国别省市：