基于人工智能的三维模型生成方法及系统技术方案

本发明专利技术涉及一种基于人工智能的三维模型生成方法及系统，包括：根据多视角图片和相对应的相机参数，训练神经渲染模块，以获得隐式三维模型，其中，多视角图片包含目标对象多个角度的静态图像；基于隐式三维模型生成相对应的箱笼约束；对箱笼约束进行形变，得到形变箱笼；根据形变箱笼，并结合隐式三维模型的箱笼坐标，得到形变隐式三维模型；以及根据相机参数渲染形变隐式三维模型，生成渲染三维模型。本发明专利技术可以在具有类似拓扑结构与几何特征的物体间进行形变迁移，可自动的改变隐式三维物品的外形，快速生成大量高质量模型。既可以利用网络模块自动化的对给定目标进行编辑也可以手动的对三维目标进行外形编辑。以手动的对三维目标进行外形编辑。以手动的对三维目标进行外形编辑。

【技术实现步骤摘要】
基于人工智能的三维模型生成方法及系统


[0001]本专利技术涉及三维模型的生成与渲染，尤其涉及三维形象自动化生成与编辑，以及一种基于人工智能的三维模型生成方法及系统。

技术介绍

[0002]三维模型的生成与渲染，在数字电影、动画、电子游戏等领域均有着广泛的应用，随着数字媒体技术的不断发展，在虚拟现实、增强现实以及元宇宙领域也有相当的应用规模。
[0003]三维对象在实际记录与渲染时，依据其表示方式不同可分为显式三维模型与隐式三维模型两大类。
[0004]其中显示三维模型将对象的全部信息：如形状、大小、色彩等直接进行离散化存储，在实际三维渲染与驱动时可直接对其进行访问与操作，代表性的表示形式主要有：多边形网格体、三维点云等。显式三维模型是当前动画、游戏、影视制作等领域广泛采用的标准。而隐式三维模型中对象的信息则存储于函数表达式中，无法直接获取三维模型的直观信息，如代数曲面、符号距离场等。
[0005]三维模型的生成是指根据一定的三维模型的数字表示形式，如多边形网格体、点云、隐式三维模型等，利用程序或神经网络创建或描述特定物体的空间结构几何特征以及外观色彩等，生成的三维模型可通过渲染算法生成图片或动画用于数字展示。
[0006]显式三维模型的生成或生产主要通过1.利用三维建模软件，利用人工对多边形网格体等进行编辑、形变。2.利用三维扫描仪，对真实物体进行扫描与测量，将测量结果输入三维软件中进行优化处理，生成三维模型。
[0007]而隐式三维模型由于无法直接对其三维分布进行定义，大多通过多视角图片与对应相机参数利用三维物体的多视角一致性进行重建。
[0008]现有的显式模型及其生成方式缺点：1.建模难：显式三维模型以离散方式(顶点，多边形)对三维对象进行描述，受计算复杂度、存储空间限制，难以实现具有复杂结构的三维目标的高精度表达。2.成本高：同时，显式模型对三维目标的描述将几何特征与色彩纹理信息分别进行存储，要实现高拟真度的三维模型最终渲染效果，需要耗费大量专业人力成本对三维模型进行制作。
[0009]现有的隐式模型及其形变方式缺点：1.形变难，隐式三维物体的几何结构存储于神经网络之中无法直接对其进行编辑与调整。2.泛化难：隐式三维模型的形变涉及到大量与目标相关先验条件，导致方法不具有普适性，仅能作用于特定目标，如人体、人脸等。

技术实现思路

[0010]有鉴于现有技术的上述缺陷，针对显式模型建模、驱动方法，本专利技术旨在解决高拟真度三维模型建模成本高，流程慢的缺点。本专利技术通过神经渲染技术，可直接通过多视角图片对三维模型完成隐式重建。从而规避了传统建模的模型塑造流程，节省了专业人员的建
模成本。同时本专利技术采用的光线追踪算法可准确的模拟光线在真实物体上的作用效果，无需高精度材质即可实现真实自然的渲染效果。
[0011]针对需要快速生成大量三维物体的场景，本专利技术通过形变迁移技术，依据提供模版，可自动生成大量高精度的三维模型，无需重复建模，可节约制作的人工成本与时间。
[0012]本专利技术提供了一种基于人工智能的三维模型生成方法，包括以下步骤：根据多视角图片和相对应的相机参数，训练神经渲染模块，以获得隐式三维模型，其中，多视角图片包含目标对象多个角度的静态图像；基于隐式三维模型生成相对应的箱笼约束；对箱笼约束进行形变，得到形变箱笼；根据形变箱笼，并结合隐式三维模型的箱笼坐标，得到形变隐式三维模型；以及根据相机参数渲染形变隐式三维模型，生成渲染三维模型。
[0013]在一些实施例中，可选的，训练神经渲染模块进一步包括：利用光线追踪原理从相机参数计算出多视角图片中各像素对应的光线路径；以及利用光路可逆原理对光线路径上的各点进行积分，训练神经渲染模块，以获得隐式三维模型。
[0014]在一些实施例中，可选的，基于隐式三维模型生成相对应的箱笼约束进一步包括：从隐式三维模型中提取目标对象的几何外形；以及利用优化算法生成与几何外形相对应的箱笼约束。
[0015]在一些实施例中，可选的，箱笼约束被配置为能够完全包裹住目标对象，且在外型上与目标对象对齐。
[0016]在一些实施例中，可选的，对箱笼约束进行形变进一步包括：对箱笼约束进行自主形变。
[0017]在一些实施例中，可选的，对箱笼约束进行自主形变进一步包括：将目标动模型输入形变迁移模块，形变迁移模块根据目标动作序列的几何外形，利用优化算法对箱笼约束做出对应形变。
[0018]在一些实施例中，可选的，根据形变箱笼，并结合隐式三维模型的箱笼坐标，得到形变隐式三维模型进一步包括：根据箱笼约束计算出隐式三维模型的箱笼坐标，其中，箱笼坐标不随箱笼的形变而变化。
[0019]在一些实施例中，可选的，根据相机参数渲染形变隐式三维模型进一步包括：根据箱笼坐标，基于形变后箱笼约束与形变前后坐标的不变性，获得隐式三维模型各点的运动方向距离。
[0020]在一些实施例中，可选的，根据相机参数渲染形变隐式三维模型进一步包括：根据相机参数，对形变隐式三维模型进行光路积分；利用箱笼坐标计算出形变隐式三维模型的形变方向距离；以及输入神经渲染模块，得到相对应的像素色彩值。
[0021]本专利技术还提供一种基于人工智能的三维模型生成系统，包括：训练模块，被配置为能够根据多视角图片和相对应的相机参数，训练神经渲染模块，以获得隐式三维模型，其中，多视角图片包含目标对象多个角度的静态图像；箱笼模块，被配置为能够基于隐式三维模型生成相对应的箱笼约束，以及对箱笼约束进行形变，得到形变箱笼；隐式模型模块，被配置为能够根据形变箱笼，并结合隐式三维模型的箱笼坐标，得到形变隐式三维模型；以及根据相机参数渲染形变隐式三维模型，生成渲染三维模型。
[0022]在一些实施例中，可选的，箱笼模块进一步被配置为能够：从隐式三维模型中提取目标对象的几何外形；以及利用优化算法生成与几何外形相对应的箱笼约束。
[0023]在一些实施例中，可选的，箱笼模块进一步被配置为能够：对箱笼约束进行自主形变。
[0024]本专利技术还提供一种基于人工智能的三维模型生成装置，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，处理器被配置为能够在执行计算机程序时实现根据上述的基于人工智能的三维模型生成方法的步骤。
[0025]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时能够实现上述的基于人工智能的三维模型生成方法的步骤。
[0026]本专利技术还提供一种计算机程序产品，当其在计算机上运行时令计算机能够实现上述的基于人工智能的三维模型生成方法的步骤。
[0027]本专利技术提供的技术方案相对于现有技术，至少具有以下改进：
[0028]1.与显式三维模型(多面体、点云等)相比，本专利技术能实现更真实自然的渲染精度，且模型的存储体积远小于显示模型。
[0029]2.与传统建模方式相比，本专利技术可通过多视角图片直接完成三维模型的创建，节约了建模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的三维模型生成方法，其特征在于，包括以下步骤：根据多视角图片和相对应的相机参数，训练神经渲染模块，以获得隐式三维模型，其中，所述多视角图片包含目标对象多个角度的静态图像；基于所述隐式三维模型生成相对应的箱笼约束；对所述箱笼约束进行形变，得到形变箱笼；根据所述形变箱笼，并结合所述隐式三维模型的箱笼坐标，得到形变隐式三维模型；以及根据所述相机参数渲染所述形变隐式三维模型，生成渲染三维模型。2.根据权利要求1所述的基于人工智能的三维模型生成方法，其特征在于，基于所述隐式三维模型生成相对应的箱笼约束进一步包括：从所述隐式三维模型中提取所述目标对象的几何外形；以及利用优化算法生成与所述几何外形相对应的所述箱笼约束。3.根据权利要求1所述的基于人工智能的三维模型生成方法，其特征在于：所述箱笼约束被配置为能够完全包裹住所述目标对象，且在外型上与所述目标对象对齐。4.根据权利要求1所述的基于人工智能的三维模型生成方法，其特征在于，对所述箱笼约束进行形变进一步包括：对所述箱笼约束进行自主形变。5.一种基于人工智能的三维模型生成系统，其特征在于，包括：训练模块，被配置为能够根据多视角图片和相对应的相机参数，训练神经渲染模块，以获得隐式三维模型，其中，所述多视角图片包含目标对象多个角度的静态图像；箱笼模块，被配置为能够基于所述隐式三维模型生成相对应的箱笼约束，以及对所述箱笼约...

【专利技术属性】
技术研发人员：朱文瀚，彭乙骢，
申请(专利权)人：上海学深智能科技有限公司，
类型：发明
国别省市：