一种多视点类透视空间拟合与渲染的方法和装置制造方法及图纸

本发明专利技术实施例提供一种多视点类透视空间拟合与渲染的方法和装置，该方法包括：获取多视点的二维图；对二维图的三维信息进行透视处理和模糊神经网络处理，得到三维像素空间，对三维像素空间的像素点对点对齐得到第一类像素空间；对第一类像素空间进行三维重建得到三维模型，根据第一类像素空间调节三维模型的体积；根据三维模型中的数据确定体素包，对体素包进行体积渲染得到三维交互模型；将三维交互模型与虚拟场景进行空间拟合得到动态变化的三维模型空间。该方法可以真实地还原三维场景。景。景。

【技术实现步骤摘要】
一种多视点类透视空间拟合与渲染的方法和装置


[0001]本专利技术涉及三维视觉重建领域，具体地涉及一种多视点类透视空间拟合与渲染的方法和装置。

技术介绍

[0002]随着三维图形计算的发展，通过二维图像渲染重建得到三维视图的技术也在不断地发展。
[0003]现有的神经辐射场或 NeRF主要通过Instant NeRF工具实现，具体通过映射不同 2D 镜头的颜色和光线强度生成数据，并结合摄像机位置数据将这些来自不同位置的图像连接起来，渲染出一个完整的 3D 场景。该方法对1帧高清图像的推理时间超过50s，一个物体的建模时间长达两天以上，所以整体的推理速度太慢，而且具体的细致纹理也无法还原，存在着部分视角渲染效果不理想的问题。

技术实现思路

[0004]本专利技术实施例的目的是提供一种多视点类透视空间拟合与渲染的方法和装置，该方法可以对所有视角进行精准地还原。
[0005]为了实现上述目的，本专利技术实施例提供一种多视点类透视空间拟合与渲染的方法，该方法包括：获取多视点的二维图；对所述二维图的三维信息进行透视处理和模糊神经网络处理，得到三维像素空间，对所述三维像素空间的像素点对点对齐得到第一类像素空间；对所述第一类像素空间进行三维重建得到三维模型，根据所述第一类像素空间调节所述三维模型的体积；根据所述三维模型中的数据确定体素包，对所述体素包进行体积渲染得到三维交互模型；将所述三维交互模型与虚拟场景进行空间拟合得到动态变化的三维模型空间。
[0006]可选的，所述多视点的二维图至少包括四个不同视角的二维图；所述四个不同视角包括前视角、后视角、左视角及右视角；所述三维信息为通过识别和转换所述二维图得到的信息。
[0007]可选的，所述透视处理为对图像进行平行透视、成角透视、倾斜透视、一点透视、二点透视、三点透视中的至少一种处理。
[0008]可选的，所述模糊神经网络处理为人工神经网络处理和函数增强型神经网络处理相结合。
[0009]可选的，所述根据所述三维模型中的数据确定体素包，包括：对所述三维模型中的数据压缩封装得到体素包；所述三维模型中的数据至少包括光照贴图、网格体及多视点融合图。
[0010]可选的，所述空间拟合包括碰撞检测、场景空间建立、空间八叉树更新及视锥裁剪中的至少一种。
[0011]另一方面，本专利技术还提出一种多视点类透视空间拟合与渲染的装置，该装置包括：
获取模块，用于获取多视点的二维图；第一处理模块，用于对所述二维图的三维信息进行透视处理和模糊神经网络处理，得到三维像素空间，对所述三维像素空间的像素点对点对齐得到第一类像素空间；第二处理模块，用于对所述第一类像素空间进行三维重建得到三维模型，根据所述第一类像素空间调节所述三维模型的体积；第三处理模块，用于根据所述三维模型中的数据确定体素包，对所述体素包进行体积渲染得到三维交互模型；第四处理模块，用于将所述三维交互模型与虚拟场景进行空间拟合得到动态变化的三维模型空间。
[0012]可选的，所述多视点的二维图至少包括四个不同视角的二维图；所述四个不同视角包括前视角、后视角、左视角及右视角；所述三维信息为对通过识别和转换所述二维图得到的信息；所述透视处理为对图像进行平行透视、成角透视、倾斜透视、一点透视、二点透视、三点透视中的至少一种处理。
[0013]可选地，所述模糊神经网络处理包括人工神经网络处理和函数增强型神经网络处理。
[0014]可选的，所述根据所述三维模型中的数据确定体素包，包括：对所述三维模型中的数据压缩封装得到体素包；所述三维模型中的数据至少包括光照贴图、网格体及多视点融合图。
[0015]本专利技术的一种多视点类透视空间拟合与渲染的方法包括：获取多视点的二维图；对所述二维图的三维信息进行透视处理和模糊神经网络处理，得到三维像素空间，对所述三维像素空间的像素点对点对齐得到第一类像素空间；对所述第一类像素空间进行三维重建得到三维模型，根据所述第一类类像素空间调节所述三维模型的体积；根据所述三维模型中的数据确定体素包，对所述体素包进行体积渲染得到三维交互模型；将所述三维交互模型与虚拟场景进行空间拟合得到动态变化的三维模型空间。该方法可以通过少量的多视点二维图像还原出三维渲染场景，将多视点二维图像基于三维视觉重建，并将多视点二维图像转换为具有物理碰撞的三维数字场景，仅通过视频就可以在虚拟引擎中真实地还原出真实世界场景。
[0016]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0017]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：图1是本专利技术的一种多视点类透视空间拟合与渲染的方法的流程示意图；图2是本专利技术的一种多视点类透视空间拟合与渲染的方法的具体实施例示意图；图3是本专利技术的二维图处理的示意图；图4是本专利技术的模糊神经网络的示意图；图5是本专利技术的对三维模型编辑体积的示意图；图6是本专利技术的图像深层处理机制的示意图；图7是本专利技术的AI渲染管线的显示模式示意图。
具体实施方式
[0018]以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。
[0019]图1是本专利技术的一种多视点类透视空间拟合与渲染的方法的流程示意图，如图1 所示，该方法包括：步骤S101为获取多视点的二维图。优选的，所述多视点的二维图至少包括四个不同视角的二维图；所述四个不同视角包括前视角、后视角、左视角及右视角。对所述二维图进行识别和存储转换，使得二维信息转化为三维信息，得到三维信息；具体的，对于目标物体的进行多个视角拍摄采集图像，多视点代表多种角度拍摄采集图像，类似于把摄像的多个镜头分割再重新组合。可以通过摄像机或者手机来采集多视点的二维图像。
[0020]步骤S102为对所述二维图的三维信息进行透视处理和模糊神经网络处理，得到三维像素空间，对所述三维像素空间的像素点对点对齐得到第一类像素空间。所述透视处理为对图像进行平行透视、成角透视、倾斜透视、一点透视、二点透视、三点透视中的至少一种处理。所述透视透视处理即为模拟透视现象，将二维的图像基于三维视觉进行实时三维重建。按照一种具体的实施方式，如图3所示，通过AI模块识别多视点二维图像，获取二维图的第一类像素空间的数据信息。
[0021]所述模糊神经网络处理为人工神经网络处理和函数增强型神经网络处理相结合。具体的，人工神经网络(Artificial Neural Network，简称ANN )是指由大量的处理单元(神经元)互相连接而形成的复杂网络结构，是对人脑组织结构和运行机制的某种抽象、简化和模拟，以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。所述函数增强型神经网络 (FunctionalLinkNet，简称FLN)是一种无隐含层的新型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视点类透视空间拟合与渲染的方法，其特征在于，该方法包括：获取多视点的二维图；对所述二维图的三维信息进行透视处理和模糊神经网络处理，得到三维像素空间，对所述三维像素空间的像素点对点对齐得到第一类像素空间；对所述第一类像素空间进行三维重建得到三维模型，根据所述第一类像素空间调节所述三维模型的体积；根据所述三维模型中的数据确定体素包，对所述体素包进行体积渲染得到三维交互模型；将所述三维交互模型与虚拟场景进行空间拟合得到动态变化的三维模型空间。2.根据权利要求1所述的方法，其特征在于，所述多视点的二维图至少包括四个不同视角的二维图；所述四个不同视角包括前视角、后视角、左视角及右视角；所述三维信息为通过识别和转换所述二维图得到的信息。3.根据权利要求1所述的方法，其特征在于，所述透视处理为对图像进行平行透视、成角透视、倾斜透视、一点透视、二点透视、三点透视中的至少一种处理。4.根据权利要求1所述的方法，其特征在于，所述模糊神经网络处理为人工神经网络处理和函数增强型神经网络处理相结合。5.根据权利要求1所述的方法，其特征在于，所述根据所述三维模型中的数据确定体素包，包括：对所述三维模型中的数据压缩封装得到体素包；所述三维模型中的数据至少包括光照贴图、网格体及多视点融合图。6.根据权利要求1所述的方法，其特征在于，所述空间拟合包括碰撞检测、场景空间建立、空间八叉树更...

【专利技术属性】
技术研发人员：任志忠，
申请(专利权)人：北京天图万境科技有限公司，
类型：发明
国别省市：