【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体为基于深度信息监督的超大场景稀疏图像渲染方法及系统。
技术介绍
1、新视角合成任务是三维视觉领域的经典问题，旨在从若干已知视角合成/渲染得到新视角图像，在ar/vr等领域应用广泛。这项任务的目标是通过已知的视角信息生成以前未见过的视角图像，从而实现场景的全方位观察和交互体验。传统的新视点合成任务主要关注在有限的视角范围内进行图像合成，而十亿像素超大场景新视角渲染任务则着重于对大场景对象进行高分辨率渲染，这对于沉浸式交互、元宇宙等产业来说是至关重要的关键技术。
2、现有技术中，超大场景新视角渲染任务面临一些独特的挑战。首先，输入视角通常是稀疏的，也就是说我们只能从有限的视角了解场景，需要根据这些有限的信息来生成完整的图像。其次，超大场景新视角渲染任务还要应对户外复杂的照明条件，这包括多种光源和阴影的影响，这增加了渲染算法的复杂性。此外，超大场景新视角渲染任务还要处理无边界的背景，这意味着需要考虑场景的无限延伸，以使合成图像更具真实感。最后，超大场景新视角渲染任务还需要处理移动的行人、车辆等动态元素，这增加了场景中的复杂性和渲染的难度。立体匹配是mvs方法的核心概念，其主要目标是从不同视角的图像中找到匹配的对应点，以恢复出二维图像中的三维信息。这个过程涉及校正后的一对图像，通过获取视差图来实现立体匹配。而通过匹配得到的视差图可以转化为深度图，进而提取图像的三维信息，完成3d重建任务。mvs算法的性能主要受限于输入图像的质量和摄像机参数，因此底层用于计算摄像机参数的sfm算法在很大程度上决定了
3、但是，传统的方法或基于神经辐射场的方法等都无法有效解决超大场景新视角渲染任务的挑战。因此，面对规模和效率等方面的挑战，我们迫切需要进行原始创新，开发出能够应对十亿像素级别渲染的新算法和技术。
技术实现思路
1、本专利技术的目的在于提供基于深度信息监督的超大场景稀疏图像渲染方法及系统，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：基于深度信息监督的超大场景稀疏图像渲染方法，所述方法包括以下步骤：
3、采集多视角的高分辨率图像作为输入数据，图像通过不同的摄像机或移动单个摄像头获取，其中每个视角的图像都包含了对场景的不同观察角度；
4、基于多视图立体视觉方法对场景进行三维重建，方法使用多个视角的图像，并结合计算机视觉中的立体匹配算法，通过对图像中的特征点进行匹配和三角测量，恢复场景的三维结构，并根据重建过程中的视差信息获取每张图像中各个像素点的深度信息；
5、在获得深度信息后，将重建出的三维点投影到二维平面上，进行初步的渲染，渲染利用相机参数和深度信息，将三维点转换为对应的二维像素坐标，并为每个像素赋予相应的颜色值，以获得一个初步的渲染结果；
6、基于深度信息监督的训练新视角合成模型方法，其中，将投影后的图像和原始图像组成图像对，利用这些图像对训练一个深度学习模型，用于合成新的视角。在训练新视角合成模型时，引入距离损失函数来监督模型的训练过程，以提高其渲染效果，距离损失函数监督新视角生成模型对深度的估计和真实深度信息之间的差异，促使模型生成更加逼真的合成图像，提升模型的渲染效果。
7、优选的，进一步包括以下步骤：
8、通过对投影后的图像和原始图像进行像素级对齐，建立投影-原始图像对之间的对应关系；利用建立的对应关系，利用深度学习模型合成新视角的图像；
9、借助深度信息优化新视角图像，包括调整像素的颜色值和光照条件，以提高渲染效果；通过迭代训练和优化，不断改善新视角合成模型的性能，并增强合成图像的逼真度和真实感。
10、优选的，进一步包括以下步骤：
11、在训练新视角合成模型时，引入包括但不限于深度信息损失函数、纹理损失函数、光照损失函数监督模型的训练过程，以提高合成图像的光照效果和真实感；
12、深度信息损失函数用于约束合成图像与真实深度信息之间的一致性，以确保生成的图像具有准确的深度信息；
13、纹理损失函数用于比较合成图像与参考图像之间的纹理特征差异，以增强合成图像的细节和真实感；
14、光照损失函数用于衡量合成图像与真实光照条件之间的差异，以提升合成图像的光照效果和真实感；
15、通过调整损失函数的权重和设计合理的训练策略，进一步优化渲染效果和合成图像的质量；
16、通过综合利用多个损失函数，提升了图像渲染的细节、真实性和光照效果，为超大场景稀疏图像渲染提供了一种先进和可靠的解决方案。
17、优选的，进一步包括以下步骤：
18、在训练新视角合成模型过程中引入包括但不限于unet，生成对抗网络，变分自编码器方法，进一步提升合成图像的逼真度和真实感，提高新视角生成模型的渲染效果；
19、通过选择适合的网络结构和训练策略的组合，进一步提升图像渲染的真实性和视觉效。
20、一种基于深度信息监督的超大场景稀疏图像渲染系统，所述系统由采集模块、三维重建模块、初步渲染模块以及渲染模块组成；
21、采集模块，采集多视角的高分辨率图像作为输入数据，图像通过不同的摄像机或移动单个摄像头获取，其中每个视角的图像都包含了对场景的不同观察角度；
22、三维重建模块，基于多视图立体视觉方法对场景进行三维重建，方法使用多个视角的图像，并结合计算机视觉中的立体匹配算法，通过对图像中的特征点进行匹配和三角测量，恢复场景的三维结构，并根据重建过程中的视差信息获取每张图像中各个像素点的深度信息；
23、初步渲染模块，在获得深度信息后，将重建出的三维点投影到二维平面上，进行初步的渲染，渲染利用相机参数和深度信息，将三维点转换为对应的二维像素坐标，并为每个像素赋予相应的颜色值，以获得一个初步的渲染结果；
24、渲染模块，基于深度信息监督的训练新视角合成模型方法，将投影后的图像和原始图像组成图像对，利用这些图像对训练一个深度学习模型，用于合成新的视角；在训练新视角合成模型时，引入距离损失函数来监督模型的训练过程，以提高其渲染效果，距离损失函数监督新视角生成模型对深度的估计和真实深度信息之间的差异，促使模型生成更加逼真的合成图像，提本文档来自技高网...
【技术保护点】
1.基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：进一步包括以下步骤：
3.根据权利要求1所述的基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：进一步包括以下步骤：
4.根据权利要求1所述的基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：进一步包括以下步骤：
5.一种根据权利要求1-4任意一项所述的基于深度信息监督的超大场景稀疏图像渲染方法的基于深度信息监督的超大场景稀疏图像渲染系统，其特征在于：所述系统由采集模块、三维重建模块、初步渲染模块以及渲染模块组成；
6.根据权利要求5所述的基于深度信息监督的超大场景稀疏图像渲染系统，其特征在于：采集模块，通过对投影后的图像和原始图像进行像素级对齐，建立投影-原始图像对之间的对应关系；利用建立的对应关系，利用深度学习模型合成新视角的图像；
7.根据权利要求5所述的基于深度信息监督的超大场景稀疏图像渲染系统，其特征在于：三维重建模块，在训练
8.根据权利要求5所述的基于深度信息监督的超大场景稀疏图像渲染系统，其特征在于：渲染模块，在训练新视角合成模型过程中引入包括但不限于UNet，生成对抗网络，变分自编码器方法，进一步提升合成图像的逼真度和真实感，提高新视角生成模型的渲染效果；
...【技术特征摘要】
1.基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：进一步包括以下步骤：
3.根据权利要求1所述的基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：进一步包括以下步骤：
4.根据权利要求1所述的基于深度信息监督的超大场景稀疏图像渲染方法，其特征在于：进一步包括以下步骤：
5.一种根据权利要求1-4任意一项所述的基于深度信息监督的超大场景稀疏图像渲染方法的基于深度信息监督的超大场景稀疏图像渲染系统，其特征在于：所述系统由采集模块、三维重建模块、初步渲染模块以及渲染模块组成；
6.根据权利要求5所述的基于深度信...
【专利技术属性】
技术研发人员：李晗，刘琛，杨镇铭，安晓博，尹萍，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。