【技术实现步骤摘要】
本专利技术属于计算机视觉和新视角合成领域，具体为一种用于模糊场景的神经辐射场新视角合成方法。
技术介绍
1、新视角合成是计算机视觉和计算机图形学内一项重要的任务，具体来说，新视角合成任务需要根据给定的位姿对应的图像，生成指定位姿下的新图像。目前，神经辐射场作是新视角合成领域的主流方法。该方法通过输入三维坐标和方向，能够生成逼真的图像。
2、在给定清晰图像的条件下，神经辐射场可以生成清晰视角的图像。然而，在现实世界中受到各种内外因素的影响，采集图像往往会产生模糊。这对神经辐射场重建的结果会造成严重的影响，会产生各种伪影。现有的一些基于神经辐射场的方法仅使用与图像无关的二维坐标计算模糊核，缺乏强力的特征信息指导。
3、现有技术区别如下：
4、与专利cn117745924a“基于深度无偏估计的神经渲染方法、系统及设备”的技术对比中；
5、1、专利cn117745924a中，涉及一个深度无偏估计渲染网络。该网络通过逐次将原始图像输入深度估计网络来优化初步估计的深度图，利用独创的深度估计网络损失和无偏深度损失对相邻帧的深度差异进行精确调整，能够产生在多个视角下保持一致的无偏差深度图。该专利将深度估计应用于重建无偏估计下的深度图颜色体密度。
6、2、在本专利中，涉及一种基于深度特征的模糊核。基于图像采样过程使用同一相机且每幅图像模糊同时发生的假设，使用单目深度特征作为多层感知机的输入用于建模刚性模糊核，利用深度对模糊的影响，表征每幅图像的模糊过程。具体来说，对于原始光线的输入，计算
7、3、专利cn117745924a中通过涉及的多重损失函数进行训练。具体计算包括五部分组成，包括重建损失、深度估计网络损失、无偏深度损失、点云损失和光度损失五部分组成。为了实现多张初始深度视图之间的深度一致性，特别引入了无偏深度损失项，这一损失项通过一个专门设计的网络分支来估计采样点的深度，从而优化深度图的一致性。
8、4、在本专利中涉及一个复合损失，具体包括重建损失和判别损失两部分。重建损失使用加权得到的模糊像素值与真实输入模糊图像计算像素级的损失；判别损失预先训练一个用于模糊图像的对抗生成网络，冻结判别器权重后将其用于评估模型生成图像的清晰程度，从新的角度对生成图像质量进行评估。
9、与专利cn 116524115 a“基于神经辐射场的多视图抗运动模糊三维重建系统及方法”的技术对比中；
10、1、专利cn 116524115 a中，涉及一个可变稀疏核生成单元，针对从不同视角拍摄的图片生成相应的模糊核，以保证目标在各个视角下的运动模糊具有一致性。通过引入视角嵌入来进一步约束模糊核，从而增强了重建过程中的抗噪声性能。利用这些模糊核对真实的清晰图片进行模糊处理，并将清晰图片作为基准，通过迭代优化提高抗模糊生成器的精确度。
11、2、在本专利中，涉及一种基于深度特征的模糊核。基于图像采样过程使用同一相机且每幅图像模糊同时发生的假设，使用单目深度特征作为多层感知机的输入用于建模刚性模糊核，利用深度对模糊的影响，表征每幅图像的模糊过程。具体来说，对于原始光线的输入，计算对应帧的刚性模糊核计算各采样点的旋转平移从而得到刚性变换后的光线和对应每条光线的渲染得到的颜色在最终模糊像素上的贡献权重。最后通过颜色与权重加权求和得到最终的模糊像素值。本专利对于深度图提取特征指导作为网络的输入。
12、3、专利cn 116524115 a中，抗模糊生成器重建出的清晰图像集输入抗模糊判决器，同时，真实的多视角清晰图片集也作为真值输入。通过损失函数评估生成器的效果，若未达最佳，继续训练优化参数。达到最优时，保存生成器的网络模型及参数。这个过程旨在优化生成器性能，确保输出最高质量的图像。
13、4、在本专利中涉及一个复合损失，具体包括重建损失和判别损失两部分。重建损失使用加权得到的模糊像素值与真实输入模糊图像计算像素级的损失；判别损失预先训练一个用于模糊图像的对抗生成网络，冻结判别器权重后将其用于评估模型生成图像的清晰程度，从新的角度对生成图像质量进行评估。
技术实现思路
1、为解决上述技术问题，本专利技术提出了一种用于模糊场景的神经辐射场新视角合成方法，本专利技术的方法充分考虑了深度和相机运动模糊之间的关系，使用深度特征指导光线的刚性形变来模拟模糊产生的过程，同时根据深度特征生成颜色组合权重，来合成最终的模糊图像。本专利技术可以根据一组由受到相机运动模糊影响的图像输入，生成逼真的清晰图像。
2、为实现上述目的，本专利技术采取的技术方案是：
3、一种用于模糊场景的神经辐射场新视角合成方法，包括模糊核优化阶段和神经辐射场重建阶段，各阶段如下，其特征在于：
4、1)模糊核优化阶段；
5、引入深度特征作为先验指导模糊核学习模糊光线的分布和每条模糊光线在二维平面上投影的颜色对最后计算的模糊像素贡献程度，相机拍摄过程中使用同一台摄像机且每一帧中的模糊是同时产生的，统一模糊的建模方式。使用帧深度特征理解场景中结构信息，指导模糊核建模光线的刚性形变和颜色组成权重；
6、2)神经辐射场重建阶段；
7、在神经辐射场重建阶段利用对抗生成网络的判别器用于评估生成图像质量，间接用来评估图像的模糊程度，本阶段任务就是使用原始光线和变换后的光线送入神经辐射场中进行重建。
8、进一步，所述步骤1)模糊核优化阶段具体步骤如下；
9、步骤1：从虚拟相机位置向图像投射光线，得到对应于每个像素点的光线信息，并将其从相机坐标系使用相机变换矩阵矩阵转换到世界坐标系中；
10、步骤2：使用单目深度估计模型提取深度图，并使用残差神经网络提取深度特征ds。
11、步骤3：基于深度特征的模糊核优化；
12、步骤4：将步骤2中提取的深度特征送入多层感知机f2得到ms；0,...,n代表每条光线的像素值在最后模糊像素值中的占比。
13、进一步，所述步骤1转换坐标具体步骤如下：
14、步骤1.1：获取从相机原点出发，穿过每个像素点的射线。假设图像的宽h和高w，相机内参矩阵为k，相机到世界坐标系变换矩阵为c2w，焦距为f，2d图像坐标为(i，j)，光心坐标为(cx,cy)；
15、步骤1.2：计算光线方向，整条光线的方向可以计算为(i-cx,j-cy,f)-(0,0,0)＝(i-cx,j-cy,f)，将整个向量归一化z坐标得到光线方向为然后利用c2w矩阵将光线方向从相机坐标系变换到世界坐标系；
16、步骤1.3：计算光线原点，根据c2w矩阵计算世界坐标系下的初始位置ro＝c2w[:3,-1]。
17、进一步本文档来自技高网...
【技术保护点】
1.一种用于模糊场景的神经辐射场新视角合成方法，包括模糊核优化阶段和神经辐射场重建阶段，各阶段如下，其特征在于：
2.根据权利要求1所述的一种用于模糊场景的神经辐射场新视角合成方法，其特征在于：所述步骤1)模糊核优化阶段具体步骤如下；
3.根据权利要求2所述的一种用于模糊场景的神经辐射场新视角合成方法，其特征在于：所述步骤1转换坐标具体步骤如下：
4.根据权利要求2所述的一种用于模糊场景的神经辐射场新视角合成方法，其特征在于：所述步骤3基于深度特征的模糊核优化包括如下步骤：
5.根据权利要求1所述的一种用于模糊场景的神经辐射场新视角合成方法，其特征在于：所述步骤2)神经辐射场重建阶段具体步骤如下；
【技术特征摘要】
1.一种用于模糊场景的神经辐射场新视角合成方法，包括模糊核优化阶段和神经辐射场重建阶段，各阶段如下，其特征在于：
2.根据权利要求1所述的一种用于模糊场景的神经辐射场新视角合成方法，其特征在于：所述步骤1)模糊核优化阶段具体步骤如下；
3.根据权利要求2所述的一种用于模糊场景的神经辐射场新视角合成方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。