基于联合位姿优化的神经辐射场增强方法技术

本发明专利技术属于计算机图形学领域下的神经渲染领域以及计算机视觉领域下的相机位姿优化领域，更具体地，涉及一种基于联合位姿优化的神经辐射场增强方法。通过结合神经渲染的方法，结合神经网络的表达能力，可以进一步有效的优化相机位姿，在更准确的相机位姿下，训练出的神经辐射场更接近真实场景，渲染出的图像质量更高，细节更清晰。

【技术实现步骤摘要】
基于联合位姿优化的神经辐射场增强方法
本专利技术属于计算机图形学领域下的神经渲染领域以及计算机视觉领域下的相机位姿优化领域，更具体地，涉及一种基于联合位姿优化的神经辐射场增强方法。
技术介绍
新视角合成是计算机视觉领域以及计算机图形学领域中一项极具挑战性的任务。它的定义是，从一系列的对某一场景的捕获图像中，合成新的视角下的图像。神经辐射场(NeRF)在新视角合成的任务中取得了显著的成果。而在实际应用中，相机位姿往往是通过SfM算法得到的，由于SfM算法依赖于关键点的检测以及匹配，在一些重复纹理较多的场景中，往往会产生很多外点导致错误匹配，这对SfM的性能会造成很大的不良影响。简而言之，通过SfM得到的位姿是不够准确的，使用这样的位姿采样出的点也是不准确的，而这些点的坐标就是NeRF的输入，也就导致NeRF难以拟合真实场景的神经辐射场。因此我们需要更准确的位姿，来辅助NeRF得到更准确的输入。现有的一些方法中，隐式表达聚焦在几何属性，而不能模拟更复杂的属性，比如颜色，密度。神经渲染方法大部分需要3D显示信息作为输入，而准确的几何又很难获取，不利于位姿计算。相机位姿依赖图像之间的匹配点，如果有错误匹配被考虑到算法流程中，就会引入不同程度的误差。
技术实现思路
本专利技术为克服上述现有技术中的至少一个缺陷，提供一种基于联合位姿优化的神经辐射场增强方法，从渲染的角度，同时优化辐射场和位姿。为解决上述技术问题，本专利技术采用的技术方案是：一种基于联合位姿优化的神经辐射场增强方法，包括以下步骤：S1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合一共NI张图像；S2.对图像使用colmap进行数据预处理，得到相机位姿、内参、近平面和远平面的参数，相机位姿集合相机位姿具体表示为Mk＝{Rk,ok}；假定所有的图像共享同一个相机内参K，此时的位姿只是作为初始值，后续步骤中需要进一步优化；S3.对每一幅图，光心与像素点连线即为一条光线，任意选择n条光线；对某一条从相机光心射出的光线r(t)＝o+td，使其通过给定的像素点；o为相机的位置，d为视角方向，t为大于0的实数，在采样时选取；S4.对每一条光线进行两次采样，分别为粗采样和细采样；此时所有的采样点坐标以及视角观察方向的坐标都是在相机坐标系之下；S5.将相机坐标系下的点以及视角方向的坐标转换到世界坐标系下，世界坐标系与colmap坐标系一致；这一过程中引入相机位姿以及相机内参；此时将相机位姿转化为可优化的变量；S6.在得到全局坐标之后，将这些坐标输入到两个MLP之中，第一个MLP以采样点的位置坐标作为输入，输出这个点的密度以及一个高维向量，第二个MLP以采样点的观测方向的坐标以及第一个MLP输出的高维向量作为输入，输出这个点在这个视角下的颜色值；S7.对一条光线，采用离散的体绘制渲染积分，得到像素对应的颜色估计值；S8.通过反向传播，同时更新网络参数以及相机位姿参数。现有技术主要是通过捆集调整的方法来优化位姿，使用基于图像渲染的方法来合成新视角的图像。本专利技术通过结合神经渲染的方法，结合神经网络的表达能力，可以进一步有效的优化相机位姿，在更准确的相机位姿下，训练出的神经辐射场更接近真实场景，渲染出的图像质量更高，细节更清晰。进一步的，所述的步骤S1中拍摄的所有的图像均近似为向前拍摄或者360度向内拍摄；使用旋转矩阵来表示相机的朝向；使用3维坐标表示相机位置；(·)w表示在世界坐标系下的坐标点；(·)c表示相机坐标系下的坐标点；表示基于小孔成像的相机内参矩阵。进一步的，所述的步骤S3中，根据体绘制的原理，任意像素点的颜色通过以下积分求得：式中，σ为r(t)点的密度，c为r(t)点在d方向观测的颜色；光线从tn出发直到tf。进一步的，所述的步骤S4中，粗采样在光线上采64个点，细采样在这个64个点的基础上，根据粗采样密度分布，额外再采128个点。进一步的，对连续积分式(1)离散化后得：式中，δi＝tt+1-ti是两个离散积分点之间的距离；在式(2)中，颜色的表达式关于采样点和视角方向是可微的。进一步的，在所述的步骤S5中，将输入的参数表达为位姿相关的函数：r(t,R,o)＝o+tRK-1p，(4)式中，p＝[u,v,1]T表示像素的齐次坐标，t表示对应采样点的深度值。进一步的，所述的步骤S6中，使用MLP模型来模拟场景属性，对场景中任意点的密度和颜色进行拟合，定义为Fθ，Fθ以空间中点的坐标x＝(x,y,z)以及观察视角方向d＝(dx,dy,dz)作为输入，输出该点的密度σ以及颜色c＝(r,g,b)；MLP的表达式为：式中，γ(·)表示对位置的编码。进一步的，所述的步骤S7中，使用下式(7)计算积分：式中，wi＝Ti(1-exp(-σiδi))。进一步的，在所述的步骤S8中，对于网络的loss函数，采用与NeRF相同的残差loss：式中，和分别表示粗采样和细采样下得到的颜色估计值；C表示颜色的真值。进一步的，为了使旋转矩阵近似于正交矩阵，引入正则loss：最终的loss函数表示为：与现有技术相比，有益效果是：本专利技术提供的一种基于联合位姿优化的神经辐射场增强方法，通过结合神经渲染的方法，结合神经网络的表达能力，可以进一步有效的优化相机位姿，在更准确的相机位姿下，训练出的神经辐射场更接近真实场景，渲染出的图像质量更高，细节更清晰。附图说明图1是本专利技术中算法的示意图，描述了位姿与神经辐射场同时优化的过程。图2是本专利技术使用的网络结构示意图。图3是本专利技术网络配置示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利技术的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利技术的限制。一种基于联合位姿优化的神经辐射场增强方法，包括以下步骤：S1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合一共NI张图像；所有的图像均近似为向前拍摄或者360度向内拍摄；使用旋转矩阵来表示相机的朝向；使用3维坐标表示相机位置；(·)w表示在世界坐标系下的坐标点；(·)c表示相机坐标系下的坐标点；表示基于小孔成像的相机内参矩阵；S2.对图像使用colmap进行数据预处理，得到相机位姿、内参、近平面和远平面的参数，相机位姿集合相机位姿具体表示为Mk＝{Rk,ok}；假定所有的图像共享同一个相机内参K，此时的位姿只是作为初始值，后续步骤中需要进一步优化；S3.对每一幅图，光心与像素点连线即为一条光线，任意选择4096条光线；具体需要根据显存大小选取，例如24G显卡可选用4096条光线；对某一本文档来自技高网...

【技术保护点】
1.一种基于联合位姿优化的神经辐射场增强方法，其特征在于，包括以下步骤：/nS1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合

【技术特征摘要】
1.一种基于联合位姿优化的神经辐射场增强方法，其特征在于，包括以下步骤：
S1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合一共NI张图像；
S2.对图像使用colmap进行数据预处理，得到相机位姿、内参、近平面和远平面的参数，相机位姿集合相机位姿具体表示为Mk＝{Rk,ok}；假定所有的图像共享同一个相机内参K，此时的位姿只是作为初始值，后续步骤中需要进一步优化；
S3.对每一幅图，光心与像素点连线即为一条光线，任意选择n条光线；对某一条从相机光心射出的光线r(t)＝o+td，使其通过给定的像素点，o为相机的位置，d为视角方向，t为大于0的实数，在采样时选取；
S4.对每一条光线进行两次采样，分别为粗采样和细采样；此时所有的采样点坐标以及视角观察方向的坐标都是在相机坐标系之下；
S5.将相机坐标系下的点以及视角方向的坐标转换到世界坐标系下，世界坐标系与colmap坐标系一致；这一过程中引入相机位姿以及相机内参；此时将相机位姿转化为可优化的变量；
S6.在得到全局坐标之后，将这些坐标输入到两个MLP之中，第一个MLP以采样点的位置坐标作为输入，输出这个点的密度以及一个高维向量，第二个MLP以采样点的观测方向的坐标以及第一个MLP输出的高维向量作为输入，输出这个点在这个视角下的颜色值；
S7.对一条光线，采用离散的体绘制渲染积分，得到像素对应的颜色估计值；
S8.通过反向传播，同时更新网络参数以及相机位姿参数。


2.根据权利要求1所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S1中拍摄的所有的图像均近似为向前拍摄或者360度向内拍摄；使用旋转矩阵来表示相机的朝向；使用3维坐标表示相机位置；(·)w表示在世界坐标系下的坐标点；(·)c表示相机坐标系下的坐标点；表示基于小孔成像的相机内参矩阵。


3.根据权利要求1所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S3中，根据体绘制的原理，任意像素点的颜色通过以下积分求得：



式中，σ为r(t)点的密度，c为r(t)点在d方向观测的颜色；光线从tn出发直到tf。

【专利技术属性】
技术研发人员：谷溢，朝红阳，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44