【技术实现步骤摘要】
基于联合位姿优化的神经辐射场增强方法
本专利技术属于计算机图形学领域下的神经渲染领域以及计算机视觉领域下的相机位姿优化领域，更具体地，涉及一种基于联合位姿优化的神经辐射场增强方法。
技术介绍
新视角合成是计算机视觉领域以及计算机图形学领域中一项极具挑战性的任务。它的定义是，从一系列的对某一场景的捕获图像中，合成新的视角下的图像。神经辐射场(NeRF)在新视角合成的任务中取得了显著的成果。而在实际应用中，相机位姿往往是通过SfM算法得到的，由于SfM算法依赖于关键点的检测以及匹配，在一些重复纹理较多的场景中，往往会产生很多外点导致错误匹配，这对SfM的性能会造成很大的不良影响。简而言之，通过SfM得到的位姿是不够准确的，使用这样的位姿采样出的点也是不准确的，而这些点的坐标就是NeRF的输入，也就导致NeRF难以拟合真实场景的神经辐射场。因此我们需要更准确的位姿，来辅助NeRF得到更准确的输入。现有的一些方法中，隐式表达聚焦在几何属性，而不能模拟更复杂的属性，比如颜色，密度。神经渲染方法大部分需要3D显示信息作为输入，而...
【技术保护点】
1.一种基于联合位姿优化的神经辐射场增强方法，其特征在于，包括以下步骤：/nS1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合
【技术特征摘要】
1.一种基于联合位姿优化的神经辐射场增强方法，其特征在于，包括以下步骤：
S1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合一共NI张图像；
S2.对图像使用colmap进行数据预处理，得到相机位姿、内参、近平面和远平面的参数，相机位姿集合相机位姿具体表示为Mk＝{Rk,ok}；假定所有的图像共享同一个相机内参K，此时的位姿只是作为初始值，后续步骤中需要进一步优化；
S3.对每一幅图，光心与像素点连线即为一条光线，任意选择n条光线；对某一条从相机光心射出的光线r(t)＝o+td，使其通过给定的像素点，o为相机的位置，d为视角方向，t为大于0的实数，在采样时选取；
S4.对每一条光线进行两次采样，分别为粗采样和细采样；此时所有的采样点坐标以及视角观察方向的坐标都是在相机坐标系之下；
S5.将相机坐标系下的点以及视角方向的坐标转换到世界坐标系下，世界坐标系与colmap坐标系一致；这一过程中引入相机位姿以及相机内参；此时将相机位姿转化为可优化的变量；
S6.在得到全局坐标之后，将这些坐标输入到两个MLP之中，第一个MLP以采样点的位置坐标作为输入，输出这个点的密度以及一个高维向量，第二个MLP以采样点的观测方向的坐标以及第一个MLP输出的高维向量作为输入，输出这个点在这个视角下的颜色值；
S7.对一条光线，采用离散的体绘制渲染积分，得到像素对应的颜色估计值；
S8.通过反向传播，同时更新网络参数以及相机位姿参数。
2.根据权利要求1所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S1中拍摄的所有的图像均近似为向前拍摄或者360度向内拍摄；使用旋转矩阵来表示相机的朝向；使用3维坐标表示相机位置；(·)w表示在世界坐标系下的坐标点；(·)c表示相机坐标系下的坐标点；表示基于小孔成像的相机内参矩阵。
3.根据权利要求1所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S3中，根据体绘制的原理，任意像素点的颜色通过以下积分求得：
式中，σ为r(t)点的密度，c为r(t)点在d方向观测的颜色；光线从tn出发直到tf。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。