【技术实现步骤摘要】
本专利技术属于图像处理领域，涉及一种基于二次曲面高斯泼溅的新视角渲染方法及相关装置。
技术介绍
1、场景的稠密重建与新视角渲染是计算机视觉和计算机图形学领域的重要研究方向。其旨在从不同视点观察场景的多个图像中恢复稠密结构并能在自由视点渲染出逼真的图像。最近，三维高斯泼溅通过将图形学中传统的泼溅技术与端到端的优化技术结合，超越了基于神经辐射场的若干方法的渲染质量与渲染速度。随后，高斯泼溅类方法在动态重建，编辑，大场景重建中都发展迅速。
2、然而，由于泼溅技术丢失了高斯分布的z轴分量，并在渲染时使用了近似，使得其即使在错误的几何位置上也能渲染出多视角一致的纹理，最终导致仅通过光度一致性误差优化难以保证其几何属性的准确度。后续的工作中，不在图像平面查询高斯权重，而是在三维空间中计算射线与高斯主元的交点并查询对应的高斯权重，成为了用高斯泼溅方法恢复精准场景几何的关键要素。在以高斯椭球为主元的方法中，射线与主元的交点计算通常与视线方向有关，因此无法提供多视一致的法向。而以高斯圆盘为主元的方法中，射线与主元的交点即为视线与圆盘的交点。同时这种方法能提供多视一致的几何，从而可以更方便地引入多视几何一致性信息。然而圆盘平面只是对场景曲面的一阶线性近似，这使得其对于复杂曲面的拟合能力不足，导致过平滑的重建结果，最终导致渲染效果较差的问题。
技术实现思路
1、本专利技术的目的在于克服上述现有技术的缺点，提供了一种基于二次曲面高斯泼溅的新视角渲染方法及相关装置，该方法及相关装置的渲染效果较好
2、为达到上述目的，本专利技术公开了一种基于二次曲面高斯泼溅的新视角渲染方法，包括：
3、获取待渲染的图像；
4、将所述待渲染的图像输入到训练后的二次曲面高斯泼溅模型中，得到渲染后的颜色图像，其中，所述二次曲面高斯泼溅模型通过真实图像及其对应的颜色图像训练而成，利用颜色的图渲染公式对所述真实图像进行渲染，得到所述颜色图像。
5、本专利技术所述基于二次曲面高斯泼溅的新视角渲染方法的进一步改进在于：
6、进一步的，所述将所述待渲染的图像输入到训练后的二次曲面高斯泼溅模型中之前还包括：
7、构建数据集；
8、构建二次曲面高斯泼溅模型；
9、利用所述数据集对所述二次曲面高斯泼溅模型进行训练，得到训练后的二次曲面高斯泼溅模型。
10、进一步的，所述构建数据集的过程为：
11、获取若干真实图像；
12、利用所述真实图像生成内参、稀疏点云以及外参；
13、根据生成的内参、稀疏点云以及外参，利用颜色的图渲染公式绘制颜色图像；
14、根据各真实图像及其对应的颜色图像构建数据集。
15、进一步的，所述颜色的图渲染公式为：
16、
17、其中，αi为每个高斯主元的不透明度，ci为每个高斯主元的颜色，c(p)表示像素点p下的渲染rgb颜色，gi(p)表示像素p所对应的齐次射线与第i个二次曲面交点的高斯权重。
18、进一步的，所述利用所述数据集对所述二次曲面高斯泼溅模型进行训练得到训练后的二次曲面高斯泼溅模型过程中的损失函数为：
19、
20、λk(k(u,v))＝1-sigmoid(ln(|k(u,v)|+∈))
21、lkn(u,v)＝λk(k(u,v))ln(u,v)(14)
22、其中，αi为每个高斯主元的不透明度，ci为每个高斯主元的颜色，c(p)表示像素点p下的渲染rgb颜色，gi(p)表示像素点p所对应的齐次射线与第i个二次曲面交点的高斯权重，k(u,v)表示在像素点(u,v)处渲染得到的曲率值，∈表示极小的正值，λk表示曲率因子。
23、进一步的，像素点(p)处渲染得到的曲率值k(p)为：
24、
25、本专利技术公开了一种基于二次曲面高斯泼溅的新视角渲染系统，包括：
26、获取模块，用于获取待渲染的图像；
27、渲染模块，用于将所述待渲染的图像输入到训练后的二次曲面高斯泼溅模型中，得到渲染后的颜色图像，其中，所述二次曲面高斯泼溅模型通过真实图像及其对应的颜色图像训练而成，利用颜色的图渲染公式对所述真实图像进行渲染，得到所述颜色图像。
28、本专利技术所述基于二次曲面高斯泼溅的新视角渲染系统的进一步改进在于：
29、进一步的，还包括：
30、第一构建模块，用于构建数据集；
31、第二构建模块，用于构建二次曲面高斯泼溅模型；
32、训练模块，用于利用所述数据集对所述二次曲面高斯泼溅模型进行训练，得到训练后的二次曲面高斯泼溅模型。
33、本专利技术公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于二次曲面高斯泼溅的新视角渲染方法的步骤。
34、本专利技术公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于二次曲面高斯泼溅的新视角渲染方法的步骤。
35、本专利技术具有以下有益效果：
36、本专利技术所述的基于二次曲面高斯泼溅的新视角渲染方法及相关装置在具体操作时，将所述待渲染的图像输入到训练后的二次曲面高斯泼溅模型中，得到渲染后的颜色图像，其中，使用二次曲面高斯泼溅，以二次曲面作为场景基元，拥有更强的几何拟合能力，以解决以往方法重建过平滑的问题，从而提高渲染效果。
本文档来自技高网...【技术保护点】
1.一种基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，包括：
2.根据权利要求1所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述将所述待渲染的图像输入到训练后的二次曲面高斯泼溅模型中之前还包括：
3.根据权利要求1所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述构建数据集的过程为：
4.根据权利要求1所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述颜色的图渲染公式为：
5.根据权利要求2所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述利用所述数据集对所述二次曲面高斯泼溅模型进行训练得到训练后的二次曲面高斯泼溅模型过程中的损失函数为：
6.根据权利要求5所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，像素点(p)处渲染得到的曲率值K(p)为：
7.一种基于二次曲面高斯泼溅的新视角渲染系统，其特征在于，包括：
8.根据权利要求7所述的基于二次曲面高斯泼溅的新视角渲染系统，其特征在于，还包括：
9.一种计算机设备，包括存储器、处理器
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述基于二次曲面高斯泼溅的新视角渲染方法的步骤。
...【技术特征摘要】
1.一种基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，包括：
2.根据权利要求1所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述将所述待渲染的图像输入到训练后的二次曲面高斯泼溅模型中之前还包括：
3.根据权利要求1所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述构建数据集的过程为：
4.根据权利要求1所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述颜色的图渲染公式为：
5.根据权利要求2所述的基于二次曲面高斯泼溅的新视角渲染方法，其特征在于，所述利用所述数据集对所述二次曲面高斯泼溅模型进行训练得到训练后的二次曲面高斯泼溅模型过程中的损失函数为：
6.根据权利要求5所述的基于二次...
【专利技术属性】
技术研发人员：申抒含，张子钰，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。