一种正则化的图像渲染方法及装置制造方法及图纸

一种正则化的图像渲染方法及装置，涉及计算机图形学技术领域。该方法包括：获取场景图像序列；获取场景图像序列的对应场景中的坐标点的位置信息；将坐标点的位置信息输入至神经网络模型进行训练，以得到采样点的颜色，神经网络模型的总损失函数与颜色损失函数、正则化损失函数、散度损失函数有关；对采样点的颜色积分，以得到新视角图像渲染结果。由此，经过在神经辐射场中进行正则化调优训练，可以得到鲁棒性良好的泛化模型，能够提高图像渲染的精确程度。程度。程度。

【技术实现步骤摘要】
一种正则化的图像渲染方法及装置


[0001]本申请涉及计算机图形学
，特别是涉及一种正则化的图像渲染方法及装置。

技术介绍

[0002]三维场景的新视角图像渲染技术是计算机视觉领域和计算机图形学领域的重要研究方向，有助于虚拟体验真实场景、实现沉浸式通信、改善游戏和娱乐体验等。
[0003]目前，可以将拍摄场景图像序列的相机参数输入至神经辐射场(NeRF)进行训练，从而高质量地表示三维场景，并通过体渲染的图形学方法，合成得到高精度的图像渲染结果。
[0004]然而，一方面，使用相机拍摄场景图像序列或场景视频时容易出现相机运动模糊、失焦模糊、光照不均匀等问题，导致图像渲染质量下降；另一方面，如果输入至神经辐射场的图像视角过多，不仅会导致神经辐射场模型训练速度降低，还可能在渲染新视角图像时产生漂浮物的伪影或背景塌陷等，同样导致图像渲染质量下降。

技术实现思路

[0005]本申请提供了一种正则化的图像渲染方法及装置，能够在减少输入图像视角数量的同时，提高图像渲染的质量。
[0006]本申请公开了如下技术方案：
[0007]第一方面，本申请公开了一种正则化的图像渲染方法，所述方法包括：
[0008]获取场景图像序列；
[0009]获取所述场景图像序列的对应场景中的坐标点的位置信息；
[0010]将所述坐标点的位置信息输入至神经网络模型进行训练，以得到采样点的颜色，所述神经网络模型的总损失函数与颜色损失函数、正则化损失函数、散度损失函数有关；
[0011]对所述采样点的颜色积分，以得到新视角图像渲染结果。
[0012]优选的，所述总损失函数的公式具体如下：
[0013]L
total
＝L
rgb
+α
step1
*L
reg
+α
step2
*L
js
[0014]其中，L
total
是总损失函数，L
rgb
是颜色损失函数，α
step1
是第一损失权重，L
reg
是正则化损失函数，α
step2
是第二损失权重，L
js
是散度损失函数。
[0015]优选的，所述颜色损失函数的公式具体如下：
[0016][0017]其中，L
rgb
是颜色损失函数，x是所述坐标点沿着视角方向发射的颜色值。
[0018]优选的，所述正则化损失函数的公式具体如下：
[0019][0020]其中，L
reg
是正则化损失函数，c
i
是第一采样点到相机的距离，c
j
是第二采样点到相机的距离，c
i+1
是光线上位于所述第一采样点后一个单位长度的采样点到相机的距离，c
j+1
是光线上位于所述第二采样点后一个单位长度的采样点到相机的距离，w
i
是所述第一采样点的神经网络模型权重，w
j
是所述第二采样点的神经网络模型权重。
[0021]优选的，所述获取场景图像序列，包括：
[0022]获取原始场景图像序列；
[0023]将所述原始场景图像序列中的场景图像依次输入至神经网络模型中，以获取所述场景图像的特征值；
[0024]判断任意两个所述特征值之间的欧氏距离是否小于第一预设阈值；
[0025]若是，则删除所述两个所述特征值中的任意一个特征值对应的场景图像，以获取第一轮筛选后的场景图像序列；
[0026]对所述第一轮筛选后的场景图像序列中的场景图像进行质量评估；
[0027]判断所述场景图像的质量是否小于第二预设阈值；
[0028]若是，则删除所述场景图像，以获取第二轮筛选后的场景图像序列。
[0029]优选的，所述获取所述场景图像序列的对应场景中的坐标点的位置信息，包括：
[0030]基于所述场景图像序列，通过运动结构恢复方法获取所述场景图像序列的对应场景中的坐标点的位置信息。
[0031]第二方面，本申请公开了一种正则化的图像渲染装置，所述装置包括：序列模块、位置模块、训练模块、渲染模块；
[0032]所述序列模块，用于获取场景图像序列；
[0033]所述位置模块，用于获取所述场景图像序列的对应场景中的坐标点的位置信息；
[0034]所述训练模块，用于将所述坐标点的位置信息输入至神经网络模型进行训练，以得到采样点的颜色，所述神经网络模型的总损失函数与颜色损失函数、正则化损失函数、散度损失函数有关；
[0035]所述渲染模块，用于对所述采样点的颜色积分，以得到新视角图像渲染结果。
[0036]优选的，所述总损失函数的公式具体如下：
[0037]L
total
＝L
rgb
+α
step1
*L
reg
+α
step2
*L
js
[0038]其中，L
total
是总损失函数，L
rgb
是颜色损失函数，α
step1
是第一损失权重，L
reg
是正则化损失函数，α
step2
是第二损失权重，L
js
是散度损失函数。
[0039]优选的，所述序列模块具体包括：第一获取模块、第二获取模块、第一判断模块、第一删除模块、质量评估模块、第二判断模块、第二删除模块；
[0040]所述第一获取模块，用于获取原始场景图像序列；
[0041]所述第二获取模块，用于将所述原始场景图像序列中的场景图像依次输入至神经网络模型中，以获取所述场景图像的特征值；
[0042]所述第一判断模块，用于判断任意两个所述特征值之间的欧氏距离是否小于第一预设阈值；
[0043]所述第一删除模块，用于若是，则删除所述两个所述特征值中的任意一个特征值对应的场景图像，以获取第一轮筛选后的场景图像序列；
[0044]所述质量评估模块，用于对所述第一轮筛选后的场景图像序列中的场景图像进行质量评估；
[0045]所述第二判断模块，用于判断所述场景图像的质量是否小于第二预设阈值；
[0046]所述第二删除模块，用于若是，则删除所述场景图像，以获取第二轮筛选后的场景图像序列。
[0047]优选的，所述位置模块具体用于：
[0048]基于所述场景图像序列，通过运动结构恢复方法获取所述场景图像序列的对应场景中的坐标点的位置信息。
[0049]相较于现有技术，本申请具有以下有益效果：
[0050]本申请提供一种正则化的图像渲染方法及装置，基于获取的对场景拍摄的场景图像序列，获取场景图像序列的对应场景中的坐标点的位置信息，并将该位置信息输入至基于正则化方法调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种正则化的图像渲染方法，其特征在于，所述方法包括：获取场景图像序列；获取所述场景图像序列的对应场景中的坐标点的位置信息；将所述坐标点的位置信息输入至神经网络模型进行训练，以得到采样点的颜色，所述神经网络模型的总损失函数与颜色损失函数、正则化损失函数、散度损失函数有关；对所述采样点的颜色积分，以得到新视角图像渲染结果。2.根据权利要求1所述的方法，其特征在于，所述总损失函数的公式具体如下：L
total
＝L
rgb
+α
step1
*L
reg
+α
step2
*L
js
其中，L
total
是总损失函数，L
rgb
是颜色损失函数，α
step1
是第一损失权重，L
reg
是正则化损失函数，α
step2
是第二损失权重，L
js
是散度损失函数。3.根据权利要求1所述的方法，其特征在于，所述颜色损失函数的公式具体如下：其中，L
rgb
是颜色损失函数，x是所述坐标点沿着视角方向发射的颜色值。4.根据权利要求1所述的方法，其特征在于，所述正则化损失函数的公式具体如下：其中，L
reg
是正则化损失函数，c
i
是第一采样点到相机的距离，c
j
是第二采样点到相机的距离，c
i+1
是光线上位于所述第一采样点后一个单位长度的采样点到相机的距离，c
j+1
是光线上位于所述第二采样点后一个单位长度的采样点到相机的距离，w
i
是所述第一采样点的神经网络模型权重，w
j
是所述第二采样点的神经网络模型权重。5.根据权利要求1所述的方法，其特征在于，所述获取场景图像序列，包括：获取原始场景图像序列；将所述原始场景图像序列中的场景图像依次输入至神经网络模型中，以获取所述场景图像的特征值；判断任意两个所述特征值之间的欧氏距离是否小于第一预设阈值；若是，则删除所述两个所述特征值中的任意一个特征值对应的场景图像，以获取第一轮筛选后的场景图像序列；对所述第一轮筛选后的场景图像序列中的场景图像进行质量评估；判断所述场景图像的质量是否小于第二预设阈值；若是，则删除所述场景图像，以获取第二轮筛选后的场景图像...

【专利技术属性】
技术研发人员：赵飞飞，刘祥德，于金波，周嵘，年晓玲，
申请(专利权)人：北京数原数字化城市研究中心，
类型：发明
国别省市：