一种图像增强方法技术

本申请涉及一种图像增强方法

【技术实现步骤摘要】
一种图像增强方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像增强方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]当前，为了能够生成高度逼真的
3D
场景，神经辐射场（
Neural Radiance Fields
，简称
NeRF
）作为一种先进的计算机图形学技术，已在增强显示，虚拟街景等领域得到了广泛的应用
。
其可以通过在有限的输入视图上训练数据，利用较少的数据集生成高质量的渲染，并能够从任意角度渲染，产生令人惊叹的高质量渲染效果
。
[0003]但是，目前
NeRF
的图像渲染效果非常依赖精确的相机标定结果，而不精确的相机标定结果会导致基于
NeRF
合成的新视角图像的质量较低
。
并且，现有的
NeRF
模型对于新的场景，需要进行大量的参数调整，甚至是重新训练来提升渲染质量，导致模型的训练过程复杂
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像增强方法，其特征在于，包括：获取待增强的目标图像；所述目标图像为通过神经辐射场
NeRF
渲染后的图像；从通过所述
NeRF
渲染后的其他视角图像中选择出与所述目标图像最相似的第一参考图像和第二参考图像；将所述目标图像
、
所述第一参考图像和所述第二参考图像输入预先构建的多视角图像聚合模型进行图像增强处理，得到所述目标图像对应的图像增强结果；其中，所述多视角图像聚合模型是对退化训练图像和参考训练图像进行像素级别和图像块级别的迭代聚合训练后得到的；所述退化训练图像是对样本训练图像进行退化处理后得到的；所述参考训练图像和所述样本训练图像是样本视频序列中包含的连续帧图像
。2.
根据权利要求1所述的方法，其特征在于，所述多视角图像聚合模型的构建方式如下：获取样本视频序列，并利用图像退化模拟器，从所述样本视频序列中合成退化训练图像；所述样本视频序列包含样本训练图像和参考训练图像；将所述退化训练图像和所述参考训练图像输入初始多视角图像聚合模型，并利用所述模型输出的样本增强图像与所述样本训练图像的像素值，计算目标损失函数的取值，直至所述取值满足预设条件，则停止模型参数的更新，训练得到所述多视角图像聚合模型；其中，所述初始多视角图像聚合模型包括第一编码器
、
第二编码器
、
像素聚合模块
、
图像块聚合模块和重建器；所述目标损失函数的取值用于约束模型参数的更新，以提高所述样本增强图像的增强效果
。3.
根据权利要求2所述的方法，其特征在于，所述样本视频序列包含三张连续帧图像；所述方法还包括：从所述三张连续帧图像中选择一帧图像作为样本训练图像，并将另外两帧图像均作为参考训练图像；所述利用图像退化模拟器，从所述样本视频序列中合成退化训练图像，包括：利用投影高斯噪声
SGN
，对所述样本训练图像进行退化处理，得到第一样本退化训练图像；对所述第一样本退化训练图像进行重位置随机退化处理，得到第二样本退化训练图像；利用各项异性的高斯图像模糊，对所述第二样本退化训练图像进行退化处理，得到第三样本退化训练图像；利用区域自适应退化策略在对所述样本训练图像
、
第一样本退化训练图像
、
第二样本退化训练图像进行退化处理时实现自适应的区域退化，得到优化后的第三样本退化训练图像，作为退化训练图像
。4.
根据权利要求2所述的方法，其特征在于，所述将所述退化训练图像和所述参考训练图像输入初始多视角图像聚合模型，并利用所述模型中输出的样本增强图像与所述样本训练图像的像素值，计算目标损失函数的取值，直至所述取值满足预设条件，则停止模型参数的更新，训练得到所述多视角图像聚合模型，包括：将所述退化训练图像输入所述第一编码器进行编码，得到所述退化训练图像对应的样本编码向量；并将所述参考训练图像输入所述第二编码器进行编码，得到所述参考训练图
像对应的样本参考编码向量；将所述样本编码向量和所述样本参考编码向量输入所述像素聚合模块进行聚合处理，得到第一样本聚合向量；并将所述第一样本聚合向量输入所述图像块聚合模块进行聚合处理，得到第二样本聚合向量；将所述第二样本聚合向量输入所述像素聚合模块和图像块聚合模块进行迭代聚合处理，依次类推，直至满足预设要求，得到样本聚合向量；并将所述样本聚合向量输入所述重建器进行图像重建，得到所述退化训练图像对应的样本增强图像；利用所述样本增强图像与所述样本训练图像的像素值，计算所述目标损失函数的取值，并利用所述取值对初始多视角图像聚合模型进行训练，直至所述取值满足预设条件，则停止模型参数的更新，得到训练后的多视角图像聚合模型
。5.
根据权利要求4所述的方法，其特征在于，所述样本增强图像与所述样本训练图像各包含
K
个像素点，所述
K
为大于0的正整数；所述利用所述样本增强图像与所述样本训练图像的像素值，计算所述目标损失函数的取值，包括：将所述样本增强图像的
K
个像素点的像素值分别与所述样本训练图像的
K
个像素点中对应像素点的像素值相减，得到
K
个相减结果；将所述
K
个相减结果分别取绝对值后进行求和平均计算，并将得到的计算结果作为所述目标损失函数的取值
。6.
根据权利要求1所述的方法，其特征在于，所述从通过所述
NeRF
渲染后的其他视角图像中选择出与所述目标图像最相似的第一参考图像和第二参考图像，包括：利用多视角相似度匹配算法，从通过所述
NeRF
渲染后的其他视角图像中选择出与所述目标图像最相似的第一...

【专利技术属性】
技术研发人员：周昆，李文博，蒋念娟，吕江波，沈小勇，
申请(专利权)人：深圳思谋信息科技有限公司，
类型：发明
国别省市：