一种基于复杂光照环境的相机成像优化方法及系统技术方案

本发明专利技术公开了一种基于复杂光照环境的相机成像优化方法及系统，将出现低亮度或过曝光的sRGB图像输入U

【技术实现步骤摘要】
一种基于复杂光照环境的相机成像优化方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种基于复杂光照环境的相机成像优化方法及系统。

技术介绍

[0002]在相机成像时，环境光的强弱直接决定了相机成像质量。当在环境光较弱时，如黑夜，由于进入相机感光元件的光子数量不足，导致图像亮度下降且伴随噪声；当环境光线太强时，如正对光源，由于相机感光元件达到其物理饱和点，导致图像亮度过高，产生过曝光；当拍摄环境存在被部分遮挡的强光源，导致相机成像局部亮度过低，局部过曝光。相机环境光的变化使得相机拍摄稳定、清晰的图像面临很大挑战。
[0003]国外相关研究者提出了一种利用卷积神经网络模型将低亮度的图像输入，然后模型直接推理出修正亮度后的图像输出方法。这种方法直接对相机成像的非线性sRGB图像进行处理，利用深度学习模型对非线性问题的拟合能力，最终映射出非线性sRGB结果。不过这种方法忽略了由于环境光照度导致相机成像出现低亮度或过曝光问题发生在Raw
‑
RGB阶段，而相机成像输出的通常是经过非线性ISP变化的sRGB图像。对s本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于复杂光照环境的相机成像优化方法，其特征在于，包括以下步骤：S1、将出现低亮度或过曝光的非线性sRGB图像输入U
‑
Net神经网络模型中进行推理计算，得到图像在相机图像信号处理发生前的线性Raw
‑
RGB图像；S2、将步骤S1得到的线性Raw
‑
RGB图像输入另一个U
‑
Net神经网络中，得到逐像素调整图，对线性Raw
‑
RGB图像进行环境光照度调整；S3、利用由自注意力机制编码模块组成的神经网络对步骤S2调整完成的Raw
‑
RGB图像进行图像信号处理参数推理，通过模拟图像信号处理流程将Raw
‑
RGB图像恢复到调整亮度后的sRGB图像，实现相机成像优化。2.根据权利要求1所述的基于复杂光照环境的相机成像优化方法，其特征在于，步骤S1中，U
‑
Net卷积神经网络模型具体为：维持输入图像原始尺寸的基础上逐层推理的结构，在不断推理过程中图像被逐渐非线性分解成其原始线性Raw
‑
RGB图像的形式。3.根据权利要求1所述的基于复杂光照环境的相机成像优化方法，其特征在于，步骤S1中，U
‑
Net卷积神经网络模型在训练时的约束为：执行输入为sRGB图像，输出为对应Raw
‑
RGB图像的形式。4.根据权利要求3所述的基于复杂光照环境的相机成像优化方法，其特征在于，训练U
‑
Net卷积神经网络模型的损失函数Loss1为：Loss1＝L1(f(I
i
),I
raw
)其中，L1为一范数计算，f为卷积神经网络，I
i
为输入的非线性sRGB图像，I
raw
为sRGB图像对应的线性Raw
‑
RGB图像标签。5.根据权利要求1所述的基于复杂光照环境的相机成像优化方法，其特征在于，步骤S2中，对线性Raw
‑
RGB图像进行环境光照度调整，得到亮度调整完成的Raw
‑
RGB图像D为：D＝f(I
i
)+A其...

【专利技术属性】
技术研发人员：苏文斌，卫红波，贾涵，赵玉梁，夏寅，郭梦媛，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：