相机感知特性引导的真实曝光校正方法和系统技术方案

本发明专利技术公开了相机感知特性引导的真实曝光校正方法和系统，属于计算摄像与图像处理技术领域。本发明专利技术用于真实数据的曝光校正，根据相机感知特性设计通道引导的卷积神经网络，搭建真实成对数据采集系统。同时，设计了用于曝光校正的知识蒸馏策略，提出真实成对曝光校正数据采集系统并采集数据集，使用所采集的数据集训练曝光校正神经网络，能够高质量地完成真实图像曝光校正，提升了真实图像曝光校正质量。量。量。

【技术实现步骤摘要】
相机感知特性引导的真实曝光校正方法和系统


[0001]本专利技术涉及一种相机感知特性引导的真实曝光校正方法和系统，属于计算摄像与图像处理


技术介绍

[0002]曝光会影响拍摄图像的强度和质量。现代数码相机可以通过自动曝光方式来自动控制曝光，也可以由用户手动控制曝光，以获得合适质量的图像。然而，有一些重要因素导致引发曝光误差，包括通过镜头测量的误差、用户手动错误、亮度变化和困难的照明条件等。曝光误差发生在图像捕捉的早期，将会大大降低最终图像的对比度和视觉质量。
[0003]为了解决上述问题，技术人员研究提出了许多基于模型驱动的曝光校正技术。例如，基于直方图的方法、基于Retinex理论的方法等。近年来，利用深度学习技术数据驱动的方法取得了较好性能，此类方法学习了错误曝光和良好曝光图像之间的非线性映射函数。但是，大多数方法只处理过曝光或欠曝光的问题，限制了纠正各种曝光的实际应用。越来越多的研究开始关注解决端到端网络中曝光校正的问题。然而，这些方法不是忽略了不同先验知识学习的要求，就是只设计一个简单的模块，隐式学习各种先验知识进行过曝光和欠曝光校正。由于过曝光和欠曝光的校正过程明显不同，只校正过曝光和欠曝光是不同的。因此，用一个网络同时纠正这两种不合理的曝光是一个挑战。目前，绝大多数的数码相机传感器被设计成对绿色通道比红色和蓝色通道有更高的灵敏度，因为人眼对绿色比其他人更敏感。该相机感知特性意味着红色和蓝色通道对过曝光校正和绿色通道对欠曝光校正是更有利的。
[0004]此外，大多数现有方法在8位标准彩色图像(sRGB)上执行曝光校正，这是从RAW数据由一种高度非线性的操作生成的，即相机图像信号处理(ISP)。由于ISP的压缩和量化操作，sRGB有信息丢失，导致曝光校正的潜在瓶颈。事实上，前人的研究表明，RAW数据包含更丰富的信息，比特值更高，并且保持了曝光与场景亮度之间的线性关系，有利于图像恢复。然而，现在缺乏真实成对的RAW域曝光校正数据集。

技术实现思路

[0005]本专利技术的目的是针对现有技术中，没有真实成对曝光校正数据集，以及现有方法无法同时有效处理过曝光和欠曝光校正等技术问题，创造性地提出一种相机感知特性引导的真实曝光校正方法和系统，用于真实数据的曝光校正，根据相机感知特性设计通道引导的卷积神经网络，搭建真实成对数据采集系统，构建高质量的真实成对曝光校正数据集，训练精确的通道特性引导的曝光校正网络，能够高质量地完成真实图像曝光校正，提高成像质量。
[0006]本专利技术通过分析相机不同通道的感知特性，根据不同通道的不同感知特性，设计通道引导的曝光校正网络。同时，进一步设计了用于曝光校正的知识蒸馏策略，提出真实成对曝光校正数据采集系统并采集数据集，使用所采集的数据集训练曝光校正神经网络，实
现了高精度图像曝光校正，提升真实图像曝光校正质量。
[0007]有益效果
[0008]本专利技术，对比现有技术，具有以下优点：
[0009]1.本专利技术搭建了一个真实数据采集系统，利用该系统采集真实成对过/欠曝光图像和正常曝光图像数据集，该数据采集系统能够高效采集真实成对曝光校正数据集，所采集数据集能够有效提升曝光校正方法在真实图像上的精度。
[0010]2.本专利技术根据相机不同颜色通道的感知特性，设计通道引导的曝光校正网络，采用知识蒸馏的训练策略，能够自适应地挖掘不同曝光校正任务所需的先验知识，自适应地生成调制参数，有效提升曝光校正网络对过曝光和欠曝光校正任务的建模能力。
[0011]3.本专利技术利用卷积神经网络学习过/欠曝光图像和正常曝光图像之间的映射关系，结合有益效果1和2能够提升卷积神经网络的泛化性，且能够提升真实图像曝光校正的质量，保证真实曝光校正图像的保真度。
附图说明
[0012]图1是本专利技术所述方法的总流程图；
[0013]图2是本专利技术系统的组成示意图；
[0014]图3是相机不同颜色通道具有不同感知特性示意图；
[0015]图4是本专利技术中通道引导的曝光校正网络示意图；
[0016]图5是本专利技术中曝光校正知识蒸馏示意图。
具体实施方式
[0017]下面结合附图对本专利技术做进一步说明。
[0018]如图1所示，一方面，本专利技术提出了一种相机感知特性引导的真实曝光校正方法，包括以下步骤：
[0019]步骤101：搭建真实数据采集系统，利用该系统采集真实成对曝光校正数据集。其中，真实成对曝光校正数据集包含成对的过/欠曝光图像和正常曝光图像。
[0020]为了支持RAW图像上的曝光校正，将错误曝光和正确曝光RAW图像成对采集，以获取一个真实的RAW曝光校正数据集。
[0021]具体地，可以将相机固定在三脚架上，构成一个真实数据采集系统。系统在拍摄时，首先调整光圈、焦距、曝光时间等，以采集高质量的正常曝光图像。然后，使用控制软件，以1/100到10的倍率控制曝光时间。最后，采集欠曝光或过曝光的图像。通过上述流程，即能够采集到真实成对的曝光校正数据集。
[0022]步骤102：分析相机感知特性，设计通道引导的曝光校正网络，从而在同一个网络中学习欠曝光和过曝光所需的不同先验知识。
[0023]相机感知特性为绿色通道比红色通道和蓝色通道有更高的灵敏度，如图3所示。这意味着红色通道和蓝色通道对过曝光校正和绿色通道对欠曝光校正是更有利的。根据该相机感知特性，本专利技术设计一个通道引导的曝光校正网络，网络总体结构包括主分支、彩色通道引导分支和引导通道选择模块，如图4所示。
[0024]为充分利用输入RAW图像中的有用信息，将RAW图像分解为RGGB(红绿绿蓝)四个通
道。红色和蓝色通道对于过曝光校正信息更丰富，两个绿色通道对于欠曝光校正信息更有利。由于不同的引导通道有助于不同的曝光校正，首先使用引导通道选择模块自动选择所需的颜色通道，用于过曝光或欠曝光校正。然后，将所选颜色通道输入到颜色通道引导分支中，生成引导特征。最后，利用引导特征对主分支中的相应特征进行调制。通过这种方法，能够自动选择和有效地利用引导信息分别进行过曝光和欠曝光校正。
[0025]进一步地，主分支包括4个编码器阶段和4个相应的解码器阶段。在每个编码器阶段的最后，4
×
4的核大小和2步卷积将特征图降采样到1/2倍的比例。在每个解码器阶段之前，用双线性插值将特征映射上采样到2个尺度。跳跃连接将浅层特征映射从每个编码器阶段传递到相应的解码器阶段。进一步地，为简化训练，在曝光校正网络中引入残差学习，利用残差块作为基本块来构建编码器和解码器，其中，残差块由两个3
×
3卷积组成，然后是激活函数和一个1
×
1卷积。
[0026]为自动选择所需的通道进行过曝光和欠曝光校正，设计一个引导通道选择模块。首先，将四个通道RAW图像输入一个全局平均池(GAP)层，获得平均向量。随后，为进一步获取不同通道的权重信息，采用两个完全连接层(FC)来学习每个通道之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.相机感知特性引导的真实曝光校正方法，其特征在于，包括以下步骤：步骤101：搭建真实数据采集系统，利用该系统采集真实成对曝光校正数据集，其中，真实成对曝光校正数据集包含成对的过/欠曝光图像和正常曝光图像；步骤102：分析相机感知特性，设计通道引导的曝光校正网络，在同一个网络中学习欠曝光和过曝光所需的不同先验知识；其中，网络总体结构包括主分支、彩色通道引导分支和引导通道选择模块；将RAW图像分解为红绿绿蓝四个通道；首先使用引导通道选择模块自动选择所需的颜色通道，用于过曝光或欠曝光校正；然后，将所选颜色通道输入到颜色通道引导分支中，生成引导特征；最后，利用引导特征对主分支中的相应特征进行调制；设计一个引导通道选择模块；首先，将四个通道RAW图像输入一个全局平均池层，获得平均向量；随后，为进一步获取不同通道的权重信息，采用两个完全连接层来学习每个通道之间的非线性关系；然后，利用Sigmoid门控机制来限制每个通道的最终注意权重，两个最大值对应的通道即为所选通道；在训练网络进行过曝光和欠曝光校正时，约束引导通道选择模块来选择特定的通道进行相应的校正任务，表示为：L
s
＝||I
s
‑
I
d
||1(1)其中，L
s
表示通道选择损失，I
s
和I
d
分别表示所选择的通道和目标通道，即：过曝光校正为蓝色和红色通道，欠曝光校正为绿色通道；设计一个彩色通道引导模块，通过引导信息对特征进行调制；首先，将选定的颜色通道输入到颜色通道引导分支中，生成引导特征；然后，利用具有相应空间分辨率的引导特征对主分支特征进行调制；步骤103：使用知识蒸馏，让通道引导的曝光校正网络更有效地学习过曝光和欠曝光校正所需的先验知识；其中，知识蒸馏，是将过曝光和欠曝光校正所需的先验知识蒸馏到通道引导的曝光校正网络；在使用知识蒸馏之前，首先训练两个分别针对过曝光和欠曝光校正的网络，其目标损失函数L表示为：L＝L
s
+L
r
(3)其中，L
s
和L
r
分别为引导通道选择损失和重建损失；重建损失L
r
表示为：L
r
＝||O
‑
T||1(4)其中，O和T分别表示为曝光校正网络的输出和相应的目标图像；当过曝光和欠曝光校正网络训练良好时，采用知识蒸馏的方法，将过曝光和欠曝光校正的知识提取到一个统一的网络中；在知识蒸馏方面，两个训练良好的过曝光和欠曝光校正网络是教师网络，统一的过曝光和过曝光校正网络是学生网络；对于过曝光和欠曝光校正，学生网络的特征均应与教师网络的相应特征接近；知识蒸馏过程表示为：L＝L
s
+L
r
+L
kd
(5)其中，L
kd
为教师和学生网络特征之间的误差，表示为：
其中，N为所使用的特征数量，和分别表示学生网络和教师网络中的特征；用于监督学生网络中的特征；步骤104：输入学习率、优化方法、迭代次数以及采集的真实成对数据集，根据知识蒸馏策略，对网络参...

【专利技术属性】
技术研发人员：付莹，张涛，张军，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：