基于神经网络的ISP即插即用亮度调节模块制造技术

本发明专利技术属于图像处理技术领域，具体为一种基于神经网络的ISP即插即用亮度调节模块。本发明专利技术亮度调节模块数学表示为一个线性映射函数：y＝w*x+b，输入x为按色彩通道分离后的RAW图数据I

【技术实现步骤摘要】
基于神经网络的ISP即插即用亮度调节模块


[0001]本专利技术属于图像处理
，具体涉及一种ISP即插即用亮度调节模块。

技术介绍

[0002]ISP(Image Signal Processor，图像信号处理器)的目标是处理来自图像传感器端的RAW图数据，以人眼感知质量为目标最终产生一张美观自然的彩色图像。传统的ISP采用分而治之的策略，包含了多个手工设计的算法处理模块，分别处理相关的图像质量问题。现有多种基于卷积神经网络的ISP大多采用定制化的U
‑
Net结构，使用RAW
‑
RGB图像对的数据集训练，让神经网络具有完成输入RAW图，输出RGB图的端到端处理功能。基于卷积神经网络的图像处理器相比传统的模块化设计，有着联合处理多个图像处理任务的潜力，并且在低光，高动态范围等复杂成像条件下有着优异的表现。
[0003]但是，现有卷积神经网络图像信号处理器的输出图像亮度与模型训练数据集的亮度相关，无法根据相机曝光系统提供的参数(曝光时间，ISO，光圈大小)，自适应地控制输出图像的亮度。

技术实现思路

[0004]本专利技术的目的在于提供一种能够自适应地控制输出图像亮度的基于神经网络的ISP即插即用亮度调节模块。
[0005]本专利技术是在神经网络的训练过程中，使用不同曝光条件下的RAW
‑
RGB数据对，设计即插即用的亮度调节模块，以接受曝光系统提供的曝光系数来控制神经网络输出图像亮度，并且不改变原有神经网络结构。
[0006]亮度调节模块的设计思路：考虑到曝光系统参数包括光圈大小、曝光时间、ISO三种关键指标，并且RAW图像亮度水平(像素值)与前述三个曝光系数存在线性关系，因此亮度调节模块可以是一个线性函数，它根据输出和输入的曝光系数的比例关系，将输入RAW图亮度水平线性映射到期望的亮度水平，经由亮度调节模块输出的RAW图再通过神经网络图像信号处理器得到期望的输出曝光条件下的RGB图像。
[0007]具体地，本专利技术设计的基于神经网络的ISP即插即用亮度调节模块，是一个如下形式的线性映射函数：
[0008]y＝w*x+b，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0009]其输入x为按色彩通道分离后的RAW图数据I
rggb
和亮度调节系数α的乘积，即x＝I
rggb
*α，输出y为期望曝光条件下的RAW图；w和b为亮度调节模块可学习系数；亮度调节模块训练时，使用与神经网络图像信号处理器使用相同的数据集；
[0010]在训练阶段，按色彩通道分离后的RAW图和亮度调节系数α作为输入x，经过线性映射函数y＝w*x+b，输出期望曝光条件下的RAW图y，将y与真实标签RGB图像配对的真实标签RAW图像计算L2损失损失函数，通过反向传播优化算法更新映射系数w和b。
[0011]具体步骤为(参见图3)：
[0012]步骤1、根据RAW图被拍摄时的曝光系数：光圈大小a
si
、曝光时间a
ti
和ISOa
gi
，以及期望输出图像的曝光系数a
so
、a
to
、a
go
，按照线性比例关系计算出亮度调节系数α：
[0013][0014]将标准bayer格式RAW按颜色通道分离(unpack)为RGGB图像数据I
rggb
。
[0015]步骤2、训练亮度调节模块；将亮度调节系数α和RGGB图像数据I
rggb
作为亮度调节模块的输入，线性映射输出期望曝光条件下RGGB图像I
orggb
：
[0016]I
Orggb
＝w*a*(I
rggb
+b)，
ꢀꢀ
(3)
[0017]亮度调节模块的训练是基于当前数据集拟合线性映射函数的系数w和b，可采用深度学习技术，计算I
orggb
和真实标签的输出图像GT RAW图计算L2损失：
[0018]L2 loss(I
orggb
，I
gt(raw)
)＝||I
orggb
‑
I
gt(raw)
||2，
ꢀꢀ
(4)
[0019]根据损失结果使用反向传播优化算法更新w和b。
[0020]步骤3、微调现有神经网络图像信号处理器。现有神经网络图像信号处理器以亮度调节模块输出RGGB图像I
orggb
作为输入，输出期望曝光条件下的RGB图像，并与真实标签的GT RGB图计算损失，通过反向传播优化算法更新神经网络模型参数，实现与亮度调节模块的结合。
[0021]步骤2和步骤3可以独立执行或同时执行。
[0022]步骤4、完成步骤2和步骤3后，再经由步骤1预处理得到输入亮度调节系数α和RGGB图像I
rggb
，经由训练完成的亮度调节模块和神经网络图像信号处理器可以输出期望曝光条件下的RGB图像。
[0023]本专利技术在不改变神经网络图像信号处理器结构的条件下，赋予使用相机曝光系数控制输出图像亮度水平的能力。
附图说明
[0024]图1为本专利技术中即插即用的亮度调节模块使用示意图。
[0025]图2为本专利技术中亮度调节模块训练方法图示。
[0026]图3为本专利技术中即插即用的亮度调节模块功能实现流程图示。
[0027]图4为本专利技术中亮度调节模块处理效果示例。
具体实施方式
[0028]步骤1、根据RAW图被拍摄时的曝光系数：光圈大小a
si
、曝光时间a
ti
和ISOa
gi
，以及期望输出图像的曝光系数a
so
、a
to
、a
go
，按照线性比例关系计算出亮度调节系数α：
[0029][0030]一般RAW数据提供的光圈大小使用F数n表示，近似表示为光圈孔径大小，因此，
[0031][0032]n
i
和n
o
分别代表输入RAW和期望输出图像的F数。
[0033]将标准bayer格式RAW图输入按颜色通道分离(unpack)为4通道的RGGB图像数据I
rggb
。
[0034]步骤2、训练亮度调节模块；将亮度调节系数α和RGGB图像数据I
rggb
作为亮度调节模块的输入，线性映射输出期望曝光条件下RGGB图像I
orggb
：
[0035]I
Orggb
＝w*a*(I
rggb
+b)，
ꢀꢀ
(3)
[0036]亮度调节模块的训练是基于当前数据集拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的ISP即插即用亮度调节模块，其特征在于，是一个如下形式的线性映射函数：y＝w*x+b，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其输入x为按色彩通道分离后的RAW图数据I
rggb
和亮度调节系数α的乘积，即x＝I
rggb
*α，输出y为期望曝光条件下的RAW图；w和b为亮度调节模块可学习系数；亮度调节模块训练时，使用与神经网络图像信号处理器使用相同的数据集；在训练阶段，按色彩通道分离后的RAW图和亮度调节系数α作为输入x，经过线性映射函数y＝w*x+b，输出期望曝光条件下的RAW图y，将y与真实标签RGB图像配对的真实标签RAW图像计算L2损失损失函数，通过反向传播优化算法更新映射系数w和b。2.根据权利要求1所述的ISP即插即用亮度调节模块，其特征在于，其训练的流程为：(1)根据RAW图被拍摄时的曝光系数：光圈大小a
si
、曝光时间a
ti
和ISO a
gi
，以及期望输出图像的曝光系数a
so
、a
to
、a
go
，按照线性比例关系计算出亮度调节系数α：...

【专利技术属性】
技术研发人员：范益波，许珐，荆明娥，龚勇，赵国强，黄晓倩，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：