基于多粒度合作网络的极低光成像方法技术

本发明专利技术属于图像处理与计算机视觉领域，公开了一种基于多粒度合作网络的极低光成像方法，包括以下步骤：S1、采集相机原始信号数据，进行黑电平校正；S2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；S3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络。本发明专利技术不仅实现了更高的峰值信噪比（PSNR）和结构相似性度量（SSIM），而且具有更好的视觉效果。

A very low light imaging method based on multi granularity cooperative network

【技术实现步骤摘要】
基于多粒度合作网络的极低光成像方法
本专利技术属于图像处理与计算机视觉领域，具体涉及一种基于多粒度合作网络的极低光成像方法。
技术介绍
低光或极低光照条件下的成像一直以来都是一项十分困难的任务，在低光或极低光照条件下成像设备具有较低的信噪比，传统图像信号处理(ISP)算法处理的图像会存在噪点、模糊、颜色失真等问题。要解决此问题，一种策略是延长曝光时间以获取清晰的图像，但是由于相机抖动或物体移动，曝光时间的增加会导致模糊，因此该策略不适用于视频拍摄。另一种策略是打开闪光灯，但这种策略会使得图像看起来不自然。到现在为止，已经提出了许多方法来增强图像的质量，例如直方图均衡化算法和Retinex算法。但传统的夜间图像增强技术在实际应用中主要面临两个问题：1.通常会导致增强图像的某些区域过爆或曝光不足，同时产生大量噪声、色差等问题；2.在极弱的光照环境下，尤其是在保护高动态范围(HDR)方面仍然难以获得令人满意的结果。
技术实现思路
本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种基于多粒度合作网络的极低光成像方法。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于多粒度合作网络的极低光成像方法，包括以下步骤：S1、采集相机原始信号数据，进行黑电平校正；S2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；S3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络，其中，第一个网络的输入为所述多粒度合作神经网络的输入input1，后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。所述步骤S1中，对采集相机原始信号数据，进行黑电平校正的公式为：raw＝max(Iraw-512)/(1683-512)；其中，Iraw表示相机原始信号数据，raw表示经过校正后的信号数据。所述步骤S2中，采用原始照明图估计函数对黑电平校正后的信号数据进行非线性增益处理，具体处理办法为通过原始照明图估计函数M点乘经过黑电平校正后的信号数据raw，即得到增益后的数据grsd；所述原始照明图估计函数的计算公式为：其中，M表示原始照明图估计函数，mf表示照明图函数，ε表示原始照明图估计函数的下限，在网络训练期间ε设置为1；在处理极暗HDR原始图像时ε设置为其中ratio为输入图像与参考图像之间的曝光差比值；照明图函数mf的计算表达式为：其中参数r用来控制图片的曝光程度，参数α用来避免x出现0，从而造成异常的输出。为通过经验设定；x表示图像的输入，即黑电平校正后的信号数据raw。所述r和α的设定值分别为α＝10-6和r＝1。所述多粒度合作神经网络中，损失函数的计算公式为：其中K是训练过程中输入网络的图像数量，W是的宽，H是的高，C是的通道数，和分别表示图像重建损失和图像平滑度损失，λr和λs分别表示相应的权重；图像重建损失的计算公式为：其中，N表示多粒度合作网络中单粒度网络的数量，hi，out表示第i个单粒度网络的输出，I表示参考图像，h＇1，out表示反向连接后第一个单粒度网络的输出；图像平滑度损失的计算公式为：表示在x和y方向上的总变化。进一步地，λr＝1，所述所述多粒度合作神经网络中，第一个单粒度网络的输出h1，out为：h1，out＝φ1，n+1(h1，n+1；w1，n+1，b1，n+1)；其中，n+1表示单粒度网络的总层数，h1，n+1表示第一个单粒度网络的第n+1层的输出，w1，n+1表示第一个单粒度网络的第n+1层的权重，b1，n+1表示第一个单粒度网络的第n+1层的偏差，φ1，n+1表示第一个单粒度网络的第n+1层的激活函数；第i个单粒度网络的输出为：hi，out＝φi，n+1(f(β1，n+1×h1，n+1，...，βi，n+1×hi，n+1，hi，n+1)；wi，n+1，bi，n+1)，i∈{2，...，m}；其中，βi，n+1表示第i个单粒度网络的第n+1层的控制不同信息比例的权重；hi，n+1表示第i个单粒度网络的第n+1层的输出，wi，n+1表示第i个单粒度网络的第n+1层的权重；bi，n+1表示第i个单粒度网络的第n+1层的偏差，f(·)表示特征融合函数，φi，n+1表示第i个单粒度网络的第n+1层的激活函数，m+1表示所述多粒度合作神经网络中单粒度网络的个数；最后一个单粒度网络的输出为：h′1，out＝φ1，n+1(f(h′1，n+1，...，βi，n+1×hi，n+1)；w1，n+1，b1，n+1)，i∈{1，...，m}；其中，h′1，n+1表示最后一个单粒度网络的第n+1层的输出。进一步地，第一个单粒度网络的第1层的输出h1，1的表达式为：h1，1＝φ1，1(h1，in；w1，in，b1，in)；第一个单粒度网络的第j+1层的输出h1，j+1的表达式为：h1，j+1＝φ1，j(h1，1，...，h1，j；w1，j，b1，j)，j∈{1，...，n}；第i个单粒度网络SGN-i的第1层输出hi，1的表达式为：hi，1＝φi，1(f(α1，out×h1，out，...，αi-1，out×hi-1，out，hi，in)；wi，1，bi，1)，i∈{2，...，m}；第i个单粒度网络的第j+1层的输出hi，j+1的表达式为：hi，j+1＝φi，j(f(β1，j×h1，j，...，βi-1，j，hi，j)；wi，j，bi，j)，i∈{2，...，m}，j∈{1，...，n}；最后一个单粒度网络的第1层的输出h′1，1为：h′1，1＝φ1，1(f(α1，out×h1，out，...，αi，out×hi，out，hi，in)；w1，1，b1，1)，i∈{1，...，m}；最后一个单粒度网络的第j+1层的输出h′1，j+1的表达式为：h′1，j+1＝φ1，j(f(h′1，j，β2，j×h2，j，...，βi，j×hi，j)；w1，j，b1，j)，i∈{1，...，n}，j∈{1，...，m}。本专利技术与现有技术相比具有以下有益效果：1.本专利技术提供了一种基于多粒度合作网络的极低光成像方法，该方法以多粒度合作神经网络进行学习，实现图像增强，不仅实现了更高的峰值信噪比(PSNR)和结构相似性度量(SSIM)，而且具有更好的视觉效果。2.本专利技术的成像方法，通过一种新颖的原始照度图估计函数，该函数可以在极端弱光环境下生成具有期望属性(清晰度，色彩鲜艳度，良好对比度)的曝光良好的sRGB图像。通过一系列实验，验证了该算法的鲁棒性。附图说明图1为本文档来自技高网...

【技术保护点】
1.一种基于多粒度合作网络的极低光成像方法，其特征在于，包括以下步骤：/nS1、采集相机原始信号数据，进行黑电平校正；/nS2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；/nS3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络，其中，第一个网络的输入为所述多粒度合作神经网络的输入input1，后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。/n

【技术特征摘要】
1.一种基于多粒度合作网络的极低光成像方法，其特征在于，包括以下步骤：
S1、采集相机原始信号数据，进行黑电平校正；
S2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；
S3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络，其中，第一个网络的输入为所述多粒度合作神经网络的输入input1，后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。


2.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述步骤S1中，对采集相机原始信号数据，进行黑电平校正的公式为：
raw＝max(Iraw-512)/(16383-512)；
其中，Iraw表示相机原始信号数据，raw表示经过校正后的信号数据。


3.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述步骤S2中，采用原始照明图估计函数对黑电平校正后的信号数据进行非线性增益处理，具体处理办法为通过原始照明图估计函数M点乘经过黑电平校正后的信号数据raw，即得到增益后的数据grsd；
所述原始照明图估计函数的计算公式为：



其中，M表示原始照明图估计函数，mf表示照明图函数，ε表示原始照明图估计函数的下限，在网络训练期间ε设置为1；在处理极暗HDR原始图像时ε设置为其中ratio为输入图像与参考图像之间的曝光差比值；照明图函数mf的计算表达式为：



其中参数r用来控制图片的曝光程度，参数α用来避免x出现0，从而造成异常的输出。为通过经验设定；x表示图像的输入，即黑电平校正后的信号数据raw。


4.根据权利要求3所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述r和α的设定值分别为α＝10-6和r＝1。


5.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述多粒度合作神经网络中，损失函数lmu的计算公式为：



其中K是训练过程中输入网络的图像数量，W是lr的宽，H是lr的高，C是lr的通道数，lr和ls分别表示图像重建损失和图像平滑度损失，λr和λs分别表示相应的权重；
图像重建损失的计算公式为：



其中，N表示多粒度合作网络中单粒度网络的数量，hi，out表示第i个单粒度网络的输出，I表示参考图像，h′1，out表示反向连接后第一个单粒度网络的输出；
图像平滑度损失的计算公式为：




表示在x和y方向上的总变化。


6.根据权利要求5所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，λr＝1，λis＝1。

【专利技术属性】
技术研发人员：钱宇华，王克琪，卢佳佳，陈路，温超，
申请(专利权)人：山西大学，
类型：发明
国别省市：山西;14