【技术实现步骤摘要】
基于多粒度合作网络的极低光成像方法
本专利技术属于图像处理与计算机视觉领域，具体涉及一种基于多粒度合作网络的极低光成像方法。
技术介绍
低光或极低光照条件下的成像一直以来都是一项十分困难的任务，在低光或极低光照条件下成像设备具有较低的信噪比，传统图像信号处理(ISP)算法处理的图像会存在噪点、模糊、颜色失真等问题。要解决此问题，一种策略是延长曝光时间以获取清晰的图像，但是由于相机抖动或物体移动，曝光时间的增加会导致模糊，因此该策略不适用于视频拍摄。另一种策略是打开闪光灯，但这种策略会使得图像看起来不自然。到现在为止，已经提出了许多方法来增强图像的质量，例如直方图均衡化算法和Retinex算法。但传统的夜间图像增强技术在实际应用中主要面临两个问题：1.通常会导致增强图像的某些区域过爆或曝光不足，同时产生大量噪声、色差等问题；2.在极弱的光照环境下，尤其是在保护高动态范围(HDR)方面仍然难以获得令人满意的结果。
技术实现思路
本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种基于多粒度...
【技术保护点】
1.一种基于多粒度合作网络的极低光成像方法，其特征在于，包括以下步骤：/nS1、采集相机原始信号数据，进行黑电平校正；/nS2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；/nS3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络，其中，第一个网络的输入为所述多粒度合作神经网络的输入input1，后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。/n
【技术特征摘要】 【专利技术属性】
1.一种基于多粒度合作网络的极低光成像方法，其特征在于，包括以下步骤：
S1、采集相机原始信号数据，进行黑电平校正；
S2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；
S3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络，其中，第一个网络的输入为所述多粒度合作神经网络的输入input1，后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。
2.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述步骤S1中，对采集相机原始信号数据，进行黑电平校正的公式为：
raw＝max(Iraw-512)/(16383-512)；
其中，Iraw表示相机原始信号数据，raw表示经过校正后的信号数据。
3.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述步骤S2中，采用原始照明图估计函数对黑电平校正后的信号数据进行非线性增益处理，具体处理办法为通过原始照明图估计函数M点乘经过黑电平校正后的信号数据raw，即得到增益后的数据grsd；
所述原始照明图估计函数的计算公式为：
其中，M表示原始照明图估计函数，mf表示照明图函数，ε表示原始照明图估计函数的下限，在网络训练期间ε设置为1；在处理极暗HDR原始图像时ε设置为其中ratio为输入图像与参考图像之间的曝光差比值；照明图函数mf的计算表达式为：
其中参数r用来控制图片的曝光程度，参数α用来避免x出现0，从而造成异常的输出。为通过经验设定；x表示图像的输入，即黑电平校正后的信号数据raw。
4.根据权利要求3所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述r和α的设定值分别为α＝10-6和r＝1。
5.根据权利要求1所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，所述多粒度合作神经网络中，损失函数lmu的计算公式为：
其中K是训练过程中输入网络的图像数量，W是lr的宽，H是lr的高，C是lr的通道数，lr和ls分别表示图像重建损失和图像平滑度损失，λr和λs分别表示相应的权重；
图像重建损失的计算公式为：
其中，N表示多粒度合作网络中单粒度网络的数量，hi，out表示第i个单粒度网络的输出，I表示参考图像，h′1，out表示反向连接后第一个单粒度网络的输出；
图像平滑度损失的计算公式为：
表示在x和y方向上的总变化。
6.根据权利要求5所述的一种基于多粒度合作网络的极低光成像方法，其特征在于，λr＝1，λis＝1。
技术研发人员：钱宇华，王克琪，卢佳佳，陈路，温超，
申请(专利权)人：山西大学，
类型：发明
国别省市：山西;14
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。