一种暗场景图像降噪方法及系统技术方案

本发明专利技术提供暗场景图像降噪方法及系统，包括：将原始图像序列转换为统一尺寸的目标图像序列；通过线性变换将目标图像序列进行归一化；通过深度神经网络提取目标图像序列中的特征信息并通过卷积神经网络融合特征信息以得到融合信息；训练融合信息得到暗场景神经网络模型；对暗场景神经网络模型进行低比特量化；设计神经网络加速器并通过神经网络加速器优化暗场景神经网络模型；将待处理暗场景图像输入到暗场景神经网络模型中，得到待处理暗场景图像的目标图像序列并对待处理暗场景图像的目标图像序列进行处理得到降噪后的目标暗场景图像。运行于低功耗低空间占用的移动端平台，有效的节省电力、空间体积，保证暗场景图像降噪系统的鲁棒性与普适性。降噪系统的鲁棒性与普适性。降噪系统的鲁棒性与普适性。

【技术实现步骤摘要】
一种暗场景图像降噪方法及系统


[0001]本专利技术涉及图像降噪领域，具体涉及一种暗场景图像降噪方法及系统。

技术介绍

[0002]在计算机视觉任务的发展历程中，图像降噪一直是一个广受关注的前沿领域，因为它能够去除噪声，还原原始图像中传达的大量信息。在图像降噪领域中，最重要的主题之一就是暗场景图像降噪，因为它可以广泛应用于生产、工业和国防等领域，例如安防监控、机器人技术和自动驾驶等。在生产生活的实际应用需要相关网络系统既高效又快速。然而，暗场景中的噪声强度极大，在去除噪声过程中又需要尽可能地保留细节信息，这使得有效解决实际问题更具挑战性。尽管困难重重，但由于深度神经网络地广泛应用，近年来在该研究领域取得了长足进展。
[0003]如今，人们通过更深更宽的神经网络已经实现了很好的暗场景图像降噪效果。已经有许多基于2D和3D卷积神经网络(CNN)的方法被报道可以实现高效的暗场景图像降噪。然而，降噪效果的提升是以高昂的计算复杂度为代价的。更深更广的网络带来了更多的权重矩阵乘法，这反过来又增加了相当可观的计算资源和能量耗。对于存储空间和内存有限的嵌入式物联网设备，对计算资源的超高要求令人望而却步，也使得实际应用变得不再现实。此外，具有深度维度的3D卷积引入了额外的模型参数，从而增加了模型存储大小和模型延迟时间。因此，人们无法在资源受限的边缘移动设备上实现基于3D卷积神经网络的系统的应用。

技术实现思路

[0004]为了解决现有技术中的缺陷，本专利技术提供了一种暗场景图像降噪方法及系统。
[0005]在一些实施方式中，本专利技术提供了一种暗场景图像降噪方法，包括：
[0006]将采集到的原始图像序列转换为统一尺寸的目标图像序列；
[0007]通过基于相机传感器参数标定的线性变换将所述目标图像序列进行归一化；
[0008]通过深度神经网络提取所述目标图像序列中的特征信息，并通过卷积神经网络融合所述目标图像序列中的特征信息以得到融合信息；
[0009]利用所述融合信息训练基于U
‑
Net的神经网络模型，训练得到暗场景神经网络模型；
[0010]对所述暗场景神经网络模型进行低比特量化；
[0011]设计神经网络加速器，并通过所述神经网络加速器用硬件加速的方式优化低比特量化后的暗场景神经网络模型；
[0012]将待处理暗场景图像输入到低比特量化后的暗场景神经网络模型中，得到所述待处理暗场景图像的目标图像序列，并对所述待处理暗场景图像的目标图像序列进行图像信号处理，得到降噪后的目标暗场景图像。
[0013]在一些实施方式中，所述通过基于相机传感器参数标定的线性变换将所述目标图
像序列进行归一化，包括：
[0014]根据所述目标图像序列的ISO对标定的噪声特性曲线进行插值；
[0015]利用插值得到的噪声参数对所述目标图像序列进行线性变换，将不同ISO的噪声图像归一化到统一ISO指标下。
[0016]在一些实施方式中，所述通过深度神经网络提取所述目标图像序列中的特征信息，并通过卷积神经网络融合所述目标图像序列中的特征信息以得到融合信息，包括：
[0017]通过基于卷积神经网络的编码器结构，提取所述目标图像序列中的特征信息，所述特征信息包括语义特征信息和细节特征信息；
[0018]通过基于卷积神经网络的跳连结构，将所述特征信息与所述原始图像序列中的原始图像信息进行融合，得到融合信息。
[0019]在一些实施方式中，所述利用所述融合信息训练基于U
‑
Net的神经网络模型，训练得到暗场景神经网络模型，包括：
[0020]通过基于卷积神经网络的解码器结构，结合跳连结构中得到的融合信息，与无噪声图像配对进行训练，学习所述无噪声图像中去除噪声的卷积神经网络参数，得到通道级量化后的权重和通道级量化后的参数。
[0021]在一些实施方式中，所述对所述暗场景神经网络模型进行低比特量化，包括：
[0022]对步骤S4中得到的权重W和参数β进行如下的通道级量化，得到W
q
和β
q
，公式如下：
[0023]W
q
＝a*21‑
k
*q；
[0024]β
q
＝a*21‑
k
*q；
[0025]其中，W
q
是通道级量化后的权重，β
q
是通道级量化后的参数，q是在整数运算单元中参与计算的整数，a是缩放因子，k是量化位宽；
[0026]根据神经网络梯度的反向传播原理，按照如下表达式对缩放因子a进行更新：
[0027][0028][0029]其中，x为反向传播中计算得到的每一层神经元的输出；
[0030]按照梯度下降方向更新权值，直到模型收敛。
[0031]在一些实施方式中，所述设计神经网络加速器，并通过所述神经网络加速器用硬件加速的方式优化低比特量化后的暗场景神经网络模型包括：
[0032]采用双缓冲、窗口缓存的方式增加系统的带宽，并利用循环展开实现所述系统的计算单元的并行处理，得到所述神经网络加速器；
[0033]将所述神经网络加速器综合成神经网络加速器IP核，并将所述神经网络加速器IP核与所述系统的处理器模块、时钟模块、复位模块进行互联，得到能够进行硬件部署的轻量级暗场景降噪神经网络的比特流文件。
[0034]在一些实施方式中，所述采用双缓冲、窗口缓存的方式增加系统的带宽，并利用循环展开实现所述系统的计算单元的并行处理，得到所述神经网络加速器包括：
[0035]设计所述神经网络加速器的多维、并行的卷积单元，根据所述暗场景降噪神经网
络的输出层维度展开所述暗场景降噪神经网络中的卷积操作，通过流水线处理的方式对所述暗场景降噪神经网络进行进一步的加速；
[0036]对所述神经网络加速器的低比特乘法加法运算单元进行设计，包括：采用九个乘法器和一个由九个加法器组成的加法树得到新的低比特乘法加法运算单元；其中，每个乘法器分别接受一个8比特的输入和2比特的权重；
[0037]通过所述系统的行缓冲存储输入特征值中的一个滑动窗口所处的行内数据，设计所述神经网络加速器的多维度并行卷积单元；
[0038]组合所述神经网络加速器的所有的计算单元，通过多级缓冲架构并行执行所述计算单元，同时进行DDR读写操作。
[0039]在一些实施方式中，所述将所述神经网络加速器综合成神经网络加速器IP核，并将所述神经网络加速器IP核与所述系统的处理器模块、时钟模块、复位模块进行互联，得到能够进行硬件部署的轻量级暗场景降噪神经网络的比特流文件，包括：
[0040]将所述神经网络加速器综合成神经网络加速器IP核，并定义所述神经网络加速器IP核的输入接口和输出接口；
[0041]将所述神经网络加速器IP核与所述系统的处理器模块、时钟模块、复位模块互联，综合生成比特流文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种暗场景图像降噪方法，其特征在于，包括：将采集到的原始图像序列转换为统一尺寸的目标图像序列；通过基于相机传感器参数标定的线性变换将所述目标图像序列进行归一化；通过深度神经网络提取所述目标图像序列中的特征信息，并通过卷积神经网络融合所述目标图像序列中的特征信息以得到融合信息；利用所述融合信息训练基于U
‑
Net的神经网络模型，训练得到暗场景神经网络模型；对所述暗场景神经网络模型进行低比特量化；设计神经网络加速器，并通过所述神经网络加速器用硬件加速的方式优化低比特量化后的暗场景神经网络模型；将待处理暗场景图像输入到低比特量化后的暗场景神经网络模型中，得到所述待处理暗场景图像的目标图像序列，并对所述待处理暗场景图像的目标图像序列进行图像信号处理，得到降噪后的目标暗场景图像。2.根据权利要求1所述的暗场景图像降噪方法，其特征在于，所述通过基于相机传感器参数标定的线性变换将所述目标图像序列进行归一化，包括：根据所述目标图像序列的ISO对标定的噪声特性曲线进行插值；利用插值得到的噪声参数对所述目标图像序列进行线性变换，将不同ISO的噪声图像归一化到统一ISO指标下。3.根据权利要求1所述的暗场景图像降噪方法，其特征在于，所述通过深度神经网络提取所述目标图像序列中的特征信息，并通过卷积神经网络融合所述目标图像序列中的特征信息以得到融合信息，包括：通过基于卷积神经网络的编码器结构，提取所述目标图像序列中的特征信息，所述特征信息包括语义特征信息和细节特征信息；通过基于卷积神经网络的跳连结构，将所述特征信息与所述原始图像序列中的原始图像信息进行融合，得到融合信息。4.根据权利要求1所述的暗场景图像降噪方法，其特征在于，所述利用所述融合信息训练基于U
‑
Net的神经网络模型，训练得到暗场景神经网络模型，包括：通过基于卷积神经网络的解码器结构，结合跳连结构中得到的融合信息，与无噪声图像配对进行训练，学习所述无噪声图像中去除噪声的卷积神经网络参数，得到通道级量化后的权重和通道级量化后的参数。5.根据权利要求1所述的暗场景图像降噪方法，其特征在于，所述对所述暗场景神经网络模型进行低比特量化，包括：对步骤S4中得到的权重W和参数β进行如下的通道级量化，得到W
q
和β
q
，公式如下：W
q
＝a*21‑
k
*q；β
q
＝a*21‑
k
*q；其中，W
q
是通道级量化后的权重，β
q
是通道级量化后的参数，q是在整数运算单元中参与计算的整数，a是缩放因子，k是量化位宽；根据神经网络梯度的反向传播原理，按照如下表达式对缩放因子a进行更新：
其中，x为反向传播中计算得到的每一层神经元的输出；按照梯度下降方向更新权值，直到模型收敛。6.根据权利要求1所述的暗场景图像降噪方法，其特征在于，所述设计神经网络加速器，并通过所述神经网络加速器用硬件加速的方式优化低比特量化后的暗场景神经网络模型包括：采用双缓冲、窗口缓存的方式增加系统的带宽，并利用循环展开实现所述系统的计算单元的并行处理，得到所述神经网络加速器；将所述神经网络加速器综合成神经网络加速器IP核，并将所述神经网络加速器IP核与所述系统的处理器模块、时钟模块、复位...

【专利技术属性】
技术研发人员：吕明珠，刘健伟，陈海宝，
申请(专利权)人：上海为旌科技有限公司，
类型：发明
国别省市：