一种基于注意力模块的高动态范围去重影成像系统及方法技术方案

本发明专利技术公开了一种基于注意力模块的高动态范围去重影成像系统及方法，本发明专利技术将注意力网络应用于高动态范围去重影算法中，引导不同图像地融合，抑制图像地饱和与非对准区域；本发明专利技术创新性地提出了利用可学习的注意力网络来指导合并过程。利用注意力网络生成注意力映射，来评估不同图像区域对获得所需高动态范围图像的重要性，可以突出和参考图像互补的特征，来排除运动和严重饱和的区域，将具有注意力引导的低动态范围图像特征输入到融合网络中。利用空洞残差块来构造融合网络，有助于充分利用来自不同卷积层的信息，从而从输入的低动态范围图像中保留更多的细节，空洞卷积扩大了感受野，有助于恢复过饱和区域和运动造成的细节缺失。

【技术实现步骤摘要】
一种基于注意力模块的高动态范围去重影成像系统及方法
本专利技术属于图像处理
，涉及一种基于深度学习的高动态图像合成方法，具体涉及一种基于注意力模块的高动态范围去重影成像方法。
技术介绍
高动态范围成像(HighDynamicRange，HDR)高动态范围(High-DynamicRange，简称HDR)，又称宽动态范围技术，是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因过度曝光成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围“。HDR图片是使用多张不同曝光的图片，然后再用软件它们组合成一张图片。它的优势是最终你可以得到一张无论在阴影部分还是高光部分都有细节的图片。在正常的摄影当中，或许你只能选择两者之一。广义上的“动态范围”是指某一变化的事物可能改变的跨度，即其变化值的最低端极点到最高端极点之间的区域，此区域的描述一般为最高点与最低点之间的差值。这是一个应用非常广泛的概念，在谈及摄像机产品的拍摄图像指标时，一般的“动态范围”是指摄像机对拍摄场景中景物光照反射的适应能力，具体指亮度(反差)及色温(反差)的变化范围。在1997年的SIGGRAPH上，PaulDebevec提交了题为“从照片中恢复高动态范围辐射图”的论文。这篇论文描述了按照不同的曝光设置对同一个场景进行拍照，然后将这些采用不同曝光的照片组合成高动态范围图像。这种高动态范围图像可以捕捉从黑暗的阴影到亮光源或者高反光的更大动态范围的场景。在SIGGRAPH98一年之后，Debevec又提交了一篇论文“将人造物体渲染成真实场景：沟通基于图像的传统图形与全局照明以及高动态范围照片”。在这篇论文中，他使用以前的技术对光滑的铬球照相以生成他所称作的“lightprobe”，即本质上的高动态范围环境图。然后将这个lightprobe用于合成场景的渲染。与普通的环境图简单地提供反射或者折射信息不同，lightprobe还提供了场景中的照明，实际上，这是唯一的光源。这种方法实现了一种前所未有的真实感效果，为整体照明模型提供了真实世界的照明数据。一些数码相机的生产商近年来不断地研发HDR技术，在相机中内置能够拍摄出高动态范围的硬件与软件。日本的富士公司早在2004年就推出了高动态范围的SuperCCDSR，这款影像传感器使用一半像素来记录正常亮度，另一半用来记录画面的暗部，使画面获得更多的细节，这项技术也应用于富士旗下的数码单反。随后其他品牌的数码单反也都各自推出自己的提高影像动态范围的技术，例如佳能公司的高光优先模式、尼康公司的ActiveD-Lighting技术、索尼公司的D-RangeOptimizer、宾得公司的动态范围扩大功能等。现在各厂家的很多小型数码相机也开始置入了这项功能。
技术实现思路
针对现有的高动态范围去重影技术的理论基础相似，去重影效果不是很理想的问题，本专利技术提供了一种基于注意力模块的高动态范围去重影成像系统及方法，该方法运用注意力模块来实现图像合成，运用较为简单的模型结构就可以取得较好的去重影效果。实现步骤：本专利技术的第一方面，提供了一种基于注意力模块的高动态范围去重影成像系统，用于实现把三张低动态范围图像合成一张高动态图像，包括图像特征提取模块、注意力模块和融合模块：图像特征提取模块：用于将三张低动态范围图像按照曝光时间从高到低排序，通过伽马映射得到低动态范围图像对应的高动态范围图像，低动态范围图像与对应的高动态范围图像通道数相加得到6通道的张量。注意力模块：将图像特征提取模块获得的6通道的张量输入注意力网络，通过注意力网络对非参考的低动态范围图像提取特征，形成注意力映射，来评估不同图像区域对获得所需高动态范围图像的重要性，突出和参考图像互补的特征，来排除运动和严重饱和的区域，将具有注意力引导的低动态范围图像特征输入到融合网络中。融合模块：通过融合网络，采用全局残差学习策略，在充分获得稠密的局部特征后，采用全局特征融合的方法对全局层次特征进行联合自适应学习，将浅层特征和深层特征进行结合，倾向于学习剩余特征，最终经过色调映射得到最终的高动态范围图像。所述的融合网络包括两个卷积核为3*3的卷积层，3个空洞密集块以及Relu激活函数。本专利技术的第二方面，提供了一种基于注意力模块的高动态范围去重影成像的方法，其步骤包括：步骤(1)：对数据集进行预处理，所述的数据集中包括多组三张不同曝光时间的低动态范围图像，对数据集中的同组的三张低动态范围图像进行相同的旋转和随机剪裁处理，并与对应的曝光时间一起写成列表的形式，列表内包含三张低动态范围图像以及对应的曝光时间。步骤(2)：图像特征的提取；2-1：将三张低动态范围图像按照曝光时间从高到低排序为L1、L2、L3；2-2：对L1、L2、L3进行伽马映射得到高动态范围域的图像，即高动态范围图像H1、H2、H3，伽马映射满足如下关系式：Hi＝(Li**GAMMA)÷(Ti)其中i＝1，2，3；GAMMA取2.24，2.24是相机响应函数的近似值，能近似获得HDR真实图像；Ti是图像的曝光时间。2-3：将低动态范围图像与对应的高动态范围图像连接到一起(通道数相加)，得到6通道的张量Xi＝[Li，Hi]，i＝1,2,3。步骤(3)：通过注意力模块的注意力网络形成注意力映射；3-1：将Xi输入卷积核大小为3*3的卷积层，得到通道数为64的特征映射Zi，i＝1,2,3，其中Z1，Z3为非参考特征映射，Z2为参考特征映射。3-2将Z1，Z3分别与参考特征映射Z2一起送入卷积注意力模块，经过两层卷积核为3*3的卷积层进行特征提取，再经过sigmoid激活函数将输出变为[0，1]的权重。3-3：将获得的权重分别与Z1，Z3点乘得到Z′1，Z′3。3-4：将Z′1，Z′3特征映射与参考特征映射Z2结合得到注意力映射Zs。步骤(4)：通过融合模块的融合网络得到最终的高动态范围图像；4-1：将Zs输入到卷积核为3*3的卷积层中，得到64通道的特征映射F0。4-2：将特征映射F0输入依次输入到三个空洞密集块中，分别得到特征映射F1，F2，F3。所述的空洞密集块由1*1的卷积层和Relu激活函数组成，能够充分获得稠密的局部特征。4-3：将F1，F2，F3结合到一起得到F4，将F4输入到卷积核为3*3的卷积层，再经过Relu激活函数得到特征映射F5。4-4：将特征映射F5经过色调映射得到输出的最终的高动态范围图像，色调映射满足关系式：Q(H)＝[log(1+μH)]÷[log(1+μ)]，其中，Q(H)表示最终的高动态范围图像，H＝F5。进一步的，μ取5000时效果最好。本专利技术有益本文档来自技高网...

【技术保护点】
1.一种基于注意力模块的高动态范围去重影成像系统，其特征在于，包括图像特征提取模块、注意力模块和融合模块：/n图像特征提取模块：用于将三张低动态范围图像按照曝光时间从高到低排序，通过伽马映射得到低动态范围图像对应的高动态范围图像，低动态范围图像与对应的高动态范围图像通道数相加得到6通道的张量；/n注意力模块：将图像特征提取模块获得的6通道的张量输入注意力网络，通过注意力网络对非参考的低动态范围图像提取特征，形成注意力映射，来评估不同图像区域对获得所需高动态范围图像的重要性，突出和参考图像互补的特征，来排除运动和严重饱和的区域，将具有注意力引导的低动态范围图像特征输入到融合网络中；/n融合模块：通过融合网络，采用全局残差学习策略，在充分获得稠密的局部特征后，采用全局特征融合的方法对全局层次特征进行联合自适应学习，将浅层特征和深层特征进行结合，倾向于学习剩余特征，最终经过色调映射得到最终的高动态范围图像；所述的融合网络包括两个卷积核为3*3的卷积层，3个空洞密集块以及Relu激活函数。/n

【技术特征摘要】
1.一种基于注意力模块的高动态范围去重影成像系统，其特征在于，包括图像特征提取模块、注意力模块和融合模块：
图像特征提取模块：用于将三张低动态范围图像按照曝光时间从高到低排序，通过伽马映射得到低动态范围图像对应的高动态范围图像，低动态范围图像与对应的高动态范围图像通道数相加得到6通道的张量；
注意力模块：将图像特征提取模块获得的6通道的张量输入注意力网络，通过注意力网络对非参考的低动态范围图像提取特征，形成注意力映射，来评估不同图像区域对获得所需高动态范围图像的重要性，突出和参考图像互补的特征，来排除运动和严重饱和的区域，将具有注意力引导的低动态范围图像特征输入到融合网络中；
融合模块：通过融合网络，采用全局残差学习策略，在充分获得稠密的局部特征后，采用全局特征融合的方法对全局层次特征进行联合自适应学习，将浅层特征和深层特征进行结合，倾向于学习剩余特征，最终经过色调映射得到最终的高动态范围图像；所述的融合网络包括两个卷积核为3*3的卷积层，3个空洞密集块以及Relu激活函数。


2.一种基于注意力模块的高动态范围去重影成像的方法，其特征在于，其步骤包括：
步骤(1)：对数据集进行预处理；
步骤(2)：图像特征的提取；
步骤(3)：通过注意力模块的注意力网络形成注意力映射；
步骤(4)：通过融合模块的融合网络得到最终的高动态范围图像。


3.根据权利要求2所述的一种基于注意力模块的高动态范围去重影成像的方法，其特征在于，步骤(1)：对数据集进行预处理，所述的数据集中包括多组三张不同曝光时间的低动态范围图像，对数据集中的同组的三张低动态范围图像进行相同的旋转和随机剪裁处理，并与对应的曝光时间一起写成列表的形式，列表内包含三张低动态范围图像以及对应的曝光时间。


4.根据权利要求3所述的一种基于注意力模块的高动态范围去重影成像的方法，其特征在于，步骤(2)具体如下：
2-1：将三张低动态范围图像按照曝光时间从高到低排序为L1、L2、L3；
2-2：对L1、L2、L3进行伽马映射得到高动态范围域的图像，即高动...

【专利技术属性】
技术研发人员：颜成钢，潘潇恺，高含笑，孙垚棋，张继勇，李宗鹏，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33