【技术实现步骤摘要】
一种基于Transformer的鲁棒去重影系统及方法
[0001]本专利技术是基于Transformer的去重影方法，主要是涉及Transformer网络的多头注意力解码层的去重影方法，属于图像处理技术理念领域。
技术介绍
[0002]照明对于商业相机捕捉视觉上吸引人的照片很重要。然而，在常见场景中不太可能遇到这种情况。通常，场景的动态范围远远超过标准数码相机传感器的硬件限制。在这种情况下，产生的照片将由饱和区域组成，这些区域要么太暗，要么太亮，无法视觉理解。
[0003]考虑到相机硬件带来的限制，一种算法解决方案是将具有不同曝光的多个低动态范围(LDR)图像(也称为曝光堆栈)合并到单个高动态范围(HDR)图像中。这有助于在黑暗和明亮的饱和区域显示细节。多曝光融合(MEF)方法从大量LDR输入图像中合并曝光良好的区域，以产生具有更高动态范围的单个视觉吸引力的LDR结果。对于完全静态序列([4]–
[6])，这是一个简单的问题。然而，在大多数实际情况下，一定数量的摄影机和对象运动是不可避免的，这会导致最终融合结果中出现类似鬼影的伪影。
[0004]Kalantari和Ramamoorthi(NimaKhademiKalantariandRaviRamamoorthi.Deep highdynamicrangeimagingofdynamicscenes.ACMTrans.Graph.,36(4):144
–
1,2017.2,3,5,6,7,8)提出了第一个基于深度学习的HDR去...
【技术保护点】
【技术特征摘要】
1.一种基于Transformer的鲁棒去重影系统，其特征在于，包括对齐模块、融合模块和重建模块；所述的对齐模块用于提取三张图像中不一致的特征；所述的融合模块用于将对齐后的图像合成为包含伪影的目标图像；所述的重建模块用于消除图像中的伪影，得到清晰的最终图像。2.根据权利要求1所述的一种基于Transformer的鲁棒去重影系统，其特征在于，所述的对齐模块具体方法如下：(1)f
1nr
，f
3nr
为非参考特征映射，为参考特征映射，将3张图像作为输入，首先进行特征提取，然后按照通道数连接，再经过3x3的卷积层和Sigmoid激活函数，得到特征映射；(2)将特征映射分别与f
1nr
，f
3nr
按照1：1的比例进行点乘，得到经过空间注意力的特征映射；(3)将经过空间注意力的特征映射与参考特征映射按照通道数连接起来，作为输出特征映射。3.根据权利要求2所述的一种基于Transformer的鲁棒去重影系统，其特征在于，所述的融合模块具体方法如下：(1)首先将特征映射输入到规范层中，计算每个维度的均值和方差，得到一维的样本分布；(2)将样本分布输入到多头注意力层中，分别与事先设置好的注意力相关矩阵Wq,Wk,Wv进行点乘，得到Q，K，V；其中Q，K是用来计算相似度得到权重的，V是用来跟权重做加权求和的；如图6所示在每一个头中，计算注意力权重b1时：将注意力a1的注意力查询向量q与其他四个的注意力权重索引k点乘，求得权重a
’
，然后再与v进行点乘得到输出b1，以此类推得到b2，b3，b4，便得到一个关于b的矩阵，再经过softmax激活函数，得到最终的注意力权重；(3)再将最终的注意力权重输入到稀疏层，将权重的部分神经元随机置零丢弃，进行剪枝，提高网络前向传播时的鲁棒性；再将处理后的权重与一开始输入的注意力权重相加，提高网络的退化能力，防止随着网络层数的增加，预测结果反而越来越差；(4)之后经过与(1)相同的规范层，再将权重输入到多层感知机中，在多层感知机中，先对输入进行分块处理，得到N个块，将N个块进行展平处理，平铺成一组一维向量，与其他头平铺后的一维向量叠加，得到一个包含所有块的张量，将该张量在通道维度进行特征融合，得到权重分布；(5)将权重分布输入到稀疏层，提升网络退化能力，与(3)输出的相加后的注意力权重相加，再重建成特征映射，作为融合模块最终的输出。4.根据权利要求3所述的一种基于Transformer的鲁棒去重影系统，其特征在于，所述的重建模块具体方法如下：在重建模块中，先将融合模块输出的特征映射输入到LeakyReLu中进行稀疏处理，再将特征映射依次...
【专利技术属性】
技术研发人员：颜成钢，潘潇恺，陈泉，朱尊杰，高宇涵，孙垚棋，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。