复眼相机多焦距图像融合模型、方法及装置制造方法及图纸

本文公开了一种复眼相机多焦距图像融合模型、方法及装置，以自参照感知模块SR作为模糊特征提取和特征恢复的基本单元，通过图像内的自参照实现全图特征比对。通过多层自参照提取离焦景深特征，结合自注意力与交叉注意力机制，在图像空间域上融合离焦特征，并在最后阶段采用多层自参照去模糊，从而有效的解决离焦扩散效应与离焦边界线不清晰的问题，并在一定程度上对近焦图像和远焦图像中依然模糊的区域做离焦去模糊，综合而言取得最佳融合效果。综合而言取得最佳融合效果。综合而言取得最佳融合效果。

【技术实现步骤摘要】
复眼相机多焦距图像融合模型、方法及装置


[0001]本专利技术涉及人工智能和机器视觉领域，具体涉及一种复眼相机多焦距图像融合模型、方法及装置。

技术介绍

[0002]复眼相机由多个图像采集单元组成，每个采集单元通常具有独立的相机和数字成像系统。目前，数字图像采集主要依据小孔成像原理，借助光感元件记录图像的成像。由于成像焦距的限制，整个相机系统无法获取全聚焦图像，由此造成在光感元件聚焦范围内的景物清晰，聚焦范围外的景物模糊的问题。当一台相机在拍摄时刻采用某一种焦距进行曝光，只能清晰呈现某一景深的物体，其他景深的物体将出现不同程度的离焦模糊。复眼相机具有多个相机，可以对每个相机设置不同的焦距，从而获得不同景深物体的清晰成像的若干图像。将不同焦点不同景深的多张图像在空间域或变换域上进行处理，得到全景深清晰图像，即在同一张图像上包含更丰富的信息，增强后续图像识别的效果。多焦距图像融合技术，在目标检测、目标分割、人脸识别等众多领域被广泛使用。
[0003]现有的多焦距图像融合技术大多针对两张不同景深的图像进行融合， 并且局限于有明显景深差异的两张图像之间的融合。然而，如图1所示，自然室外环境拍摄的图像中，往往存在以下特征：近景与远景的边界线难以清晰辨别；存在显著的离焦扩散效应；存在部分区域在近焦图像和远焦图像中依然模糊。现有的众多方法中，基于决策图的方法合成图像的像素内容“选取”于多焦距图像，对依然模糊的区域无法优化，并且决策图在聚焦与离焦边界上往往不准确；现有的端到端的方法，已有的有监督方法和基于图像生成的无监督方法，都无法有效处理近焦图像和远焦图像中依然模糊的问题。因而，提出一种能有效融合自然外景多焦距图像的算法具有重要意义。

技术实现思路

[0004]基于以上技术问题，本专利技术提出了一种端到端的基于多尺度参照感知融合的复眼相机多焦距图像融合模型、方法及装置。
[0005]本专利技术所设计的复眼相机多焦距图像融合网络模型，其特殊之处在于：该网络模型包括编码器、多尺度统计融合器、解码器和图像还原器；该网络模型采用N张不同焦距的图像作为输入，每张图像单独输入编码器，利用自注意力编码输出四个尺度的特征，其中图像编码器的权重共享；输出为两个分支，其中一条输出由多尺度统计融合器实现，负责特征融合，对四个尺度上的特征进行融合特征，并经过特征最大、最小、均值的统计筛选获得精化的融合特征；另一条输出分支由解码器和还原器实现，负责解码四个尺度上的融合特征并重构图像；其中，所述多尺度统计融合器基于交叉参照感知融合模块RAF，具体为：输入两个大小为H
×
W
×
C的高维特征X、Y，计算X对Y的参照特征过程，先将X经过双层3
×
3的查询卷积并通过矩阵重排获得HW
×
C的Q矩阵Q
X
，将Y经过双层3
×
3的映射卷积并通过矩阵重排获得C
×
HW的K矩阵K
Y
，同时Y经过双层3
×
3的特征卷积并通过矩阵重排获得HW
×
C的V矩阵V
Y
。Q矩阵与K矩阵的乘积作为注意力决策矩阵，其大小为C
×
C，将V矩阵与注意力决策矩阵的乘积再与输入X相加，即获得X对Y的参照特征；同理，Y对X的参照特征计算过程与X对Y参照特征过程同，得到Y对X的参照特征。
[0006]进一步地，所述编码器、解码器和图像还原器均基于自参照感知模块SR进行处理，所述自参照感知模块SR包含多层，每一层经过一个注意力决策子模块A和一个自参照特征生成子模块B，子模块A将输入为H
×
W
×
C的特征图X经过批归一化和一个输入通道为C输出通道为3C的1
×
1卷积，得到三等分H
×
W
×
C，再分别经过双层3
×
3的卷积获得Q矩阵、K矩阵和V矩阵，Q矩阵与K矩阵的乘积作为注意力决策矩阵，其大小为C
×
C，将V矩阵与注意力决策矩阵的乘积再与输入X相加，即获得X的自参照特征，子模块B将子模块A获得的经过批归一化和一个输入通道为C输出通道为γC的1
×
1卷积将特征扩充为H
×
W
×
γC，并将扩充后的特征分别经过双层3
×
3的卷积获得两个输出，将其中一个输出经过激活函数后与另一个输出进行矩阵点乘，将结果经过一个输入通道为γC输出通道为C的1
×
1卷积，并与最初的输入相加，获得最终结果，维度为H
×
W
×
C。
[0007]进一步地，所述编码器设置有三层特征提取器，每一层采用像素重排进行降采样，将降采样后的特征经过自参照感知模块SR处理，输出四个尺度的高维特征。
[0008]进一步地，所述多尺度统计融合器对四层特征进行融合，每一层采用交叉感知处理，再经过特征最大、最小、均值的综合统计，将输入的多个尺度高维特征融合为一个尺度融合特征；即将参照特征和同时计算通道层上的均值、最大、最小统计特征，再将三种统计特征叠加并经过1
×
1的卷积，最终输出H
×
W
×
C的融合参照特征。计算公式如下：。
[0009]进一步地，所述解码器对四层特征进行解码，每一层采用像素重排进行上采样，将输入的融合特征，经过每一层的自参照感知模块SR处理，输出为解码后的低维图像特征；进一步地，所述还原器利用自参照感知模块SR，将最终的融合解码特征精细化，用于离焦去模糊的高清重建。解码特征经过6层自参照感知模块重构，输入到卷集核大小为3
×
3步长为1填充为1的卷积，还原图像为H
×
W
×
3的RGB数据。
[0010]基于同一专利技术构思，本方案还设计了一种利用所述复眼相机多焦距图像融合模型进行图像融合的方法，其特特殊之处在于，包括以下步骤：构建仿真多焦距图像数据集，所述数据集中每一个样本包含一张具有景深差异特征的原始图像与K张不同离焦模糊的仿真图像；利用所构建的数据集对所述复眼相机多焦距图像融合模型进行训练，以K张不同离焦模糊图作为模型输入，以原始图像作为真值，训练模型学习自动融合聚焦特征并还原清晰图像的能力；利用训练好的复眼相机多焦距图像融合模型进行多焦距图像融合的测试。
[0011]进一步地，构建仿真多焦距图像数据集的具体过程如下：
S2
‑
1，选取N张具有显著景深差异特征的图像作为原始图像，并对其进行深度估计和边缘提取；S2
‑
2，将深度数据和边缘数据量化为（x，y，depth，edge）的四维元组整列，按照聚簇数K的层次聚类算法，找到聚类中心作为K个多焦距图像的聚焦中心；S2
‑
3，根据聚焦中心的深度值与图像上任一像素点之间的深度差值，决定图像上该点的高斯模糊核半径，并对该点处进行高斯模糊，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复眼相机多焦距图像融合网络模型，其特征在于：该网络模型包括编码器、多尺度统计融合器、解码器和图像还原器；该网络模型采用N张不同焦距的图像作为输入，每张图像单独输入编码器，利用自注意力编码输出四个尺度的特征，其中图像编码器的权重共享；输出为两个分支，其中一条输出由多尺度统计融合器实现，负责特征融合，对四个尺度上的特征进行融合特征，并经过特征最大、最小、均值的统计筛选获得精化的融合特征；另一条输出分支由解码器和还原器实现，负责解码四个尺度上的融合特征并重构图像；其中，所述多尺度统计融合器基于交叉参照感知融合模块RAF，具体为：输入两个大小为H
×
W
×
C的高维特征X、Y，计算X对Y的参照特征过程，先将X经过双层3
×
3的查询卷积并通过矩阵重排获得HW
×
C的Q矩阵Q
X
，将Y经过双层3
×
3的映射卷积并通过矩阵重排获得C
×
HW的K矩阵K
Y
，同时Y经过双层3
×
3的特征卷积并矩阵重排获得HW
×
C的V矩阵V
Y
；Q矩阵与K矩阵的乘积作为注意力决策矩阵，其大小为C
×
C，将V矩阵与注意力决策矩阵的乘积再与输入X相加，即获得X对Y的参照特征；同理，Y对X的参照特征计算过程与X对Y参照特征过程同，得到Y对X的参照特征。2.根据权利要求1所述的复眼相机多焦距图像融合网络模型，其特征在于：所述编码器、解码器和图像还原器均基于自参照感知模块SR进行处理，所述自参照感知模块SR包含多层，每一层经过一个注意力决策子模块A和一个自参照特征生成子模块B，子模块A将输入为H
×
W
×
C的特征图X经过批归一化和一个输入通道为C输出通道为3C的1
×
1卷积，得到三等分H
×
W
×
C，再分别经过双层3
×
3的卷积获得Q矩阵、K矩阵和V矩阵，Q矩阵与K矩阵的乘积作为注意力决策矩阵，其大小为C
×
C，将V矩阵与注意力决策矩阵的乘积再与输入X相加，即获得X的自参照特征，子模块B将子模块A获得的经过批归一化和一个输入通道为C输出通道为γC的1
×
1卷积将特征扩充为H
×
W
×
γC，并将扩充后的特征分别经过双层3
×
3的卷积获得两个输出，将其中一个输出经过激活函数后与另一个输出进行矩阵点乘，将结果经过一个输入通道为γC输出通道为C的1
×
1卷积，并与最初的输入相加，获得最终结果，维度为H
×
W
×
C。3.根据权利要求1所述的复眼相机多焦距图像融合网络模型，其特征在于：所述编码器设置有三层特征提取器，每一层采用像素重排进行降采样，将降采样后的...

【专利技术属性】
技术研发人员：邹勤，张天任，陈驰，杨必胜，王中元，
申请(专利权)人：武汉大学，
类型：发明
国别省市：