基于多头交叉注意机制的神经网络光场图像去模糊方法技术

本发明专利技术属于图像去模糊技术领域，公开了基于多头交叉注意机制的神经网络光场图像去模糊方法，具体为在光场生成的LFDOF数据集上训练网络；通过二次方法收集的DPDD数据集上使用特征损失对网络进行微调，以减轻两个域中存在的散焦模糊之间的差异；分析了两个散焦模糊数据集LFDOF和DPDD的特征，开发了一种新的基于多头交叉注意机制的去模糊训练策略；提出了一种端到端的网络架构，配备了新颖的动态残差块，以从粗到细的方式重建清晰的图像。本发明专利技术设计的端到端神经网络可有效消除空间变化的散焦模糊，解决了简单的二次拍摄无法实现散焦和全焦图像对之间的像素级对应的问题。和全焦图像对之间的像素级对应的问题。和全焦图像对之间的像素级对应的问题。

【技术实现步骤摘要】
基于多头交叉注意机制的神经网络光场图像去模糊方法


[0001]本专利技术属于图像去模糊
，具体是涉及一种基于多头交叉注意机制的神经网络光场图像去模糊方法。

技术介绍

[0002]使用大光圈可以增加光通量，从而以更短的曝光时间拍摄图像；然而，这也降低了景深(DOF)，只有靠近焦平面的点才能被清晰地捕捉到，而远离焦平面的点将投射到相机传感器上，而不是单个图像点，此现象被称为散焦模糊，这个点被称为混乱圈。浅景深有时是摄影师刻意追求的美学效果，但它也可能会降低重要的视觉信息，因此，需要从散焦版本恢复全焦图像以揭示潜在信息，并有利于人工智能应用。尽管从散焦版本恢复全焦图像具有巨大的潜力，但因为它的空间变化的性质，每个点都有自己的混乱圈直径，具体取决于相应场景点的深度，所以去焦点去模糊仍然是一个具有挑战性的问题。此外，混乱圈的形状随着与光轴的相对位置而变化。为了解决散焦模糊，最直观的方法为两步法，首先估计每个像素的模糊核，然后应用非盲去卷积；然而，这两个步骤都有局限性。首先，基于简单的高斯或磁盘核假设，模糊核的估计经常不准确；其次，即使给出了准确的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述方法步骤为：步骤1、构建数据集LFDOF、数据集DPDD以及测试集；其中数据集LFDOF作为训练集，数据集DPDD作为辅助网络微调集；步骤2、构建基于多头交叉注意机制的神经光场网络模型，建立基于多头交叉注意机制的神经光场的去模糊训练策略；步骤3、使用数据集LFDOF对所述基于多头交叉注意机制的神经光场网络模型进行训练，以获得具有对应关系的散焦和全焦图像对；利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经光场网络模型；步骤4、利用训练完成的神经光场网络模型，对含有模糊图像的测试集进行处理测试，得到处理后的清晰的测试图像。2.根据权利要求1所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述神经光场网络模型包括编码器、解码器和若干级联的动态残差块；所述神经光场网络模型的输入为数据集LFDOF和数据集DPDD中的模糊图像x
LFDOF
和x
DPDD
，通过编码器ε提取多尺度金字塔特征，然后通过跳过连接将其添加到解码器D的相应尺度；若干动态残差块添加到解码器D的每个尺度,若干动态残差块的输入为来自数据集LFDOF中的模糊图像x
LFDOF
及解码器D输出的不同尺度的数据，输出为去模糊化后的图像。3.根据权利要求2所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述动态残差块包括基于多头交叉注意机制模块和多层感知器；对每个多头交叉注意机制模块的输入特征进行标记化，将特征重塑为扁平化的二维斑块序列，其大小分别为P、P/2；斑块映射到其对应尺度的编码器特征的相同区域；通过这个过程，保持原始通道的尺寸；把这两个输入特征的标记作为密钥，值T
∑
＝Concat(T1,T2)；这些标记被送入多头交叉注意机制模块和多层感知器的残余结构，以编码信道和依赖关系，提炼来自每个编码器的特征Q
i
，每个编码器使用多尺度特征；多头交叉注意机制模块包含了3个输入(Q1，Q2，C
∑
)，包括两个标记T
i
作为查询以及一个串联的标记T
∑
作为键和值；Q
i
＝T
i
W
Q
,K＝T
∑
W
K
，V＝T
∑
W
V
其中是不同输入的权重，d是序列长度，C
i
(i＝1,2)是两个输入信道的尺寸，C
∑
＝Concat(C1,C2)；Q
...

【专利技术属性】
技术研发人员：马鑫宇，朱虎，邓丽珍，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：