一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法技术

本发明专利技术提供一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法，其特征模型ALCLDeblur包括1个带有CAM注意力机制的生成器，1个带有CAM注意力机制的判别器，1个配准器。方法包括：采集数据，构建多组无人机遥感图像的模糊图像

【技术实现步骤摘要】
一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法


[0001]本专利技术涉及基于深度学习的图像处理领域，具体涉及一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法。

技术介绍

[0002]近年来，随着无人机技术的蓬勃发展，无人机遥感图像拍摄设备成本也逐渐降低，遥感图像不再局限于卫星拍摄。虽然无人机拍摄的涵盖面越来越广，但是由于无人机飞行运动、拍摄物体运动、无人机、相机镜头抖动与镜头光圈等条件的限制，遥感图像的成像存在物体目标运动模糊的情况。这种运动模糊的存在会导致无人机遥感图像的应用价值降低，无法满足后续其他图像处理领域的任务，如目标检测、目标跟踪等任务。因此，急需一种能够针对无人机遥感图像运动去模糊方法。
[0003]目前，图像去运动模糊方法大多采用基于神经网络或深度模型的框架的方式，主要多尺度卷积神经网络、生成对抗网络等。这样的方法存在两方面的限制：1)此类方法存在生成去模糊图像的过程中存在的聚焦不准以及生成质量差的问题；2)传统网络结构存在的色域损失问题。此外，现存数据集中图像的拍摄方式多为手持相机拍摄，针对无人机遥感图像的去运动模糊算法较少。暂时没有大型的针对图像去运动模糊的遥感图像数据集，这也为该任务增加了难度。
[0004]基于此，本专利技术提出了一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法。本专利技术提供了一种针对无人机遥感视频特点的图像去运动模糊方法，可以最大限度地还原模糊图像的细节。这为无人机遥感视频后续更好的视觉任务应用提供了基础，使得去运动模糊后的遥感图像能够在其它计算机任务或其它场景下具有利用价值。此外，研究使用大疆DJI Air 2S无人机进行模拟飞行并采集数据，利用得到的5.4K/30fps高清视频构建无人机遥感图像运动模糊图像/清晰图像对，形成遥感图像去运动模糊数据集。
[0005]目前深度学习计算平台多采用英伟达处理器，为推进全面国产化的应用，本专利技术提出一种名称为MobiUS Ascend Core昇腾芯，是基于华为Atlas 200昇腾310处理器的机载嵌入式芯片。Atlas 200是一款华为研发的高性能低功耗的AI加速模块，基于华为昇腾310AI处理器，外形尺寸只有半张信用卡的大小，耗电量仅为9.5瓦，可提供22TOPS INT8算力，支持20路高清视频实时分析(1080P 25FPS)，可以部署在摄像头、无人机和机器人等设备上，支持毫瓦级休眠、毫秒级唤醒，典型功耗仅5.5W，使能边缘AI应用。
[0006]基于以上方法、数据集以及计算平台，研究构建了一套完全自主可控的国产化无人机遥感视频盲去运动模糊系统，完成无人机遥感视频运动去模糊任务。

技术实现思路

[0007]为解决现有技术中存在的上述缺陷，本专利技术的目的在于提供一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法，旨在减少或消除训练过程中模式崩塌与过
度拟合的问题、能根据产生运动模糊的无人机遥感视频图像生成清晰图像。
[0008]根据本专利技术的第一方面，提供一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法，其特征在于：
[0009]特征模型ALCLDeblur包括：1个带有CAM注意力机制的生成器，1个带有CAM注意力机制的判别器，1个配准器。
[0010]方法包括：
[0011]步骤10：采集数据，无人机飞行并采集高清视频数据，根据高清视频数据构建多组无人机遥感图像的模糊图像
‑
清晰图像对(x,y)，形成训练数据集。
[0012]步骤20：训练模型，根据训练数据集训练特征模型ALCLDeblur，其中，生成器输入模糊图像x，输出去模糊图像G(x)，判别器输入清晰图像y和去模糊图像G(x)，输出判别结果，判别结果包括主判别结果D(y)、D(G(x))，以及辅助判别结果η(y)、η(G(x))，配准器输入去模糊图像G(x)和清晰图像y，输出配准特征图R(G(x))和R(y)，根据生成器总损失训练生成器。
[0013]步骤30：测试模型，将待处理的无人机遥感视频的模糊图像输入训练好的生成器得到对应的去模糊图像。
[0014]生成器包括生成器CAM注意力层，生成器CAM注意力层的输入特征图经过自适应均值池化层处理再经过全连接层进行空间映射，获得第一平均池化权重，生成器CAM注意力层的输入特征图经过自适应最大池化层处理再经过全连接层进行空间映射，获得第一最大池化权重，第一平均池化权重和第一最大池化权重分别与生成器CAM注意力层的输入特征图进行逐元素相乘，获得的两张CAM响应图拼接后经过1
×
1卷积变换，获得生成器CAM的注意力特征作为生成器CAM注意力层的输出。
[0015]判别器包括判别器CAM注意力层，判别器CAM注意力层的输入特征图经过自适应均值池化层处理再经过带有InstanceNorm归一化的全连接层进行空间映射进行空间映射，获得第二平均池化权重，生成器CAM注意力层的输入特征图经过自适应最大池化层处理再经过全连接层进行空间映射，获得第二最大池化权重，第二平均池化权重和第二最大池化权重分别与判别器CAM注意力层的输入特征图进行逐元素相乘，获得的两张CAM响应图拼接后经过带有InstanceNorm归一化的1
×
1卷积变换，获得第二判别器注意力特征作和辅助判别特征图为判别器CAM注意力层的输出。
[0016]配准器包括：1个1
×
1卷积层ω，1个per
‑
patch全连接层1个MLP层M，1个全连接层v。
[0017]卷积层ω用于生成特征图Y，表征去模糊图像G(x)和清晰图像y的色域信息。
[0018]per
‑
patch全连接层用于图像块切割，将大小为H
×
W
×
C的特征图Y，切割成n个大小为P1×
P2的图像块，n＝(H/P1)
×
(W/P2)，H为能够被P1整除的数，W为能够被P2整除的数，得到分块后的特征图使用per
‑
patch全连接层从Y
r
中随机选取出其中第i个图像块Y
i
。
[0019]MLP层M用于对Y
i
进行高层非线性映射，再输入到全连接层v处理获得配准特征图R＝v(Y)，模糊图像G(x)和其对应的清晰图像y在配准器处理中，选取图像块的编号i相同，使用的配准器网络权重相同。
[0020]生成器总损失
[0021][0022]配准损失
[0023][0024]其中，去模糊图像的配准特征图S＝R(G(x))，清晰图像的配准特征图T＝R(y)，‖
·
‖表示矩阵的模长，τ表示调整系数。
[0025]生成器的生成对抗损失
[0026][0027]p
d
(x)表示模糊图像数据x服从的概率分布；c表示生成器为了让判别器认为去模糊图像是清晰图像而定的值，c＝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法，其特征在于，特征模型ALCLDeblur包括：1个带有CAM注意力机制的生成器，1个带有CAM注意力机制的判别器，1个配准器；所述方法包括：步骤10：采集数据，无人机飞行并采集高清视频数据，根据高清视频数据构建多组无人机遥感图像的模糊图像
‑
清晰图像对(x,y)，形成训练数据集；步骤20：训练模型，根据训练数据集训练特征模型ALCLDeblur，其中，生成器输入模糊图像x，输出去模糊图像G(x)，判别器输入清晰图像y和去模糊图像G(x)，输出判别结果，判别结果包括主判别结果D(y)、D(G(x))，以及辅助判别结果η(y)、η(G(x))，配准器输入去模糊图像G(x)和清晰图像y，输出配准特征图R(G(x))和R(y)，根据生成器总损失训练生成器；步骤30：测试模型，将待处理的无人机遥感视频的模糊图像输入训练好的生成器得到对应的去模糊图像；生成器包括生成器CAM注意力层，生成器CAM注意力层的输入特征图经过自适应均值池化层处理再经过全连接层进行空间映射，获得第一平均池化权重，生成器CAM注意力层的输入特征图经过自适应最大池化层处理再经过全连接层进行空间映射，获得第一最大池化权重，第一平均池化权重和第一最大池化权重分别与生成器CAM注意力层的输入特征图进行逐元素相乘，获得的两张CAM响应图拼接后经过1
×
1卷积变换，获得生成器CAM的注意力特征作为生成器CAM注意力层的输出；判别器包括判别器CAM注意力层，判别器CAM注意力层的输入特征图经过自适应均值池化层处理再经过带有InstanceNorm归一化的全连接层进行空间映射进行空间映射，获得第二平均池化权重，生成器CAM注意力层的输入特征图经过自适应最大池化层处理再经过全连接层进行空间映射，获得第二最大池化权重，第二平均池化权重和第二最大池化权重分别与判别器CAM注意力层的输入特征图进行逐元素相乘，获得的两张CAM响应图拼接后经过带有InstanceNorm归一化的1
×
1卷积变换，获得第二判别器注意力特征作和辅助判别特征图为判别器CAM注意力层的输出；配准器包括：1个1
×
1卷积层ω，1个per
‑
patch全连接层1个MLP层M，1个全连接层v；卷积层ω用于生成特征图Y，表征去模糊图像G(x)和清晰图像y的色域信息；per
‑
patch全连接层用于图像块切割，将大小为H
×
W
×
C的特征图Y，切割成n个大小为P1×
P2的图像块，n＝(H/P1)
×
(W/P2)，H为能够被P1整除的数，W为能够被P2整除的数，得到分块后的特征图使用per
‑
patch全连接层从Y
r
中随机选取出其中第i个图像块Y
i
；MLP层M用于对Y
i
进行高层非线性映射，再输入到全连接层v处理获得配准特征图R＝v(Y
i
)，模糊图像G(x)和其对应的清晰图像y在配准器处理中，选取图像块的编号i相同，使用的配准器网络权重相同；生成器总损失配准损失
其中，去模糊图像的配准特征图S＝R(G(x))，清晰图像的配准特征图T＝R(y)，‖
·
‖表示矩阵的模长，τ表示调整系数。生成器的生成对抗损失p
d
(x)表示模糊图像数据x服从的概率分布；c表示生成器为了让判别器认为去模糊图像是清晰图像而定的值，c＝1。生成器的身份内容损失其中，μ
G(x)
表示G(x)的均值，μ
y
表示y的均值；σ
G(x)
表示G(x)的方差，σ
y
表示y的方差；σ
G(x)y
表示G(x)与y的协方差；c1、c2是用来稳定损失函数的常数，c1＝(K1L)2，c2＝(K2L)2，L表示像素的范围，K1＝0.001，K2＝0.003。2.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法，...

【专利技术属性】
技术研发人员：李智勇，李亚萍，林家丞，戴贤文，
申请(专利权)人：湖南大学，
类型：发明
国别省市：