System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于扩散模型的双阶段无人机遥感图像识别方法技术_技高网

基于扩散模型的双阶段无人机遥感图像识别方法技术

技术编号:41325534 阅读:4 留言:0更新日期:2024-05-13 15:03
本申请涉及一种基于扩散模型的双阶段无人机遥感图像识别方法。所述方法包括:根据预先设置的损失函数对U‑Net去噪网络进行训练,利用训练好的U‑Net去噪网络在时间步长相等的情况下对正常样本和实测图像进行逐步加噪,得到正常样本和实测图像的期望扰动得分;对正常样本和实测图像的期望扰动得分进行最大平均差异计算,将得到的最大平均差异与预先设置的阈值进行比较,根据比较结果判定实测图像是否为对抗样本;若实测图像为对抗样本,则基于扩散模型和距离指导在逆向去噪过程中对实测图像进行净化,将净化后的图像输入预先训练好的标准深度识别模型进行识别,得到图像类别。采用本方法能够提高无人机遥感图像识别鲁棒性。

【技术实现步骤摘要】

本申请涉及遥感图像识别,特别是涉及一种基于扩散模型的双阶段无人机遥感图像识别方法


技术介绍

1、随着遥感侦察和无人系统的大量应用,使得大量遥感图像可以持续不断被获取。实时高分辨率遥感图像中包含潜在信息,仅依赖专家判读的数据分析模式已无法满足情报生成的时效性要求。近年来,深度学习技术发展迅猛,深度神经网络模型凭借层次化非线性的网络结构,良好的自动特征提取和复杂函数拟合性能,对图像内容能够进行准确有效的特征表示和快速推理,使得基于深度神经网络模型的大规模遥感侦察图像内容自动分析已逐步被引入云端情报生产过程中。而且,考虑到通信带宽、数据传输效率、情报生成实时性等多因素的影响,已有大量先进的深度学习智能化目标识别算法被广泛部署于现代智能无人机等边缘平台对实时拍摄的遥感图像进行自主高效识别。然而,遥感图像深度识别模型的实际部署仍受到以下多重因素制约:遥感图像背景复杂多变,云雾模糊和电磁干扰等因素会使深度神经网络模型的识别准确率发生一定下降;在实际场景中,由于数据来源的不同、数据采集时间的不同等原因,训练数据与测试数据分布可能不一致,即分布偏移,易造成模型在分布外泛化性较差;由于深度学习理论存在不完备性,网络架构设计与训练优化方法存在强复用性,在数字域向遥感图像添加精心设计且人眼不易察觉的扰动,形成对抗样本,可以恶意诱导遥感图像深度神经网络模型产生高置信度的误判。当攻击者对传感器扫描后的数字空间对象无权限进行对抗篡改时,以对抗补丁块和对抗贴纸等扰动形式更改现实物理世界中的对象(例如物理目标本身,目标所处场景或环境等),无人机对实际场景或目标进行遥感成像后,同样会形成对抗样本,输入至机载模型中产生错误的识别结果,从而达到破坏模型鲁棒性的目的。人为制造的对抗性扰动对遥感图像深度识别模型的实际部署构成了严重的安全隐患,逐步成为遥感反侦察的一种新途径。而且,对抗性扰动生成技术在计算机视觉领域已取得巨大发展,各种基于梯度和决策边界等快速算法对深度学习模型具备非常好的误导效果。随着大量深度学习智能化识别模型广泛部署于遥感侦察的实际应用中,如何增强模型面对遥感图像对抗样本时的鲁棒性已成为迫切需要研究的问题

2、然而,目前旨在增强深度学习模型对抗鲁棒性的防御性方法主要分为对抗训练、对抗检测和对抗净化,均存在图像识别鲁棒性低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高无人机遥感图像识别鲁棒性的基于扩散模型的双阶段无人机遥感图像识别方法。

2、一种基于扩散模型的双阶段无人机遥感图像识别方法,所述方法包括:

3、获取遥感图像数据库和实测图像;遥感图像数据库包括多个正常样本;

4、根据预先设置的损失函数对u-net去噪网络进行训练,利用训练好的u-net去噪网络在时间步长相等的情况下对正常样本和实测图像进行逐步加噪,得到正常样本和实测图像的期望扰动得分;

5、对正常样本和实测图像的期望扰动得分进行最大平均差异计算,将得到的最大平均差异与预先设置的阈值进行比较,根据比较结果判定实测图像是否为对抗样本;

6、若实测图像为对抗样本,则基于扩散模型以扩散过程时刻的图像为起点进行逆向去噪,输出噪声预测;根据噪声预测计算后验条件概率高斯分布的均值和方差;利用均值、方差、控制距离指导的缩放因子以及距离指导函数设置距离指导,根据距离指导在逆向去噪过程中对实测图像进行净化,得到净化后的图像;

7、将净化后的图像输入预先训练好的标准深度识别模型进行识别,得到图像类别。

8、在其中一个实施例中,若实测图像不为对抗样本,则将实测图像送入预先训练好的标准深度识别模型进行识别,得到图像类别。

9、在其中一个实施例中,预先设置的损失函数为

10、

11、其中,αt=1-βt,βt为控制每个时间步添加噪声程度的超参数,并从1到t线性递增,x0表示实测图像,表示u-net去噪网络。

12、在其中一个实施例中,利用训练好的u-net去噪网络在时间步长相等的情况下对正常样本和实测图像进行逐步加噪,得到正常样本和实测图像的期望扰动得分,包括:

13、利用训练好的u-net去噪网络在时间步长相等的情况下对正常样本和实测图像进行逐步加噪,得到正常样本和实测图像的期望扰动得分为

14、

15、

16、其中,xt表示扩散过程中第t个时间步添加高斯噪声后的图像,i表示单位矩阵。

17、在其中一个实施例中,对正常样本和实测图像的期望扰动得分进行最大平均差异计算,包括:

18、对正常样本和实测图像的期望扰动得分进行最大平均差异计算,得到最大平均差异为

19、

20、其中,s(x(i))和s(x(j))表示第i张和第j张正常样本的期望扰动得分,s(x0)表示实测图像的期望扰动得分,为一个再生核希尔伯特空间,k(·)为核函数,m表示正常样本的个数。

21、在其中一个实施例中,根据噪声预测计算后验条件概率高斯分布的均值和方差,包括:

22、根据噪声预测计算后验条件概率高斯分布的均值为

23、

24、其中,表示噪声预测,βt表示t时刻的高斯噪声方差,为待净化图像;

25、根据噪声预测计算后验条件概率高斯分布的方差为

26、

27、在其中一个实施例中,利用均值、方差、控制距离指导的缩放因子以及距离指导函数设置距离指导,包括:

28、利用均值、方差、控制距离指导的缩放因子以及距离指导函数设置距离指导为其中,s为控制距离指导的缩放因子,为待净化图像与扩散过程中的对抗样本的距离指导函数。

29、上述基于扩散模型的双阶段无人机遥感图像识别方法,本申请通过在对抗检测阶段利用训练好的u-net去噪网络在时间步长相等的情况下对正常样本和实测图像进行逐步加噪,可以促进该框架中对抗检测与对抗净化两个阶段的一致性和连贯性,为后续引入距离指导的对抗净化阶段提供准备。然后对正常样本和实测图像的期望扰动得分进行最大平均差异计算来衡量期望扰动得分之间的距离,将得到的最大平均差异作为对抗检测判断依据,避免遗漏方向中所包含的信息,有利于提高对抗检测准确率,检测实时性好,检测准确率高,适用于快速筛选出需要对抗净化的遥感图像。然后对需要对抗净化的遥感图像基于扩散模型以扩散过程时刻的图像为起点进行逆向去噪,输出噪声预测;根据噪声预测计算后验条件概率高斯分布的均值和方差;利用均值、方差、控制距离指导的缩放因子以及距离指导函数设置距离指导,在逆向去噪的过程中添加距离指导使得同一时间点的待净化图像与扩散过程中的对抗样本在图像语义信息上更加相近,净化效果更好,避免了净化后图像中的语义内容偏离和关键特征缺失,进而提高图像识别准确率和鲁棒性;双阶段框架能够有效避免对机载标准深度识别模型进行对抗训练的过度开销,而且使用对抗检测先筛选样本,避免对正常样本逆向去噪的资源浪费,有利于提高图本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的双阶段无人机遥感图像识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述预先设置的损失函数为

4.根据权利要求1所述的方法,其特征在于,利用训练好的U-Net去噪网络在时间步长相等的情况下对所述正常样本和实测图像进行逐步加噪,得到所述正常样本和实测图像的期望扰动得分,包括:

5.根据权利要求1所述的方法,其特征在于,对所述正常样本和实测图像的期望扰动得分进行最大平均差异计算,包括:

6.根据权利要求1至3任意一项所述的方法,其特征在于,根据所述噪声预测计算后验条件概率高斯分布的均值和方差,包括:

7.根据权利要求6所述的方法,其特征在于,利用所述均值、方差、控制距离指导的缩放因子以及距离指导函数设置距离指导,包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种基于扩散模型的双阶段无人机遥感图像识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述预先设置的损失函数为

4.根据权利要求1所述的方法,其特征在于,利用训练好的u-net去噪网络在时间步长相等的情况下对所述正常样本和实测图像进行逐步加噪,得到所述正常样本和实测图像的期望扰动得分,包括:

5.根据权利要求1所述的方法,其特征在于,对所述正常样本和实测图像的期望扰动得分进行最大平均差异计算,包括:

6...

【专利技术属性】
技术研发人员:孙浩逯子豪雷琳计科峰匡纲要
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1