System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于去噪扩散模型生成多类别特种车辆SAR图像的方法技术_技高网

基于去噪扩散模型生成多类别特种车辆SAR图像的方法技术

技术编号:40417230 阅读:3 留言:0更新日期:2024-02-20 22:34
本发明专利技术公开了一种基于去噪扩散模型生成多类别特种车辆SAR图像的方法,具体为:步骤1,获取特种车辆SAR图像的样本并对进行预处理;步骤2,根据类别对步骤1预处理后的特种车辆SAR图像创建类别标签,并将类别标签转换为可学习的类别编码向量;步骤3,获取t时刻的时间步编码向量;给经步骤2预设类别标签的特种车辆SAR图像进行加噪;步骤4,根据t时刻的时间步编码向量、加噪后的特种车辆SAR图像、类别编码向量送入自注意力U‑Net网络训练获得去噪扩散模型;步骤5,根据去噪扩散模型生成特种车辆SAR图像。本发明专利技术解决了现有技术中存在的采用对抗机制的GAN生成特种车辆SAR图像因训练过程稳定性差容易出现模式崩溃以及网络参数量过大的问题。

【技术实现步骤摘要】

本专利技术属于图像处理方法,涉及一种基于去噪扩散模型生成多类别特种车辆sar图像的方法。


技术介绍

1、合成孔径雷达(synthetic aperture rada sar,sar)是一种广泛用于远程感知和图像获取的技术,通过发射微波信号并接收反射信号,生成高分辨率的地表图像。sar图像在地物识别、地理信息系统、环境监测和天文学等领域中具有重要应用。然而,在地物识别领域里,特种车辆sar图像的获取通常受到多重限制,具体如下:首先,sar图像必须通过装载在飞行器上的雷达设备来获取,这使得数据采集过程变得昂贵和复杂;其次,由于特种车辆的稀有性和保密性,数据采集受到严格的限制,不能随意进行,这进一步妨碍了进行大规模sar图像采集的可能性;此外,在某些环境下,例如恶劣天气、大气干扰和夜间光照等,可能会限制特种车辆sar图像的质量和可用性,导致数据采集的不确定性,且特种车辆的任务通常需要在复杂和具有挑战性的环境中执行,这进一步强调了对高质量特种车辆sar图像的需求。正是由于这些困难和限制,导致了特种车辆sar图像数据集的有限性,进而使得深度学习模型在地物识别中的sar图像识别与检测任务中面临着极大的挑战。

2、随着深度学习的发展,sar图像生成领域取得了令人瞩目的进展,涌现出了一批杰出的算法,其中基于生成对抗网络(generative adversarial networks,gan)的生成算法受到了许多学者的青睐。gan由生成器网络和判别器网络组成,通过对抗训练的方式使得生成器与判别器共同优化,最终达到纳什平衡,使得生成数据和真实数据难以区分。gans可以学习从噪声数据中生成逼真图像的复杂映射,这对于生成sar图像非常有用。现有的基于gan的sar图像生成算法包括:基于自注意力残差的sar生成对抗网络(attentionresidual-wasserstein generative adversarial network,ar-wgan)和基于多尺度判别器的sar生成对抗网络(multi-scale discriminator generative adversarial network,multi-gan)等,在特种车辆sar图像的生成领域都取得了不错的效果。然而,由于其特殊的对抗训练方式,它们的训练过程通常是不稳定的,且由于网络深度过深,激活函数选择不恰当等问题,极其容易出现梯度爆炸或梯度消失从而导致的模式崩溃等现象。此外,由于gan网络包含了生成器与鉴别器,网络模型参数量通常较大,导致训练时间过长。这些挑战限制了它们在高质量特种车辆sar图像生成任务中的应用。即使在模型中增加了多种组件稳定训练,仍然难以根本解决由于训练机制引发的这些问题。

3、去噪扩散模型(denoising diffusion model)是生成模型的一种,近年来引起了广泛的关注,具有生成质量高、多样性强、训练稳定等优点。其包括两个主要的过程域:正向扩散和逆向去噪,如图1所示。在正向扩散阶段,图像被逐渐引入噪声分布,直到图像成为完全随机噪声。在逆向去噪阶段,利用一系列马尔科夫链在每个时间步逐步去除噪声,从而从高斯噪声中恢复图像。扩散模型因其强大的模式覆盖率和生成样本的质量而被广泛应用于光学图像生成领域。然而,在sar图像生成领域,去噪扩散模型存在一系列局限:一是针对受斑点噪声干扰严重的sar图像中,去噪训练过程中忽略了特征图的全局信息,二是无法实现对特定类别sar图像的精确生成。这意味着在应对特定应用场景或任务时可能表现不佳。通过上述分析,现有方法存在的不足为:

4、(1)使用gan生成特种车辆sar图像的方法由于其特殊的对抗训练机制,训练过程稳定性不高,容易出现模式崩溃的现象,且因其网络结构复杂,计算参数量过大。

5、(2)随着gan的广泛应用,科研人员使用基于gan的方法对特种车辆sar图像数据集进行了扩充,然而其方法均是对单一目标类别图像进行生成,若要生成多类别图像只能训练多个网络。

6、(3)现有的去噪扩散模型应用仅针对光学图像,在针对受斑点噪声干扰严重的特种车辆sar图像中,去噪训练过程中忽略了特征图的全局信息,且无法实现对特定类别特种车辆sar图像的精确生成。


技术实现思路

1、本专利技术的目的是提供基于去噪扩散模型生成多类别特种车辆sar图像的方法,解决了现有技术中存在的采用对抗机制的gan生成特种车辆sar图像因训练过程稳定性差容易出现模式崩溃以及网络参数量过大的问题。

2、本专利技术所采用的技术方案是,基于去噪扩散模型生成多类别特种车辆sar图像的方法,具体按照如下步骤实施:

3、步骤1,获取特种车辆sar图像的样本并对进行预处理;

4、步骤2,根据类别对步骤1预处理后的特种车辆sar图像创建类别标签,并将类别标签转换为可学习的类别编码向量;

5、步骤3,获取t时刻的时间步编码向量;给经步骤2预设类别标签的特种车辆sar图像进行加噪;

6、步骤4,根据t时刻的时间步编码向量、加噪后的特种车辆sar图像、类别编码向量送入自注意力u-net网络训练获得去噪扩散模型;

7、步骤5,根据去噪扩散模型生成特种车辆sar图像。

8、本专利技术的特征还在于,

9、步骤1中对样本数据进行处理具体为:

10、将获取的特种车辆sar图像进行归一化处理,将像素值缩放到-1至1的区间内,然后进行中央裁剪,裁剪尺寸为128*128,再进行图像增强,获得原始训练图像数据。

11、图像增强具体为:对经过中央裁剪的特种车辆sar图像依次进行随机亮度调整、随机镜像翻转以及直方图均衡化。

12、步骤2具体为:

13、对步骤1获取的原始训练图像数据中每类对应特种车辆的sar图像创建索引字典,将每个类别索引对应的key值通过torch库中的embedding嵌入层函数转化一个可学习的类别参数张量,将该类别参数张量通过类别编码层转换为可学习的类别编码向量σ。

14、类别编码层包括依次连接的全连接层、silu激活层、全连接层,类别参数张量依次通过全连接层、silu激活层、全连接层转换为可学习的类别编码向量σ。

15、步骤3具体为:

16、步骤3.1,在1~t范围内进行时间离散采样得到时间t,将t通过sin与cos的正余弦拼接为时间步张量,再经过时间步编码层,输出t时刻的时间步编码向量τ;

17、步骤3.2,随机抽取经步骤2处理的某一类别的特种车辆sar图像,并随机采样高斯噪声ε,通过扩散模型的加噪公式得到t时刻加噪之后的特种车辆sar图像,其中加噪公式如下:

18、

19、其中,x0为经步骤2处理未加噪的特种车辆sar图像,αt为线性调度器产生的0.9999到0.98直接均匀采样的方差参数,t∈(0,t),xt为t时刻加噪之后的特种车辆sar图像。

20、时间步编码层包括依次连接的全连接层、silu激本文档来自技高网...

【技术保护点】

1.基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,具体按照如下步骤实施:

2.根据权利要求1所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述步骤1中对样本数据进行处理具体为:

3.根据权利要求2所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述图像增强具体为:对经过中央裁剪的特种车辆SAR图像依次进行随机亮度调整、随机镜像翻转以及直方图均衡化。

4.根据权利要求1所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述步骤2具体为:

5.根据权利要求4所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述类别编码层包括依次连接的全连接层、SiLU激活层、全连接层,所述类别参数张量依次通过全连接层、SiLU激活层、全连接层转换为可学习的类别编码向量σ。

6.根据权利要求5所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述步骤3具体为:

7.根据权利要求6所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述时间步编码层包括依次连接的全连接层、SiLU激活层、全连接层,所述时间步张量依次经过全连接层、SiLU激活层、全连接层处理输出t时刻的时间步编码向量τ。

8.根据权利要求6所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述步骤4具体为:

9.根据权利要求8所述的基于去噪扩散模型生成多类别特种车辆SAR图像的方法,其特征在于,所述步骤5具体为:

...

【技术特征摘要】

1.基于去噪扩散模型生成多类别特种车辆sar图像的方法,其特征在于,具体按照如下步骤实施:

2.根据权利要求1所述的基于去噪扩散模型生成多类别特种车辆sar图像的方法,其特征在于,所述步骤1中对样本数据进行处理具体为:

3.根据权利要求2所述的基于去噪扩散模型生成多类别特种车辆sar图像的方法,其特征在于,所述图像增强具体为:对经过中央裁剪的特种车辆sar图像依次进行随机亮度调整、随机镜像翻转以及直方图均衡化。

4.根据权利要求1所述的基于去噪扩散模型生成多类别特种车辆sar图像的方法,其特征在于,所述步骤2具体为:

5.根据权利要求4所述的基于去噪扩散模型生成多类别特种车辆sar图像的方法,其特征在于,所述类别编码层包括依次连接的全连接层、silu激活层、全...

【专利技术属性】
技术研发人员:梁继民王榕旭郑洋郭开泰胡海虹王梓宇
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1