一种基于文本提示的布局不变遥感图像生成方法技术

本发明专利技术提供一种基于文本提示的布局不变遥感图像生成方法，属于遥感图像生成领域。本发明专利技术首先进行图像分层分块，并对分块图像进行位置编码；其次将图像块和图像块对应的位置编码分别通过全连接神经网络层进行向量化，并进行多重注意力计算；然后构建和训练布局提取器；接着构建布局不变遥感图像生成网络并训练；最后根据应用需求选取一幅参考遥感图像，并编写一句自然语言描述，将其作为提示生成布局不变的遥感图像。本发明专利技术能够依照参考图像及提示文本生成与参考图像布局相似的遥感图像。

【技术实现步骤摘要】

本专利技术属于遥感图像生成领域，特别是指一种基于文本提示的布局不变遥感图像生成方法。

技术介绍

1、近两年，ai大模型的发展使得人工智能的智能化程度得到质的提升，算法涌现出设计、联想、分析、总结等高阶功能。基于扩散模型的图像生成模型能够根据提示生成符合要求的图像，在插画设计、广告设计等领域得到广泛应用。然而，基于扩散模型的生成模型还未在遥感图像领域获得大范围应用，主要原因之一在于，此类生成模型可控性较差，只能生成与提示内容、主题、风格相关的图像，无法生成满足指定布局的图像。为此，基于文本提示的布局不变遥感图像生成方法，将布局信息作为提示的一部分，输入到生成模型，将有助于提升生成模型的可控性，进而推进生成模型在医疗、遥感、安防等专业领域的应用。但是，现有技术中还没有这样的技术方案。

技术实现思路

1、有鉴于此，本专利技术提出了一种基于文本提示的布局不变遥感图像生成方法，能够生成可控的遥感图像，能够生成指定布局的遥感图像，提升图像生成模型的应用范围及可控性。

2、为了实现上述目的，本专利技术采用的技术本文档来自技高网...

【技术保护点】

1.一种基于文本提示的布局不变遥感图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于文本提示的布局不变遥感图像生成方法，其特征在于，步骤4中，矩阵E由16个向量化之后的向量拼接而成，拼接方式为水平拼接。

3.根据权利要求1所述的一种基于文本提示的布局不变遥感图像生成方法，其特征在于，步骤4中，Q和K相似性的计算公式如下：

4.根据权利要求1所述的一种基于文本提示的布局不变遥感图像生成方法，其特征在于，步骤6中，图像编码器为ResNet-50，文本编码器采用BERT，去噪网络采用UNet。

5.根据权利要求1所述的一种...

【技术特征摘要】

1.一种基于文本提示的布局不变遥感图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于文本提示的布局不变遥感图像生成方法，其特征在于，步骤4中，矩阵e由16个向量化之后的向量拼接而成，拼接方式为水平拼接。

3.根据权利要求1所述的一种基于文本提示的布局不变遥感图像生成方法，其特征在于，步骤4中，q和k相...

【专利技术属性】
技术研发人员：张晓男，朱进，王港，孙方德，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：