一种基于文本提示的遥感伪装图像编辑方法技术

技术编号:40426988 阅读:15 留言:0更新日期:2024-02-20 22:47
本发明专利技术提供一种基于文本提示的遥感伪装图像编辑方法,属于遥感图像生成领域。本发明专利技术首先进行三模CLIP模型构建及训练;其次搭建分布生成网络;然后进行分布生成网络训练;接着训练解码器;最后根据应用需求选取一幅需要编辑的原始遥感图像,并编写一句自然语言描述,将其作为图像编辑的提示生成遥感伪装图像。本发明专利技术在不需要图像掩码的情况下依然可以对图像中的对象和区域进行重新生成。

【技术实现步骤摘要】

本专利技术属于遥感图像生成领域,特别是指一种基于文本提示的遥感伪装图像编辑方法


技术介绍

1、目前,研究者们基于图像生成模型改进产生了多种类型的拓展模型,如图像内绘模型,可以根据掩码限定要生成的图像区域,根据提示词只对掩码内的图像进行内容生成。然而,此类内绘模型需要额外的掩码作为输入,这无疑降低了模型与使用者的交互性。为此,基于文本提示的遥感伪装图像编辑方法,只用文本作为提示,就可以对图像中的指定对象、区域进行重新生成,从而提高图像编辑的效率和灵活度。此外,遥感图像的编辑相比自然图像、卡通图像的编辑任务对图像细节的要求更高,对像素间的联系和约束更加敏感,对噪声和错误像素的容忍度更低,这些特性大大增加了遥感图像生成的难度,需要针对性的进行模型改进。


技术实现思路

1、有鉴于此,本专利技术提出了一种基于文本提示的遥感伪装图像编辑方法,该方法能够减少图像编辑的输入模态数量,仅仅利用文本提示就可以对图像中的对象、区域进行重新生成,同时提升图像编辑模型在遥感图像中性能。

2、为了实现上述目的,本专利技术采本文档来自技高网...

【技术保护点】

1.一种基于文本提示的遥感伪装图像编辑方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于文本提示的遥感伪装图像编辑方法,其特征在于,步骤1中的数据集分组训练策略具体为:训练数据集包含1200条训练数据,每条训练数据包含第一伪装图像、文本描述、第二伪装图像三种数据,第一伪装图像与第二伪装图像之间的差异用文本描述记录,在进行数据集分组训练时,将1200条数据分为300组,每组包含4条数据,将4条数据中的第一伪装图像输入到图像编码器中得到第一图像嵌入向量,并将4条第一图像嵌入向量拼接为第一损失向量,将4条数据中的第二伪装图像输入到图像编码器中得到第二图像嵌入向量,并...

【技术特征摘要】

1.一种基于文本提示的遥感伪装图像编辑方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于文本提示的遥感伪装图像编辑方法,其特征在于,步骤1中的数据集分组训练策略具体为:训练数据集包含1200条训练数据,每条训练数据包含第一伪装图像、文本描述、第二伪装图像三种数据,第一伪装图像与第二伪装图像之间的差异用文本描述记录,在进行数据集分组训练时,将1200条数据分为300组,每组包含4条数据,将4条数据中的第一伪装图像输入到图像编码器中得到第一图像嵌入向量,并将4条第一图像嵌入向量拼接为第一损失向量,将4条数据中的第二伪装图像输入到图像编码器中得到第二图像嵌入向量,并将4条第二图像嵌入向量拼接为第二损失向量,将4条数据中的文本描述输入到文本编码器中得到文本嵌入...

【专利技术属性】
技术研发人员:张晓男李现亭王慧龙党赟王港
申请(专利权)人:中国电子科技集团公司第五十四研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1