【技术实现步骤摘要】
本专利技术涉及图像融合，尤其是涉及一种基于潜空间特征融合的物体背景合成方法和系统。
技术介绍
1、基于文本进行图像生成、基于文本进行图像修改、基于图像进行图像生成、基于图像进行局部修改等技术已被广泛采用。这类技术方案具有泛化性强、生成质量高的特性，因此受到了广泛关注和研究。
2、这类技术虽然能够实现图像内容的合成和编辑，但在处理图像细节方面仍存在局限性。特别是在物体背景合成领域，现有技术方案存在两个显著缺点：一是在大范围的图像内容补全的过程中难以感知原有内容，二是补全之后往往存在边缘模糊的问题。
技术实现思路
1、本专利技术提供一种基于潜空间特征融合的物体背景合成方法，能够解决现有物体背景合成边缘模糊的问题。
2、本专利技术第一方面，提供一种基于潜空间特征融合的物体背景合成方法，包括：
3、s100，获取第一图像和第一文本特征向量，其中，所述第一图像表示在数据库中随机获取的图像，所述第一文本特征向量表示用户输入的第一文本转换的向量；
4、s200，利用初始特征提取网络对所述第一图像进行处理，得到第一图像边缘特征；
5、s300，对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量，其中，所述第一特征向量和所述第二特征向量均表示第一图像边缘特征的特征向量；
6、s400，将所述第一特征向量与随机噪声融合，得到第三特征向量；
7、s500，将所述第一文本特征向量、所述第二特征向量和所述第三特征
8、s600，将所述目标图像和所述第一图像进行比对，根据比对结果更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型，得到目标特征提取网络、以及目标一致性模型或目标扩散模型。
9、可实施的一些方式中，所述获取第一图像和第一文本特征向量的步骤包括：
10、s101，在数据库中随机获取图像，得到所述第一图像；
11、s102，获取所述用户输入的所述第一文本；
12、s103，利用clip模型，对所述第一文本进行处理，得到所述第一文本特征向量。
13、可实施的一些方式中，所述对所述第一图像进行边缘特征提取，得到第一图像边缘特征的步骤包括：
14、s201，利用边缘检测算法对所述第一图像进行边缘处理，得到所述第一图像的边缘图像；
15、s202，利用所述初始特征提取网络对所述边缘图像进行特征提取，得到所述第一图像边缘特征。
16、可实施的一些方式中，所述对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量的步骤包括：
17、获取潜空间，将所述第一图像边缘特征映射到潜空间，得到与所述潜空间大小一致的所述第一特征向量；
18、根据第一文本特征向量，对所述第一图像边缘特征进行处理，得到与所述第一文本特征向量大小一致的第二特征向量。
19、可实施的一些方式中，所述将所述第一特征向量与随机噪声融合，得到第三特征向量的步骤包括：
20、s401，获取所述随机噪声；
21、s402，将所述第一特征向量与所述随机噪声进行融合，得到所述第三特征向量，其中，所述第三特征向量表示与所述第一文本特征向量大小一致的特征向量。
22、可实施的一些方式中，所述将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入初始一致性模型或初始扩散模型的u-net网络中，得到目标图像的步骤包括：
23、s501，将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入所述初始一致性模型或所述初始扩散模型的u-net网络中，赋予所述第一文本特征向量、所述第二特征向量和所述第三特征向量权重值；
24、s502，根据赋予所述第一文本特征向量、所述第二特征向量和所述第三特征向量权重值进行处理，得到目标特征向量；
25、s503，利用所述目标特征向量，得到所述目标图像。
26、可实施的一些方式中，所述将所述目标图像和所述第一图像进行比对，根据比对结果更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型，得到目标特征提取网络、以及目标一致性模型或目标扩散模型的步骤包括：
27、s601，利用所述目标图像和所述第一图像，计算损失函数，得到差异值；
28、s602，根据预设的梯度下降优化算法，更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型的u-net网络的参数权重，并循环执行步骤s100至s500，直至达到预设的最大迭代次数或所述损失函数收敛，得到所述目标特征提取网络、以及所述目标一致性模型或所述目标扩散模型。
29、本申请第二方面，提供一种基于潜空间特征融合的物体背景合成系统，应用于前述的基于潜空间特征融合的物体背景合成方法，所述系统包括：
30、获取模块，用于获取第一图像和第一文本特征向量，其中，所述第一图像表示在数据库中随机获取的图像，所述第一文本特征向量表示用户输入的第一文本转换的向量；
31、特征提取模块，用于利用初始特征提取网络对所述第一图像进行处理，得到第一图像边缘特征；
32、特征提取模块，还用于对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量，其中，所述第一特征向量和所述第二特征向量均表示第一图像边缘特征的特征向量；
33、融合模块，用于将所述第一特征向量与随机噪声融合，得到第三特征向量；
34、输入模块，用于将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入初始一致性模型或初始扩散模型的u-net网络中，得到目标图像；
35、结果模块，用于将所述目标图像和所述第一图像进行比对，根据比对结果更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型，得到目标特征提取网络、以及目标一致性模型或目标扩散模型。
36、本申请第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行前述的基于潜空间特征融合的物体背景合成方法。
37、本申请第四方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行前述的基于潜空间特征融合的物体背景合成方法。
38、本专利技术有益效果：
39、本申请一种基于潜空间特征融合的物体背景合成方法，首先，获取第一图像和第一文本特征向量，其中，第一图像表示在数据库中随机获取的图像，第一文本特征向量表示用户输入的第一文本转换的向量；其次，利用初始特征提取网络对第一图像进行处理，得到第一图像边缘特征；然后，对第一图像边缘特本文档来自技高网...
【技术保护点】
1.一种基于潜空间特征融合的物体背景合成方法，其特征在于，方法包括：
2.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述获取第一图像和第一文本特征向量的步骤包括：
3.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述对所述第一图像进行边缘特征提取，得到第一图像边缘特征的步骤包括：
4.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量的步骤包括：
5.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述将所述第一特征向量与随机噪声融合，得到第三特征向量的步骤包括：
6.根据权利要求5所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入初始一致性模型或初始扩散模型的U-Net网络中，得到目标图像的步骤包括：
7.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所
8.一种基于潜空间特征融合的物体背景合成系统，其特征在于，应用于权利要求1-7中任一项所述的基于潜空间特征融合的物体背景合成方法，所述系统包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任意一项所述的基于潜空间特征融合的物体背景合成方法。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任意一项所述的基于潜空间特征融合的物体背景合成方法。
...【技术特征摘要】
1.一种基于潜空间特征融合的物体背景合成方法，其特征在于，方法包括：
2.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述获取第一图像和第一文本特征向量的步骤包括：
3.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述对所述第一图像进行边缘特征提取，得到第一图像边缘特征的步骤包括：
4.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量的步骤包括：
5.根据权利要求1所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述将所述第一特征向量与随机噪声融合，得到第三特征向量的步骤包括：
6.根据权利要求5所述的基于潜空间特征融合的物体背景合成方法，其特征在于，所述将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入初始一致性模型或初始扩散模型的u-net网络中，得到目标图像的步骤包括：
...
【专利技术属性】
技术研发人员：朱婧，卓京港，
申请(专利权)人：特赞上海信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。