【技术实现步骤摘要】
本公开涉及图像处理，尤其涉及一种图像融合方法、装置、电子设备及存储介质。
技术介绍
1、随着图像处理领域的飞速发展，用户也对图像出现了新的需求，例如在拥有海量的图文内容的情况下，对创作者可以通过图像融合拓展生产创意、提高生产效率。
2、相关技术中，是将图像在像素空间进行融合，例如调整两张图片的透明度后进行叠加。这类图像融合方法只能在低层级的像素空间进行处理，导致生成的融合图片较为生硬，融合图像的质量较差。
技术实现思路
1、本公开提供图像融合方法、装置、电子设备及存储介质，以至少解决相关技术中生成的融合图像较为生硬的问题。本公开的技术方案如下：
2、根据本公开实施例的第一方面，提供一种图像融合方法，包括：
3、获取至少两张待融合图像，并通过图像编码器对各所述待融合图像进行编码，得到多个待融合图像特征；
4、根据训练好的图文转换模型以及所述多个待融合图像特征，得到各所述待融合图像特征对应的文本特征；
5、将各所述待融合图像特征、各所述待融合图像特征对应的文本特征以及标准噪声数据输入至训练好的图像扩散模型，对所述标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息；
6、基于图像解码器对所述噪声信息进行图像解码处理，生成融合图像。
7、在一个实施例中，所述将各所述待融合图像特征、各所述待融合图像特征对应的文本特征以及标准噪声数据输入至训练好的图像扩散模型，对所述标准噪声数据进行扩散处理
8、对各所述待融合图像分别对应的待融合图像特征进行拼接处理，得到图像融合特征；以及对各待融合图像特征对应的文本特征进行拼接处理，得到文本融合特征；
9、对所述图像融合特征以及所述文本融合特征进行融合处理，得到融合特征；
10、通过训练好的图像扩散模型以及所述融合特征，对标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息。
11、在一个实施例中，所述通过训练好的图像扩散模型以及所述融合特征，对标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息，包括：
12、通过所述图像扩散模型，将所述融合特征作为条件对标准噪声数据进行降噪处理，得到包含各所述待融合图像的图像信息的噪声信息。
13、在一个实施例中，所述方法还包括：
14、获取第一训练数据，所述第一训练数据包括样本图像以及样本文本；
15、提取各所述样本图像的样本图像特征以及各所述样本文本的样本文本特征；
16、通过待训练的图文转换模型中的文本转换子模型对所述样本图像特征进行文本转换，得到预测文本特征，并通过所述待训练的图文转换模型中的图像转换子模型对所述样本文本特征进行图像转换，得到预测图像特征；
17、计算所述样本文本特征与所述预测文本特征之间的第一损失值，通过所述第一损失值更新所述文本转换子模型，以及计算所述样本图像特征与所述预测图像特征之间的第二损失值，通过所述第二损失值更新所述图像转换子模型，直至满足预设训练完成条件，得到训练好的图文转换模型。
18、在一个实施例中，所述方法还包括：
19、获取第二训练数据，所述第二训练数据包括样本图像以及所述样本图像对应的样本描述文本；
20、对所述样本描述文本进行编码，得到样本文本特征，并通过训练好的图文转换模型，得到所述样本文本特征对应的样本图像特征；
21、将标准噪声数据、所述样本文本特征与样本图像特征输入至图像扩散模型中，在所述图像扩散模型中，将所述样本文本特征与样本图像特征作为状态条件对所述标准噪声数据进行处理，得到包含样本图像的图像信息的预测噪声数据，并将所述预测噪声数据输入至图像解码器，得到预测图像；
22、根据所述预测图像与所述样本图像计算损失函数，并通过所述损失函数对应的损失值更新所述图像扩散模型，直至预设训练完成条件，得到训练好的图像扩散模型。
23、在一个实施例中，所述对各所述待融合图像分别对应的待融合图像特征进行拼接处理，得到图像融合特征，包括：
24、基于各所述待融合图像分别对应的图像融合权重，对所述待融合图像分别对应的待融合图像特征进行加权计算，得到图像融合特征。
25、在一个实施例中，所述对各待融合图像特征对应的文本特征进行拼接处理，得到文本融合特征，包括：
26、基于各所述待融合图像分别对应的文本融合权重，对所述待融合图像分别对应的文本特征进行加权计算，得到文本融合特征。
27、根据本公开实施例的第二方面，提供一种图像融合装置，包括：
28、第一获取单元，被配置为执行获取至少两张待融合图像，并通过图像编码器对各所述待融合图像进行编码，得到多个待融合图像特征；
29、确定单元，被配置为执行根据训练好的图文转换模型以及所述多个待融合图像特征，得到各所述待融合图像特征对应的文本特征；
30、噪声信息生成单元，被配置为执行将各所述待融合图像特征、各所述待融合图像特征对应的文本特征以及标准噪声数据输入至训练好的图像扩散模型，对所述标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息；
31、图像生成单元，被配置为执行基于图像解码器对所述噪声信息进行图像解码处理，生成融合图像。
32、在一个实施例中，所述噪声信息生成单元，包括：
33、拼接子单元，被配置为对各所述待融合图像分别对应的待融合图像特征进行拼接处理，得到图像融合特征；以及对各待融合图像特征对应的文本特征进行拼接处理，得到文本融合特征；
34、融合子单元，被配置为对所述图像融合特征以及所述文本融合特征进行融合处理，得到融合特征；
35、噪声信息生成子单元，被配置为通过训练好的图像扩散模型以及所述融合特征，对标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息。
36、在一个实施例中，所述噪声信息生成子单元具体用于：
37、通过所述图像扩散模型，将所述融合特征作为条件对标准噪声数据进行降噪处理，得到包含各所述待融合图像的图像信息的噪声信息。
38、在一个实施例中，所述装置还包括：
39、第二获取单元，被配置为获取第一训练数据，所述第一训练数据包括样本图像以及样本文本；
40、提取单元，被配置为提取各所述样本图像的样本图像特征以及各所述样本文本的样本文本特征；
41、转换单元，被配置为通过待训练的图文转换模型中的文本转换子模型对所述样本图像特征进行文本转换，得到预测文本特征，并通过所述待训练的图文转换模型中的图像转换子模型对所述样本文本特征进行图像转换，得到预测图像特征；
42、第一损害值计算单元，被配置为计算所述样本文本特征本文档来自技高网...
【技术保护点】
1.一种图像融合方法，其特征在于，包括：
2.根据权利要求1所述的图像融合方法，其特征在于，所述将各所述待融合图像特征、各所述待融合图像特征对应的文本特征以及标准噪声数据输入至训练好的图像扩散模型，对所述标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息，包括：
3.根据权利要求2所述的图像融合方法，其特征在于，所述通过训练好的图像扩散模型以及所述融合特征，对标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息，包括：
4.根据权利要求1所述的图像融合方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的图像融合方法，其特征在于，所述方法还包括：
6.根据权利要求2所述的图像融合方法，其特征在于，所述对各所述待融合图像分别对应的待融合图像特征进行拼接处理，得到图像融合特征，包括：
7.根据权利要求2所述的图像融合方法，其特征在于，所述对各待融合图像特征对应的文本特征进行拼接处理，得到文本融合特征，包括：
8.一种图像融合装置，其特征在于，包括：
<...【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：
2.根据权利要求1所述的图像融合方法，其特征在于，所述将各所述待融合图像特征、各所述待融合图像特征对应的文本特征以及标准噪声数据输入至训练好的图像扩散模型，对所述标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息，包括：
3.根据权利要求2所述的图像融合方法，其特征在于，所述通过训练好的图像扩散模型以及所述融合特征，对标准噪声数据进行扩散处理，得到包含各所述待融合图像的图像信息的噪声信息，包括：
4.根据权利要求1所述的图像融合方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的图像融...
【专利技术属性】
技术研发人员：曾艳兵，李岩，高婷婷，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。