【技术实现步骤摘要】
本公开涉及计算机视觉，尤其涉及一种基于多模态信息的图像处理方法和装置。
技术介绍
1、随着人工智能技术不断实现突破迭代，人工智能内容生成的应用越来越广泛。图像作为人工智能内容生成的一种模态，一直在人工智能内容生成领域中扮演着重要角色。近些年来，图像生成技术也取得了很多关键性突破，现有的图像生成方法主要为将特定的文本映射到文本空间得到文本的特征向量并将文本的特征向量转换为对应的图像的特征向量，通过解码器得到文本对应的图像。但上述图像生成方法存在生成图像不够准确等问题。
技术实现思路
1、有鉴于此，本公开实施例提供了一种基于多模态信息的图像处理方法、装置、电子设备及可读存储介质，以解决现有技术中生成图像准确性偏低的问题。
2、本公开实施例的第一方面，提供了一种基于多模态信息的图像处理方法，包括：获取提示文本和图像，提示文本和图像中包含目标对象；对图像添加t个时间步长对应的随机噪声数据，得到图像对应的噪声图像的特征向量，t为正整数；对提示文本进行特征提取，得到提示文本的特征向量，以及对图像进行特征提取，得到图像的特征向量，并基于提示文本的特征向量和图像的特征向量进行特征融合处理，得到多模态特征增强向量；基于多模态特征增强向量、提示文本的特征向量，以及噪声图像的特征向量进行t次噪声预测处理，得到噪声图像对应的t个噪声的特征向量；基于t个噪声的特征向量和噪声图像的特征向量，生成包含目标对象的去噪图像。
3、本公开实施例的第二方面，提供了一种基于多模态信息的图像处理装置
4、本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
5、本公开实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本公开实施例与现有技术相比存在的有益效果是：对图像添加t个时间步长对应的随机噪声数据，即添加高斯噪声，得到包含高斯噪音的噪声图的特征图。将提示文本的特征向量与图像的特征向量进行融合处理，将提示文本特征与图像特征进行结合，得到多模态特征增强向量，增强图像和提示文本的特征表达，利用更多的可利用的信息，可以帮助模型更好地理解图像和提示文本的内容，并生成更加准确、生动的图像。基于多模态特征增强向量、提示文本的特征向量，以及噪声图像的特征向量进行t次噪声预测处理，得到噪声图像对应的t个噪声的特征向量，得到预测的噪声的特征向量，并根据t个噪声的特征向量和噪声图像的特征向量，生成包含目标对象的去噪图像，在特征层面上对噪声进行抑制和消除，得到去噪图像的特征向量，并通过解码器将去噪图像的特征向量转换为图像空间中的具体像素值，生成可视化的、准确、保真去噪图像，解决现有技术中生成图像准确性偏低的问题，提高图像生成的准确性和效率。
本文档来自技高网...【技术保护点】
1.一种基于多模态信息的图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述提示文本进行特征提取，得到所述提示文本的特征向量，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述图像进行特征提取，得到所述图像的特征向量，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述提示文本的特征向量和所述图像的特征向量进行特征融合处理，得到多模态特征增强向量，包括：
5.根据权利要求1所述的方法，其特征在于，扩散模型包括多个下采样处理模块和多个上采样处理模块，所述基于所述多模态特征增强向量、所述提示文本的特征向量，以及所述噪声图像的特征向量进行t次噪声预测处理，得到所述噪声图像对应的t个噪声的特征向量，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于t个所述噪声的特征向量和所述噪声图像的特征向量，生成包含所述目标对象的去噪图像，包括：
7.根据权利要求1所述的方法，其特征在于，所述对所述图像添加t个时间步长对应的随机噪声数据之前，还包括：
8.一
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于多模态信息的图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述提示文本进行特征提取，得到所述提示文本的特征向量，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述图像进行特征提取，得到所述图像的特征向量，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述提示文本的特征向量和所述图像的特征向量进行特征融合处理，得到多模态特征增强向量，包括：
5.根据权利要求1所述的方法，其特征在于，扩散模型包括多个下采样处理模块和多个上采样处理模块，所述基于所述多模态特征增强向量、所述提示文本的特征向量，以及所述噪声图像的特征向量进行t次噪声预测处理，得到所述噪声图像对应的t个噪声的特征向量...
【专利技术属性】
技术研发人员：石雅洁，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。