System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及互联网,具体涉及一种图像处理方法、装置和计算机可读存储介质。
技术介绍
1、随着互联网技术的快速发展,对图像处理的需求也越来越多,例如,在广告创意生成场景中,当广告主提供的图像素材质量不佳时,需要在保留原始图像的主要信息的基础上,对图像进行重新绘制以提升图像的质量。
2、在对现有技术的研究和实践过程中发现,在现有的图像处理方法中,往往通过采用扩散模型来根据原始的图像生成新的图像,以对原始的图像进行质量提升。然而,这种方法受限于算法性能,同时依赖于人工干预,使得图像生成效率较低,进而导致图像处理效率较差。
技术实现思路
1、本申请实施例提供一种图像处理方法、装置和计算机可读存储介质,可以自动化的逆向生成图像的图像生成提示词,从而基于图像生成提示词实现对待处理图像进行图像质量提升,有效提高了图像生成效率,进而提升图像处理效率。
2、本申请实施例提供一种图像处理方法,包括:
3、获取待处理图像的图像内容描述信息;
4、基于多个预设的图像参考属性信息和所述图像内容描述信息,构建所述待处理图像的属性识别问题信息,所述属性识别问题信息用于指示语言模型基于所述图像内容描述信息判别所述待处理图像与各所述图像参考属性信息的匹配关系,以及针对匹配的图像参考属性信息生成关联的图像属性文本;
5、采用语言模型基于所述属性识别问题信息中的所述图像内容描述信息对所述属性识别问题信息进行回答,生成所述待处理图像的图像属性文本;
6
7、通过图像生成模型,根据所述图像生成提示词生成目标图像。
8、相应的,本申请实施例提供一种图像处理装置,包括:
9、信息获取单元,用于获取待处理图像的图像内容描述信息;
10、问题构建单元,用于基于多个预设的图像参考属性信息和所述图像内容描述信息,构建所述待处理图像的属性识别问题信息,所述属性识别问题信息用于指示语言模型基于所述图像内容描述信息判别所述待处理图像与各所述图像参考属性信息的匹配关系,以及针对匹配的图像参考属性信息生成关联的图像属性文本;
11、文本生成单元,用于采用语言模型基于所述属性识别问题信息中的所述图像内容描述信息对所述属性识别问题信息进行回答,生成所述待处理图像的图像属性文本;
12、提示词生成单元,用于基于所述图像属性文本生成所述待处理图像对应的图像生成提示词;
13、图像生成单元,用于通过图像生成模型,根据所述图像生成提示词生成目标图像。
14、在一实施例中,所述文本生成单元,包括:
15、属性匹配子单元,用于通过语言模型基于所述属性识别问题信息中的图像内容描述信息,确定与所述待处理图像匹配的目标图像参考属性信息;
16、文本生成子单元,用于基于所述图像内容描述信息,生成所述目标图像参考属性信息关联的图像属性文本。
17、在一实施例中,所述提示词生成单元,包括:
18、提示词生成模板获取子单元,用于获取提示词生成模板;
19、指示信息生成子单元,用于基于所述图像属性文本和所述提示词生成模板生成提示词生成指示信息;
20、提示词生成子单元,用于通过语言模型基于所述提示词生成指示信息,生成所述待处理图像对应的的图像生成提示词。
21、在一实施例中,所述信息获取单元,包括:
22、模型获取子单元,用于获取训练好的图文对齐模型;
23、图像识别子单元,用于将待处理图像输入到所述图文对齐模型中,通过所述图文对齐模型对所述待处理图像进行图像识别,得到所述待处理图像的图像内容描述信息。
24、在一实施例中,所述问题构建单元,包括:
25、图像参考属性信息获取子单元,用于获取多个预设图像属性类型对应的图像参考属性信息,每一所述预设图像属性类型包括至少一个图像参考属性信息;
26、问题构建子单元,用于基于各所述预设图像属性类型下的所述图像参考属性信息以及所述图像内容描述信息,构建所述待处理图像对应的属性识别问题信息。
27、在一实施例中,所述预设图像属性类型包括至少一个图像前景属性类型和至少一个图像背景属性类型,所述问题构建子单元,包括:
28、问题生成模板获取模块,用于获取属性识别问题生成模板;
29、属性识别问题构建模块,用于基于所述属性识别问题生成模板、各所述图像前景属性类型下的图像参考属性信息、各所述图像背景属性类型下的图像参考属性信息以及所述图像内容描述信息,生成所述待处理图像对应的属性识别问题信息。
30、在一实施例中,所述属性识别问题构建模块,用于:
31、获取所述属性识别问题生成模板中的图像内容填充位置和属性填充位置;
32、基于所述图像内容描述信息对所述图像内容填充位置进行填充,以及遍历所述图像前景属性类型下的图像参考属性信息和所述图像背景属性类型下的图像参考属性信息,对所述属性填充位置进行填充,得到各所述图像参考属性信息对应的属性识别问题信息。
33、在一实施例中,所述图像参考属性信息获取子单元,用于:
34、获取多个候选的图像属性槽位,每一图像属性槽位对应一图像属性类型,所述图像属性槽位包括对应的图像属性类型下的至少一个图像参考属性信息;
35、确定所述图像内容描述信息和所述图像参考属性信息之间的相似度;
36、基于所述相似度在所述候选的图像属性槽位中筛选多个目标属性槽位,根据所述目标属性槽位获取多个预设图像属性类型对应的图像参考属性信息。
37、此外,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行本申请实施例所提供的任一种图像处理方法中的步骤。
38、此外,本申请实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本申请实施例提供的图像处理方法。
39、本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述电子设备执行本申请实施例提供的图像处理方法中的步骤。
40、本申请实施例通过获取待处理图像的图像内容描述信息;基于多个预设的图像参考属性信息和图像内容描述信息,构建待处理图像的属性识别问题信息,属性识别问题信息用于指示语言模型基于图像内容描述信息判别待处理图像与各图像参考属性信息的匹配关系,以及针对匹配的图像参考属性信息生成关联的图像属性文本;采用语言模型基于属性识别问题信息中的图像内容描述信息对属性识别问题信息进行回答,生成待处理图像的本文档来自技高网...
【技术保护点】
1.一种图像处理方法,其特征在于,包括:
2.如权利要求1所述的图像处理方法,其特征在于,所述采用语言模型基于所述属性识别问题信息中的所述图像内容描述信息对所述属性识别问题信息进行回答,生成所述待处理图像的图像属性文本,包括:
3.如权利要求1所述的图像处理方法,其特征在于,所述基于所述图像属性文本生成所述待处理图像对应的的图像生成提示词,包括:
4.如权利要求1所述的图像处理方法,其特征在于,所述获取待处理图像的图像内容描述信息,包括:
5.如权利要求1至4中任一项所述的图像处理方法,其特征在于,所述基于多个预设的图像参考属性信息和所述图像内容描述信息,构建所述待处理图像的属性识别问题信息,包括:
6.如权利要求5所述的图像处理方法,其特征在于,所述预设图像属性类型包括至少一个图像前景属性类型和至少一个图像背景属性类型,所述基于各所述预设图像属性类型下的所述图像参考属性信息以及所述图像内容描述信息,构建所述待处理图像对应的属性识别问题信息,包括:
7.如权利要求6所述的图像处理方法,其特征在于,所述基于所述
8.如权利要求5所述的图像处理方法,其特征在于,所述获取多个预设图像属性类型对应的图像参考属性信息,包括:
9.一种图像处理装置,其特征在于,包括:
10.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~8中任一所述方法的步骤。
11.一种计算机可读存储介质,其特征在于,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行权利要求1~8中任一所述方法的步骤。
...【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:
2.如权利要求1所述的图像处理方法,其特征在于,所述采用语言模型基于所述属性识别问题信息中的所述图像内容描述信息对所述属性识别问题信息进行回答,生成所述待处理图像的图像属性文本,包括:
3.如权利要求1所述的图像处理方法,其特征在于,所述基于所述图像属性文本生成所述待处理图像对应的的图像生成提示词,包括:
4.如权利要求1所述的图像处理方法,其特征在于,所述获取待处理图像的图像内容描述信息,包括:
5.如权利要求1至4中任一项所述的图像处理方法,其特征在于,所述基于多个预设的图像参考属性信息和所述图像内容描述信息,构建所述待处理图像的属性识别问题信息,包括:
6.如权利要求5所述的图像处理方法,其特征在于,所述预设图像属性类型包括至少一个图像前景属性类型和至少一个图像背景属性类型,所述基于各所述预设图像属性类型下的所述图像参考属性信息以及所述图像内容...
【专利技术属性】
技术研发人员:李军伟,
申请(专利权)人:行吟信息科技上海有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。