System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及图像处理,具体而言,涉及一种图像调整模型处理方法、装置及电子设备。
技术介绍
1、随着人工智能技术的发展,通过人工智能模型对图像进行处理被广泛地应用。例如,在一些场景中采用了图像处理模型对输入图像进行调整,例如,对输入的人脸图像执行瘦脸、美颜等调整操作。但是,现有的图像调整模型均是针对图像本身进行特征提取、映射等操作,存在处理图像效果不佳的问题。
技术实现思路
1、为了克服现有技术中的上述不足,本申请的目的在于提供一种图像调整模型处理方法,所述图像调整模型包括特征提取模型及大语言模型,所述方法包括:
2、获取第一训练样本,所述第一训练样本包括第一样本输入图像和针对所述第一样本输入图像执行图像调整后得到的第一样本图像调整参数;
3、对所述第一样本输入图像进行图像特征提取,获得第一样本输入图像特征向量;
4、对所述第一样本输入图像特征向量和所述第一样本图像调整参数进行字符化编码处理,将所述图像特征向量和所述图像调整参数分别转换为第一样本字符串和第二样本字符串;
5、将所述第一样本字符串作为训练样本,将所述第二样本字符串作为训练标签,对待训练的大语言模型进行训练,以使所述大语言模型根据所述第一样本字符串预测获得所述第二样本字符串。
6、在一种可能的实现方式中,所述方法还包括:
7、获取目标输入图像;
8、对所述目标输入图像进行图像特征提取,获得目标输入图像特征向量;
9、对所述目标输
10、将所述第一目标字符串输入已训练的所述大语言模型进行处理,获得所述大语言模型根据所述第一目标字符串预测输出的第二目标字符串;
11、对所述第二目标字符串进行解码处理,获得目标图像调整参数;
12、使用所述目标图像调整参数对所述目标输入图像执行相应的图像调整处理,获得调整后的目标输出图像。
13、在一种可能的实现方式中,所述方法还包括:
14、获取第二训练样本,所述第二训练样本包括第二样本输入图像;
15、对所述第二样本输入图像进行图像特征提取,获得第二样本输入图像特征向量;
16、对所述第二样本输入图像特征向量进行字符化编码处理,将所述图像特征向量和所述图像调整参数分别转换为第三样本字符串;
17、将所述第三样本字符串输出所述大语言模型进行处理,获得所述大语言模型输出的第四样本字符串;
18、对所述第四样本字符串进行解码处理,获得第二样本图像调整参数;
19、使用所述第二样本图像调整参数对所述第二样本输入图像执行相应的图像调整处理,获得调整后的样本输出图像;
20、根据所述第二样本输入图像和所述样本输出图像,获得图像处理评价数据,并根据所述图像处理评价数据,采用人类反馈强化学习对所述大语言模型的模型参数进行调整。
21、在一种可能的实现方式中,所述根据所述第二样本输入图像和所述样本输出图像,获得图像处理评价数据,并根据所述图像处理评价数据,采用人类反馈强化学习对所述大语言模型的模型参数进行调整的步骤,包括:
22、获得同一个所述第二样本输入图像的所述第二样本输入图像特征向量分别多次经所述大语言模型处理后获得的多个所述样本输出图像;
23、根据所述第二样本输入图像和多个所述样本输出图像,采用人工打分标注的方式获得多个所述样本输出图像对应的图像处理评价数据;
24、根据多个所述样本输出图像对应的图像处理评价数据,采用人类反馈强化学习对所述大语言模型的模型参数进行调整。
25、在一种可能的实现方式中,所述对所述第一样本输入图像特征向量和所述第一样本图像调整参数进行字符化编码处理,将所述图像特征向量和所述图像调整参数分别转换为第一样本字符串和第二样本字符串的步骤,包括:
26、分别对所述第一样本输入图像特征向量和所述第一样本图像调整参数进行离散化处理,将所述第一样本输入图像特征向量和所述第一样本图像调整参数转化为设定数值范围的无符号整型数;
27、分别对所述离散化处理后的所述第一样本输入图像特征向量和所述第一样本图像调整参数中的各个数据项进行编码,将各个所述数据项转换为字符,并分别将所述第一样本输入图像特征向量和所述第一样本图像调整参数对应的多个字符合并为字符串。
28、在一种可能的实现方式中,所述大语言模型包括大规模的多语言预训练文本到文本转换器mt5模型;
29、所述分别对所述离散化处理后的所述第一样本输入图像特征向量和所述第一样本图像调整参数中的各个数据项进行编码的步骤,包括:
30、分别对所述离散化处理后的所述第一样本输入图像特征向量和所述第一样本图像调整参数中的各个数据项进行utf-16编码。
31、在一种可能的实现方式中,所述将所述第一样本字符串作为训练样本,将所述第二样本字符串作为训练标签,对待训练的大语言模型进行训练的步骤,包括:
32、将所述第一样本字符串作为训练样本,将所述第二样本字符串作为训练标签,采用掩膜语言建模的方式对待训练的大语言模型进行训练。
33、本申请的另一目的在于提供一种图像调整模型处理装置,所述图像调整模型处理装置包括:
34、样本获取模块,用于获取第一训练样本,所述第一训练样本包括第一样本输入图像和针对所述第一样本输入图像执行图像调整后得到的第一样本图像调整参数;
35、特征提取模块,用于对所述第一样本输入图像进行图像特征提取,获得第一样本输入图像特征向量;
36、字符化模块,用于对所述第一样本输入图像特征向量和所述第一样本图像调整参数进行字符化编码处理,将所述图像特征向量和所述图像调整参数分别转换为第一样本字符串和第二样本字符串;
37、模型训练模块,用于将所述第一样本字符串作为训练样本,将所述第二样本字符串作为训练标签,对待训练的大语言模型进行训练,以使所述大语言模型根据所述第一样本字符串预测获得所述第二样本字符串。
38、本申请的另一目的在于提供一种电子设备,包括处理器及机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被所述处理器执行时,实现本申请提供的图像调整模型处理方法。
39、本申请的另一目的在于提供一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被一个或多个处理器执行时,实现本申请提供的图像调整模型处理方法。
40、相对于现有技术而言,本申请具有以下有益效果:
41、本申请提供的图像模型处理方法、装置及电子设备,通过将第一样本输入图像的图像特征向量和第一图像调整参数字符化为第一样本字符串和第二样本字符串,然后通过大语言模型学习第一样本字符串和第二样本字符串之间本文档来自技高网...
【技术保护点】
1.一种图像调整模型处理方法,其特征在于,所述图像调整模型包括特征提取模型及大语言模型,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述第二样本输入图像和所述样本输出图像,获得图像处理评价数据,并根据所述图像处理评价数据,采用人类反馈强化学习对所述大语言模型的模型参数进行调整的步骤,包括:
5.根据权利要求1所述的方法,其特征在于,所述对所述第一样本输入图像特征向量和所述第一样本图像调整参数进行字符化编码处理,将所述图像特征向量和所述图像调整参数分别转换为第一样本字符串和第二样本字符串的步骤,包括:
6.根据权利要求5所述的方法,其特征在于,所述大语言模型包括大规模的多语言预训练文本到文本转换器mT5模型;
7.根据权利要求1所述的方法,其特征在于,所述将所述第一样本字符串作为训练样本,将所述第二样本字符串作为训练标签,对待训练的大语言模型进行训练的步骤,包括:
...【技术特征摘要】
1.一种图像调整模型处理方法,其特征在于,所述图像调整模型包括特征提取模型及大语言模型,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述第二样本输入图像和所述样本输出图像,获得图像处理评价数据,并根据所述图像处理评价数据,采用人类反馈强化学习对所述大语言模型的模型参数进行调整的步骤,包括:
5.根据权利要求1所述的方法,其特征在于,所述对所述第一样本输入图像特征向量和所述第一样本图像调整参数进行字符化编码处理,将所述图像特征向量和所述图像调整参数分别转换为第一样本字符串和第二样本字符串的步骤,包括:
6.根据权利要求...
【专利技术属性】
技术研发人员:华路延,孔耀祖,
申请(专利权)人:广州虎牙科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。