【技术实现步骤摘要】
本申请涉及图像合成领域，具体而言，涉及基于人类反馈的在线图像合成效果对齐方法及系统。
技术介绍
1、扩散模型是一类生成模型，在生成图像方面取得了广泛的成功，尤其是在具有真实性的图像方面。然而，这些生成模型生成的图像可能并不总是符合人类的偏好或意图。因此，产生了对齐问题，即如何确保生成模型的输出与人类偏好(如“质量”)对齐，或者确保输出图像与难以通过语言表达的意图对齐。在大型语言模型的领域中，强化学习或者少样本提示词已被证明是一种非常有效的工具，可以使生成模型与人类偏好相一致。图像领域当然也可以通过强化学习或者少样本微调的方式达到效果对齐的目的。然而，这种方法是离线的，缺乏实时性，用户需要花费大量时间进行样本挑选并等待模型训练完成。
2、因此，亟需一种基于人类反馈的在线图像合成效果对齐方法，用于解决上述技术问题。
技术实现思路
1、本申请的主要目的在于提供一种基于人类反馈的在线图像合成效果对齐方法及系统，用于解决现有的对齐处理复杂，并且是离线对齐的问题。
2、为了实现上述目的，本申请的第一方面，提出了一种基于人类反馈的在线图像合成效果对齐方法，方法包括：
3、s100，获取用户的输入文本，并将所述文本转换为特征向量，得到文本特征向量；
4、s200，利用u-net模型对所述文本特征向量，以及加入的随机噪声进行处理，得到若干初始图像，其中，所述u-net模型包括初始低秩分解网络；
5、s300，获取用户基于偏好，在所述若干初始
6、s400，将所述初始偏好特征向量和所述文本特征向量分别输入初始特征更新网络，得到目标特征向量；
7、s500，利用所述u-net模型，对所述目标特征向量处理，得到若干目标图像；
8、s600，将所述若干目标图像与所述初始偏好图像进行比对，并将比对结果分别输入所述初始低秩分解网络和所述初始特征更新网络，得到目标低秩分解网络和目标特征更新网络。
9、可实施的一些方式中，所述获取用户的输入文本，并将所述文本转换为特征向量，得到文本特征向量的步骤包括：
10、s101，获取所述用户的输入所述文本；
11、s102，利用clip模型对所述文本，进行转换特征向量处理，得到所述文本特征向量。
12、可实施的一些方式中，所述利用u-net模型对所述文本特征向量处理，得到若干初始图像的步骤包括：
13、s201，将所述文本特征向量作为高纬度特征向量，并加入随机噪声，输入所述u-net模型，得到第一高纬度特征向量数据；
14、s202，利用所述初始低秩分解网络，对所述第一高纬度特征向量数据进行分解操作，得到第一低纬度的特征向量数据；
15、s203，利用所述u-net模型，对所述第一低纬度的特征向量数据进行处理，得到若干初始图像。
16、可实施的一些方式中，所述获取用户基于偏好，在所述若干初始图像中选取的初始图像，得到初始偏好特征向量的步骤包括：
17、s301，将所述若干初始图像，发送至所述用户，得到初始偏好图像，其中，所述初始偏好图像表示用户基于偏好在所述若干初始图像中选取的图像；
18、s302，利用所述clip模型，对所述初始偏好图像，进行特征向量的加权求和计算，得到初始偏好特征向量；其中，所述初始偏好特征向量的计算公式：
19、v′preference＝vpreference*α+(1-α)*vimage；
20、其中，v′preference表示初始偏好特征向量，vpreference表示所述初始图像的特征向量，vimage表示随机特征向量，α表示特征衰减参数，参数为介于0和1之间的值。
21、可实施的一些方式中，所述将所述初始偏好特征向量和所述文本特征向量分别输入初始特征更新网络，得到目标特征向量的步骤包括：
22、s401，将所述初始偏好特征向量和所述文本特征向量分别输入所述初始特征更新网络，得到特征向量输入数据；
23、s402，利用所述初始特征更新网络，对所述特征向量输入数据进行特征提取，得到所述目标文本特征向量。
24、可实施的一些方式中，所述利用所述u-net模型，对所述目标特征向量处理，得到若干目标图像的步骤包括：
25、s501，将所述目标特征向量作为第二高纬度特征向量，并加入随机噪声，输入所述u-net模型，得到第二高纬度特征向量数据；
26、s502，利用所述初始低秩分解网络，对第二高纬度特征向量数据进行分解操作，得到第二低纬度的特征向量数据；
27、s503，利用所述u-net模型，对所述第二低纬度的特征向量数据进行处理，得到所述若干目标图像。
28、可实施的一些方式中，所述将所述目标偏好特征向量与所述初始偏好图像进行比对，并将比对结果分别输入所述初始低秩分解网络和所述初始特征更新网络，得到目标低秩分解网络和目标特征更新网络的步骤包括：
29、s601，利用预设的损失函数，对所述若干目标图像与所述初始偏好图像差异对比，得到差异值；
30、s602，根据所述差异值，利用预设的梯度下降优化算法，更新所述初始低秩分解网络和所述初始特征更新网络的参数权重，并循环执行步骤s100至s500，直至达到预设的最大迭代次数或所述损失函数值收敛，得到目标低秩分解网络和目标特征更新网络。
31、本申请的第二方面，提出了一种基于人类反馈的在线图像合成效果对齐系统，包括：
32、获取单元，用于获取用户的输入文本，并将所述文本转换为特征向量，得到文本特征向量；
33、处理单元单元，用于利用u-net模型对所述文本特征向量，以及加入的随机噪声进行处理，得到若干初始图像，其中，所述u-net模型包括初始低秩分解网络；
34、获取单元，还用于获取用户基于偏好，在所述若干初始图像中选取的初始图像，分别得到初始偏好图像和初始偏好特征向量。
35、生成单元，用于将所述初始偏好特征向量和所述文本特征向量分别输入初始特征更新网络，得到目标特征向量；
36、处理单元单元，还用于利用所述u-net模型，对所述目标特征向量处理，得到若干目标图像；
37、结果单元，用于将所述若干目标图像与所述初始偏好图像进行比对，并将比对结果分别输入所述初始低秩分解网络和所述初始特征更新网络，得到目标低秩分解网络和目标特征更新网络。
38、本申请的第三方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行前述的基于人类反馈的在线图像合成效果对齐方法。
39、本申请的第四方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中本文档来自技高网...
【技术保护点】
1.一种基于人类反馈的在线图像合成效果对齐方法，其特征在于，包括：
2.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述获取用户的输入文本，并将所述文本转换为特征向量，得到文本特征向量的步骤包括：
3.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述利用U-Net模型对所述文本特征向量处理，得到若干初始图像的步骤包括：
4.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述获取用户基于偏好，在所述若干初始图像中选取的初始图像，得到初始偏好特征向量的步骤包括：
5.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述将所述初始偏好特征向量和所述文本特征向量分别输入初始特征更新网络，得到目标特征向量的步骤包括：
6.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述利用所述U-Net模型，对所述目标特征向量处理，得到若干目标图像的步骤包括：
7.根据权利要求1所述的基于人类反馈的在线
8.一种基于人类反馈的在线图像合成效果对齐系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任意一项所述的基于人类反馈的在线图像合成效果对齐方法。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任意一项所述的基于人类反馈的在线图像合成效果对齐方法。
...【技术特征摘要】
1.一种基于人类反馈的在线图像合成效果对齐方法，其特征在于，包括：
2.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述获取用户的输入文本，并将所述文本转换为特征向量，得到文本特征向量的步骤包括：
3.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述利用u-net模型对所述文本特征向量处理，得到若干初始图像的步骤包括：
4.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述获取用户基于偏好，在所述若干初始图像中选取的初始图像，得到初始偏好特征向量的步骤包括：
5.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述将所述初始偏好特征向量和所述文本特征向量分别输入初始特征更新网络，得到目标特征向量的步骤包括：
6.根据权利要求1所述的基于人类反馈的在线图像合成效果对齐方法，其特征在于，所述利用所述u-net模型，对所...
【专利技术属性】
技术研发人员：卓京港，朱婧，范凌，
申请(专利权)人：上海特赞望信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。