模型构建的方法和装置、照片生成方法和装置制造方法及图纸

本申请提供了一种模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质，方法包括：确定第一LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型对应对象相似度的主要特征层记为第一特征层，确定第二LoRA模型作用于所述Unet网络的块结构的各个特征层中影响所述第二LoRA模型对应对象相似度的主要特征层记为第二特征层；在所述LDM模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型，通过该方案能够解决LoRA模型冲突的问题，便于生成特定风格的照片。便于生成特定风格的照片。便于生成特定风格的照片。

【技术实现步骤摘要】
模型构建的方法和装置、照片生成方法和装置


[0001]本专利技术涉及计算机
，特别涉及一种模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质。

技术介绍

[0002]随着自媒体的发展与普及，用户产生了不受时间、地点和环境的限制生成照片（比如生成自己在海滩上穿比基尼的照片等）的需求。目前通常通过在隐式扩散模型（Latent Diffusion Model，LDM）的基础上训练低秩自适应(Low
‑
Rank Adaptation，LoRA)模型来生成特定风格的照片，比如在LDM模型的基础上训练服装LoRA模型来生成穿特定服装的人物照片、在LDM模型的基础上训练人物LoRA模型来生成特定人物的照片等等。然而，在同时使用至少两个LoRA模型时，不同LoRA模型之间往往会产生冲突，比如在同时使用服装LoRA模型与人物LoRA模型时，因为服装LoRA模型与人物LoRA模型的冲突，会导致生成的照片中不仅人物不像特定人物，人物的服装也不像特定服装，甚至导致照片整体产生扭曲变形现象。
[0003]有鉴于此，如何提供一种能够解决LoRA模型冲突的方案，以利用LDM模型同时结合至少两个LoRA模型生成特定风格的照片，成为亟待解决的技术问题。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质，能够解决LoRA模型冲突的问题，便于生成特定风格的照片。
[0005]第一方面，本申请实施例提供了一种模型构建的方法，包括：确定第一LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型对应对象相似度的主要特征层记为第一特征层，确定第二LoRA模型作用于所述Unet网络的块结构的各个特征层中影响所述第二LoRA模型对应对象相似度的主要特征层记为第二特征层；在所述LDM模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型。
[0006]第二方面，本申请实施例提供了一种基于第一方面所述的模型构建的方法的照片生成方法，包括：利用所述目标模型生成特定风格的照片。
[0007]第三方面，本申请实施例还提供了一种模型构建的装置，包括：确定单元，用于确定第一LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型对应对象相似度的主要特征层记为第一特征层，确定第二LoRA模型作用于所述Unet网络的块结构的各个特征层中影响所述第二LoRA模型对应对象相似度的主要特征层记为第二特征层；构建单元，用于在所述LDM模型的基础上，通过保留所述第一特征层和第二特征层
中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型。
[0008]第四方面，本申请实施例提供了一种基于第三方面所述的模型构建的装置的照片生成装置，包括：生成单元，用于利用所述目标模型生成特定风格的照片。
[0009]第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的模型构建的方法的步骤或如第二方面所述的照片生成方法的步骤。
[0010]第六方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的模型构建的方法的步骤或如第二方面所述的照片生成方法的步骤。
[0011]综上，本申请实施例提供的模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质，分别确定第一LoRA模型和第二LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型和第二LoRA模型对应对象相似度的主要特征层，分别记为第一特征层和第二特征层；在所述LDM模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型，能够解决LoRA模型冲突的问题，同时利用构建的目标模型能够生成特定风格的照片。
附图说明
[0012]图1为本申请实施例提供的一种模型构建的方法的流程示意图；图2为本申请实施例提供的一种基于图1所示的模型构建的方法的照片生成方法的流程示意图；图3为本申请实施例提供的一种模型构建的装置的结构示意图；图4为本申请实施例提供的一种基于图3所示的模型构建的装置的照片生成装置的结构示意图；图5为本申请实施例提供的一种电子设备的结构示意图。
实施方式
[0013]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0014]另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在
此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0015]需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0016]参照图1所示，为本申请实施例提供的一种模型构建的方法，包括：S10、确定第一LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型对应对象相似度的主要特征层记为第一特征层，确定第二LoRA模型作用于所述Unet网络的块结构的各个特征层中影响所述第二LoRA模型对应对象相似度的主要特征层记为第二特征层；本专利技术实施例中，需要说明的是，对于第一LoRA模型和第二LoRA模型中每一个模型，将该LoRA模型作用于LDM模型的Unet网络（即将各个特征层作用于Unet网络对应的块结构（block）），之后利用包含相同特征的多张照片训练LDM模型中的该LoRA模型，训练完成后可以确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型构建的方法，其特征在于，包括：确定第一LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型对应对象相似度的主要特征层记为第一特征层，确定第二LoRA模型作用于所述Unet网络的块结构的各个特征层中影响所述第二LoRA模型对应对象相似度的主要特征层记为第二特征层；在所述LDM模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型。2.如权利要求1所述的方法，其特征在于，所述确定第一LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型对应对象相似度的主要特征层记为第一特征层，确定第二LoRA模型作用于所述Unet网络的块结构的各个特征层中影响所述第二LoRA模型对应对象相似度的主要特征层记为第二特征层，包括：计算第一照片和多个第二照片之间的第一相似度，从小于第一阈值的第一相似度中选择至少一个第一相似度，将选择的第一相似度对应的第二照片对应的所述第一LoRA模型的特征层作为所述第一特征层，其中，所述第一照片为利用第一模型生成的照片，所述第一模型为在所述LDM模型的基础上，保留所述第一LoRA模型的全部特征层得到的模型，所述第二照片的数量与所述第一LoRA模型的特征层的数量相同，每一张第二照片为利用在所述LDM模型的基础上，保留所述第一LoRA模型的全部特征层中一个特征层得到的模型生成的照片，各张第二照片对应的所述第一LoRA模型的特征层不同，所述第一相似度为所述第一LoRA模型对应对象相似度；计算第三照片和多个第四照片之间的第二相似度，从小于第二阈值的第二相似度中选择至少一个第二相似度，将选择的第二相似度对应的第四照片对应的所述第二LoRA模型的特征层作为所述第二特征层，其中，所述第三照片为利用第二模型生成的照片，所述第二模型为在所述LDM模型的基础上，保留所述第二LoRA模型的全部特征层得到的模型，所述第四照片的数量与所述第二LoRA模型的特征层的数量相同，每一张第四照片为利用在所述LDM模型的基础上，保留所述第二LoRA模型的全部特征层中一个特征层得到的模型生成的照片，各张第四照片对应的所述第二LoRA模型的特征层不同，所述第二相似度为所述第二LoRA模型对应对象相似度。3.如权利要求2所述的方法，其特征在于，相同作用位置的特征层中属于所述第一LoRA模型的特征层的作用权重系数w1=R1
×
λ/（R1+R2），相同作用位置的特征层中属于所述第二LoRA模型的特征层的作用权重系数w2=R2
×
η/（R1+R2），其中，R1为相同作用位置的特征层中属于所述第一LoRA模型的特征层的排序顺序的倒数，λ为相同作用位置的特征层中属于所述第一LoRA模型的特征层的原始作用权重系数，R2为相同作用位置的特征层中属于所述第二LoRA模型的特征层的排序顺序的倒数，η为相同作用位置的特征层中属于所述第二LoRA模型的特征层的原始作用权重系数。4.如权利要求1至3任一项所述的方...

【专利技术属性】
技术研发人员：唐宇，
申请(专利权)人：海马云天津信息技术有限公司，
类型：发明
国别省市：