【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种基于扩散模型的人体腹肌图像生成方法、系统、设备及存储介质。
技术介绍
1、在人工智能领域，人工智能内容生成-aigc(artificial intelligencegenerated content)已经成为了现如今的研究热门。随着aigc的爆火，研究者们见识到了其强大的生成能力，进而增大了其核心扩散模型模块的研究。因此，近些年，基于扩散模型的任务在现实各个场景的应用中都取得了不错的进展。如在图像生成领域中，最具影响力的研究成果是根据提示词进行不同样式的图像生成，根据所给图像生成类似图像或者结合提示词和图像掩膜进行图像修复和重绘等。图像重绘主要是在图像修复缺失部分的基础上，对选定的图像局部根据输入的特征信息重绘出用户想得到的结果。
2、随着生活质量的提高，越来越多的人们不仅对自己的外貌比较注重，而且对自己的身材管理也比较在意。有些人坚持锻炼拥有强壮的腹肌，而且能够通过拍成照片的方式展示给别人看。但一些往往自身没经过锻炼身材本来就偏胖，或者锻炼程度不够人常常希望自己也能够在照片上展示好看的腹肌。
3、对于这方面的需求，可通过局部图像重绘实现，但现有局部图像重绘技术存在如下三大难点：(1)如何准确的保证局部重绘出用户所需效果；(2)如何保证重新绘制的图像画面与不需要重绘的区域连接处保持连续，使整幅图看起来协调自然；(3)如何保证生成图像的清晰度。
4、鉴于此，本申请提出了一种基于扩散模型的人体腹肌图像生成方法、系统、设备及存储介质，能够稳定地实现人体图像腹肌的生成。
技术实现思路
1、为了解决现有技术难以准确保证局部重绘出用户所需效果、难以保证生成图清晰度等问题，本申请提供一种基于扩散模型的人体腹肌图像生成方法、系统、设备及存储介质，以解决上述技术缺陷问题。
2、根据本申请的一个方面提出了一种基于扩散模型的人体腹肌图像生成方法，该方法包括以下内容：
3、该方法基于人体腹肌图像生成模型实现，其中人体腹肌图像生成模型包括第一编码器、unet调节网络和内容调制模块，该方法包括以下步骤：
4、s1、对输入图像进行人体组成分类引导，分割出人体躯干掩膜区域，获得人体躯干掩膜图；
5、s2、基于输入图像去除人体躯干掩膜区域，获得第一图像，通过第一编码器分别对输入图像和第一图像进行下采样编码，获得潜码l和潜码ml；
6、s3、对人体躯干掩膜图进行下采样，获得采样图像；
7、s4、将采样图像、潜码l以及潜码ml拼接后，与词编码一起输入至unet调节网络，并且结合内容调制模块进行解码操作，最终生成人体腹肌图像。
8、通过上述技术方案，为了保证局部重绘出所需效果，本申请加入了一个类别引导分割模型分支用来分割图像重绘的局部区域，以进行较精准的控制，尽量避免对非重绘区域产生干扰。同时，为了让图像重绘的局部区域自然的过渡到整体图像，提出了内容调制模块用以控制生成图像内容之间的连续性。同时将整个输入图像和重绘区域进行去除后的第一图像进行输入，这样有利于在交叉注意力模块的限制交叉注意层的已知区域的文本注意的同时生成连续的重绘内容。保证重绘区域的清晰度，可以通过具体的正向和反向提示词加以改善。
9、优选的，步骤s1具体包括以下子步骤：
10、s11、输入图像通过resnet多级别的卷积块进行下采样，由浅层到深层生成多个不同分辨率级别的特征层；
11、s12、多个不同分辨率级别的特征层分别进行sigmoid多分类概率输出，以及与相对应的标签进行类别损失计算，生成人体各组成部分所在位置权重，其中人体各组成部分所在位置权重包括水平位置的权重和垂直位置的权重；
12、s13、将水平位置的权重和垂直位置的权重进行矩阵相加后，再与步骤s11获得的特征层进行矩阵相乘，获得权重特征图；
13、s14、将权重特征图上采样后与浅层特征进行权重分配，引导浅层特征正确区分人体组成，并最终和边缘检测的特征拼接在一起经过卷积模块输出最终分割图，再基于分割图获得人体躯干掩膜区域。
14、通过上述技术方案，本申请能够实现快速分割出人体躯干掩膜区域，获得人体躯干掩膜图。应当理解的是，分割模块为了精度，也可以牺牲时间，用画笔在输入图像上交互式的画出掩膜mask区域。
15、优选的，在步骤s4中，内容调制模块包括：
16、将第一图像输入至第一编码器中，获得多级别的特征层，多级别的特征层经过卷积层生成两个部分，一个部分与对应的unet网络结构的特征层相乘，另一个部分作为偏移特征与相乘后的结果相加，具体表达式为：
17、
18、
19、
20、式中，是第一编码器下采样生成的多级别的特征层，convalayer是卷积层结构，scale和shift是经过convlayer生成的调制特征，是扩散模型中unet调节网络的多层级输出特征，fm是经过调制后的输出特征。
21、通过上述技术方案，能够进行sft(有监督微调)调制，约束生成的整个图像非重绘区域不变，重绘区域过渡自然。
22、优选的，该方法还包括以下步骤：
23、使用人体数据集进行人体分割训练，获得分割模型，通过分割模型分割出人体躯干掩膜区域，获得人体躯干掩膜图；
24、收集不同风格样式的人体腹肌图作为训练集，冻结人体腹肌图像生成模型的模块权重，基于训练集联合lora模块进行离线训练；
25、继续冻结人体腹肌图像生成模型的模块权重，训练内容调制模块，并且构建重绘区域的损失函数和非重绘区域的损失函数。
26、进一步优选的，将解码出来的腹肌区域进行roi分配成固定特征大小，同时将lora模块离线生成的不同腹肌风格样本划分出腹肌区域，作为监督特征一起输入vgg网络进行特征层次的监督约束，重绘区域的损失函数的表达式为：
27、
28、式中，为lora模块离线生成roi后经过vgg输出的不同尺度的特征层，为解码输出roi后经过vgg输出的不同尺度的特征层，lf为重绘区域的损失函数。
29、进一步优选的，将第一图像输入至unet调节网络中，输出预测噪声，将人体躯干掩膜图中的非掩膜区域与预测噪声的相乘值作为目标，两者进行均方差约束，非重绘区域的损失函数表达式为：
30、
31、其中，p为第一图像经过unet调节网络的输出的预测噪声，t为人体躯干掩膜图中的非掩膜区域与预测噪声相乘的的值，mse为均方差。
32、通过上述技术方案，本申请通过两个辅助损失函数，进一步控制生成图像内容之间的连续性。
33、优选的，在步骤s3中，将人体躯干掩膜图进行下采样到与潜码l的尺寸大小一样，获得采样图像；人体腹肌图像生成模型还包括第二编码器，步骤s4还包括：将提示词输入至第二编码器中，获得词编码。
34、第二方面，本申请本文档来自技高网...
【技术保护点】
1.一种基于扩散模型的人体腹肌图像生成方法，其特征在于，所述方法基于人体腹肌图像生成模型实现，其中所述人体腹肌图像生成模型包括第一编码器、Unet调节网络和内容调制模块，所述方法包括以下步骤：
2.根据权利要求1所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，步骤S1具体包括以下子步骤：
3.根据权利要求1所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，在步骤S4中，所述内容调制模块包括：
4.根据权利要求1所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，还包括以下步骤：
5.根据权利要求4所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，将解码出来的腹肌区域进行ROI分配成固定特征大小，同时将所述Lora模块离线生成的不同腹肌风格样本划分出腹肌区域，作为监督特征一起输入VGG网络进行特征层次的监督约束，所述重绘区域的损失函数的表达式为：
6.根据权利要求4所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，将所述第一图像输入至Unet调节网络中，输出预测噪声，将所述人体躯干掩膜图中的非掩膜区域与
7.根据权利要求1所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，在步骤S3中，将所述所述人体躯干掩膜图进行下采样到与所述潜码L的尺寸大小一样，获得采样图像；所述人体腹肌图像生成模型还包括第二编码器，步骤S4还包括：将提示词输入至第二编码器中，获得词编码。
8.一种基于扩散模型的人体腹肌图像生成系统，其特征在于，所述系统包括：
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至7中任意一项所述的基于扩散模型的人体腹肌图像生成方法。
10.一种计算机可读存储介质，所述介质中存储有计算机程序，在所述计算机程序被处理器执行时，实施如权利要求1至7中任意一项所述的基于扩散模型的人体腹肌图像生成方法。
...【技术特征摘要】
1.一种基于扩散模型的人体腹肌图像生成方法，其特征在于，所述方法基于人体腹肌图像生成模型实现，其中所述人体腹肌图像生成模型包括第一编码器、unet调节网络和内容调制模块，所述方法包括以下步骤：
2.根据权利要求1所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，步骤s1具体包括以下子步骤：
3.根据权利要求1所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，在步骤s4中，所述内容调制模块包括：
4.根据权利要求1所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，还包括以下步骤：
5.根据权利要求4所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，将解码出来的腹肌区域进行roi分配成固定特征大小，同时将所述lora模块离线生成的不同腹肌风格样本划分出腹肌区域，作为监督特征一起输入vgg网络进行特征层次的监督约束，所述重绘区域的损失函数的表达式为：
6.根据权利要求4所述的基于扩散模型的人体腹肌图像生成方法，其特征在于，将所...
【专利技术属性】
技术研发人员：叶志杨，罗铖，刘洛麒，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。