一种基于模型训练、图文生图技术的人物风格图像生成方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于模型训练、图文生图技术的人物风格图像生成方法、系统、设备及介质，包括：训练优化风格底模，扩大风格底模训练样本，提高风格底模泛化能力，得到优化后的目标风格基础模型；获取用户的人物形象数据，对人物形象数据进行预处理，提取用户的人脸特征信息，通过用户反馈机制进行人脸特征信息校对，获得最终的人物形象训练数据；将人物形象训练数据输入至Stable Diffusion模型，训练得到人物特有LoRA模型；设置人物风格图像生成信息，并基于所述人物风格图像生成信息配置相应的人物风格图像生成参数；基于所述目标风格基础模型、人物特有LoRA模型及人物风格图像生成参数进行文生图及图生图处理，最终获得目标人物风格图像。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体涉及一种基于模型训练、图文生图技术的人物风格图像生成方法、系统、设备及介质。

技术介绍

1、目前，在对用户人像图和风格训练图的现有技术中，已公开方案如：运用参数自适应预算分配的lora训练策略，在有限训练资源下加强网络学习能力，为虚拟写真人像相似度和真实度提供基础；引入人脸特征信息，以条件特征形式输入扩散模型辅助人像生成，提升人物相似度；风格人像生成分层可控，解耦id与风格，基于风格lora模型进一步分解风格的细粒度特征，实现人像写真风格的可控。但这些现有技术方案还存在以下问题：

2、现有技术方案人物图像合成结果真实性不足。在提取人脸特征信息时依赖于用户上传图像的质量和图像编码器的准确性，也有很多方案提出首先要对人物图像进行调优或优化处理以提升人脸特征信息的准确性及人物图像合成结果的真实性，但是这些处理都会导致人物图像合成后效果与真实效果存在一定的差距，例如普遍存在的合成后图像中人物年龄偏小/年轻、合成后图像人物妆感重的问题。现有技术方案在合成人物风格图像时人物姿态存在随机性。由于目前人物写真合成中的人物姿态多基于提本文档来自技高网...

【技术保护点】

1.一种基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的获取用户的人物形象数据，具体为：利用AIGC模型工具生成不同人物图像数据，人物图像数据的人物形象涵盖各年龄段、各性别样本，充分学习人脸特征及表情，结合多尺度特征融合技术和注意力机制，强化对人物图像数据中人脸的细节特征和重要特征的学习。

3.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的对人物形象数据进行预处理，包括非真实图像过滤、人脸关键点检测、图...

【技术特征摘要】

1.一种基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的获取用户的人物形象数据，具体为：利用aigc模型工具生成不同人物图像数据，人物图像数据的人物形象涵盖各年龄段、各性别样本，充分学习人脸特征及表情，结合多尺度特征融合技术和注意力机制，强化对人物图像数据中人脸的细节特征和重要特征的学习。

3.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的对人物形象数据进行预处理，包括非真实图像过滤、人脸关键点检测、图像人脸旋转校正和图像美颜风格去除处理；

4.根据权利要求3所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的对人物形象数据进行预处理，具体过程如下：

5.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：若用户提供的是图像数据，图像预处理后直接提取图像中的人脸特征信息；若用户提供的是多帧图像或动态视频，首先将多帧图像或动态视频转化为...

【专利技术属性】
技术研发人员：汪琪，单国栋，陈佳仲，陈辉，薄萌萌，
申请(专利权)人：江苏号百科技有限公司，
类型：发明
国别省市：