图像处理及模型训练方法、装置、设备及存储介质制造方法及图纸

本申请提供一种图像处理及模型训练方法、装置、设备及存储介质，可应用于AI绘图、模型训练等各种领域。该方法包括：获取第一图像和提示词，提示词用于指示目标活体攻击类型；提取第一图像的图像特征信息和提示词的文本特征信息，确定目标参考特征信息，该目标参考特征信息用于表示目标活体攻击的图像特征，进而以提示词的文本特征信息和目标参考特征信息作为控制条件，通过图像生成模型对第一图像的图像特征信息进行处理，得到第一活体攻击图像。即本申请以目标参考特征信息和提示词作为控制条件，对第一图像进行处理，生成的第一活体攻击图像不仅包括提示词所描述的特征，且包括目标活体攻击的图像特征，进而提升了第一活体攻击图像的生成质量。

【技术实现步骤摘要】

本申请实施例涉及计算机，尤其涉及一种图像处理及模型训练方法、装置、设备及存储介质。

技术介绍

1、随着人工智能(artificial intelligence, ai)技术的快速发展，ai绘图应用而生。ai绘图包括文字生图和图生图两种应用模式。在模型训练过程中，可以通过ai绘图的方式，生成训练图像。例如，在活体检测模型训练过程中，活体攻击类型的庞杂和繁多，单靠人力来进行数据采集和标注无法满足实际业务需求，无法构建有效的负样本。此时，可以通过ai绘图的方式，生成指定的活体攻击类型对应的训练图像。

2、但是，目前在基于一张图生成另一张图时，生成的图像质量不理想，无法满足预期要求。

技术实现思路

1、本申请提供一种图像处理及模型训练方法、装置、设备及存储介质，可以提升图像的生成质量。

2、第一方面，本申请提供一种图像处理方法，包括：

3、获取第一图像和提示词，所述提示词用于指示目标活体攻击类型，所述第一图像是生物特征图像；

4、提取所述第一图像的图像特征信息和所述提示本文档来自技高网...

【技术保护点】

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定目标参考特征信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述N个候选参考特征的信息或所述第二活体攻击图像的活体攻击特征信息为图像纹理特征信息。

4.根据权利要求1所述的方法，其特征在于，所述图像生成模型包括去噪网络，所述以所述提示词的文本特征信息和所述目标参考特征信息作为控制条件，通过图像生成模型对所述第一图像的图像特征信息进行处理，得到对于所述生物特征图像的第一活体攻击图像，包括：

5.根据权利要求4所述的方法，其特征在于，所述以所述提...

【技术特征摘要】

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定目标参考特征信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述n个候选参考特征的信息或所述第二活体攻击图像的活体攻击特征信息为图像纹理特征信息。

4.根据权利要求1所述的方法，其特征在于，所述图像生成模型包括去噪网络，所述以所述提示词的文本特征信息和所述目标参考特征信息作为控制条件，通过图像生成模型对所述第一图像的图像特征信息进行处理，得到对于所述生物特征图像的第一活体攻击图像，包括：

5.根据权利要求4所述的方法，其特征在于，所述以所述提示词的文本特征信息和所述目标参考特征信息作为控制条件，通过所述去噪网络，对所述第一图像的第i次去噪特征信息进行去噪处理，得到第i次噪声预测值，包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述去噪网络的部分网络层输出的特征信息至少与所述提示词的文本特征信息进行融合，将所述去噪网络的部分网络层输出的特征信息至少与所述目标参考特征信息进行融合，得到所述第i次噪声预测值，包...

【专利技术属性】
技术研发人员：张克越，姚太平，丁守鸿，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：