【技术实现步骤摘要】
本公开涉及图像处理，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
1、随着aigc(artificial intelligence generated content，生成式人工智能)的快速发展，文本生成图像的ai(artificial intelligence，人工智能)产品越来越多。
2、目前主流的文生图产品生成的包含人脸的图片，往往在人脸区域会出现模糊、畸变等问题，导致生成图片的人脸的质量较差；并且，用户对图片中的人脸效果比较敏感。因此，提高文生图模型图片中的人脸质量至关重要。
技术实现思路
1、为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、电子设备及存储介质。本公开的技术方案如下：
2、根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：
3、将文本输入文生图模型，得到待修复图像，所述待修复图像包括人脸区域图像；
4、对所述待修复图像进行裁剪，得到所述人脸区域图像；
5、基于所述人脸区域图像和所述文本，在人脸图像库中检索得到参考图像；其中，所述参考图像的图像质量高于所述人脸区域图像的图像质量，且所述参考图像的特征向量与文本-视觉特征向量的相似度满足相似度条件，所述文本-视觉特征向量是：所述人脸区域图像的视觉特征向量和所述文本的文本特征向量拼接得到的特征向量；
6、将所述参考图像、所述文本和所述人脸区域图像输入所述文生图模型，得到目标人脸图像；其中，所述目标人
7、以所述目标人脸图像覆盖所述待修复图像中的所述人脸区域图像，得到修复后图像。
8、可选地，所述将所述参考图像、所述文本和所述人脸区域图像输入所述文生图模型，得到目标人脸图像，包括：
9、获取所述参考图像的特征向量、所述文本的文本特征向量和所述人脸区域图像的视觉特征向量；
10、将所述参考图像的特征向量、所述文本特征向量和所述视觉特征向量进行拼接，得到目标特征向量；
11、将所述目标特征向量输入所述文生图模型，得到所述目标人脸图像的特征向量；
12、对所述目标人脸图像的特征向量进行解码，得到所述目标人脸图像。
13、可选地，所述将所述参考图像的特征向量、所述文本特征向量和所述视觉特征向量进行拼接，得到目标特征向量，包括：
14、获取所述参考图像的特征向量的第一权重、所述文本特征向量的第二权重和所述视觉特征向量的第三权重；其中，所述第三权重大于所述第一权重；
15、根据所述第一权重对所述参考图像的特征向量进行加权处理，得到第一特征向量；
16、根据所述第二权重对所述文本特征向量进行加权处理，得到第二特征向量；
17、根据所述第三权重对所述视觉特征向量进行加权处理，得到第三特征向量；
18、将所述第一特征向量、所述第二特征向量和所述第三特征向量进行拼接，得到所述目标特征向量。
19、可选地，所述基于所述人脸区域图像和所述文本，在人脸图像库中检索得到参考图像，包括：
20、获取所述人脸区域图像的视觉特征向量和所述文本的文本特征向量；
21、将所述视觉特征向量和所述文本特征向量进行拼接，得到所述文本-视觉特征向量；
22、基于所述文本-视觉特征向量在所述人脸图像库中进行检索，得到所述参考图像。
23、可选地，所述以所述目标人脸图像覆盖所述待修复图像中的所述人脸区域图像，得到修复后图像，包括：
24、获取所述待修复图像包含的所述人脸区域图像所在的目标图像区域；
25、对所述目标人脸图像进行边缘模糊羽化，得到待回贴人脸图像；
26、以所述待回贴人脸图像覆盖所述目标图像区域，得到所述修复后图像。
27、可选地，所述将文本输入文生图模型，得到待修复图像，包括：
28、将所述文本输入所述文生图模型，得到候选图像；
29、检测所述候选图像是否包括人脸区域图像，在所述候选图像包括人脸区域图像的情况下，将所述候选图像确定为所述待修复图像。
30、根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：
31、输入模块，被配置为将文本输入文生图模型，得到待修复图像，所述待修复图像包括人脸区域图像；
32、裁剪模块，被配置为对所述待修复图像进行裁剪，得到所述人脸区域图像；
33、检索模块，被配置为基于所述人脸区域图像和所述文本，在人脸图像库中检索得到参考图像；其中，所述参考图像的图像质量高于所述人脸区域图像的图像质量，且所述参考图像的特征向量与文本-视觉特征向量的相似度满足相似度条件，所述文本-视觉特征向量是：所述人脸区域图像的视觉特征向量和所述文本的文本特征向量拼接得到的特征向量；
34、修复模块，被配置为将所述参考图像、所述文本和所述人脸区域图像输入所述文生图模型，得到目标人脸图像；其中，所述目标人脸图像的图像质量高于所述人脸区域图像的图像质量，且所述目标人脸图像保留所述人脸区域图像的属性；
35、覆盖模块，被配置为以所述目标人脸图像覆盖所述待修复图像中的所述人脸区域图像，得到修复后图像。
36、可选地，所述修复模块包括：
37、获取子模块，被配置为获取所述参考图像的特征向量、所述文本的文本特征向量和所述人脸区域图像的视觉特征向量；
38、拼接子模块，被配置为将所述参考图像的特征向量、所述文本特征向量和所述视觉特征向量进行拼接，得到目标特征向量；
39、输入子模块，被配置为将所述目标特征向量输入所述文生图模型，得到所述目标人脸图像的特征向量；
40、解码子模块，被配置为对所述目标人脸图像的特征向量进行解码，得到所述目标人脸图像。
41、根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像处理方法。
42、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像处理方法。
43、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法。
44、本公开的实施例提供的技术方案可以包括以下有益效果：
45、本公开实施例中，因为参考图像的特征向量与文本-视觉特征向量的相似度较高，因此，将参考图像输入文生图模型，文生图模型依据参考图像生成的目标人脸图像与人脸区域图像的图像内容差距较小；并且，同时将人脸区域图像输入文生图模型，可以本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述参考图像、所述文本和所述人脸区域图像输入所述文生图模型，得到目标人脸图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述参考图像的特征向量、所述文本特征向量和所述视觉特征向量进行拼接，得到目标特征向量，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述人脸区域图像和所述文本，在人脸图像库中检索得到参考图像，包括：
5.根据权利要求1所述的方法，其特征在于，所述以所述目标人脸图像覆盖所述待修复图像中的所述人脸区域图像，得到修复后图像，包括：
6.根据权利要求1所述的方法，其特征在于，所述将文本输入文生图模型，得到待修复图像，包括：
7.一种图像处理装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述修复模块包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备
...【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述参考图像、所述文本和所述人脸区域图像输入所述文生图模型，得到目标人脸图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述参考图像的特征向量、所述文本特征向量和所述视觉特征向量进行拼接，得到目标特征向量，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述人脸区域图像和所述文本，在人脸图像库中检索得到参考图像，包括：
5.根据权利要求1所述的方法，其特征在于，所述以...
【专利技术属性】
技术研发人员：王林青，李岩，邓锦灿，高婷婷，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。