【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种图像处理方法及装置及相关产品。
技术介绍
1、通过目前的图像处理技术可为人脸图像中的人脸生成具有特定图像风格的目标图像，由此可增添图像的趣味性、娱乐性。然而目标图像中的人物，相较于人脸图像中的人物存在失真。
技术实现思路
1、本申请提供一种图像处理方法及装置及相关产品，以减小生成的目标图像中的人物相较于人脸图像中的人物的失真。其中，相关产品包括图像处理装置、电子设备、计算机可读存储介质及计算机程序产品
2、第一方面，提供了一种图像处理方法，所述方法包括：
3、获取第一人脸图像和目标文本，所述目标文本为描述图像风格的文本；
4、提取所述第一人脸图像的人脸特征；
5、获取人脸姿态特征，所述人脸姿态特征携带所述第一人脸图像中的人物的人脸姿态信息；
6、将所述人脸姿态特征与所述人脸特征融合，得到所述第一人脸图像中的人脸的身份特征；
7、对所述目标文本进行特征提取处理，得到第一文本特征；
8、利用所述第一文本特征和所述身份特征生成目标图像，所述目标图像中的人物的身份信息与所述身份特征所携带的信息匹配，所述目标图像的图像风格为所述目标文本所描述的图像风格。
9、结合本申请任一实施方式，所述对所述目标文本进行特征提取处理，得到第一文本特征，包括：
10、利用第一模型对所述目标文本进行特征提取处理，得到所述第一文本特征，所述第一模型为用于提取文本的特征的模型；
11、所述利用所述第一文本特征和所述身份特征生成目标图像，包括：
12、利用第二模型对所述第一文本特征、所述身份特征和所述人脸特征进行处理，生成所述目标图像，所述第二模型为用于生成图像的模型；
13、所述第一模型与所述第二模型为利用训练数据训练得到的，所述训练数据包括训练文本和训练图像，所述训练文本为描述图像风格的文本，所述训练图像的图像风格与所述训练文本所描述的图像风格相同，所述训练图像用于监督所述第二模型基于第二文本特征生成的图像，所述第二文本特征是所述第一模型对所述训练文本进行特征提取处理得到的。
14、结合本申请任一实施方式，所述训练文本所描述的图像风格与所述目标文本所描述的图像风格匹配。
15、结合本申请任一实施方式，所述利用第二模型对所述第一文本特征、所述身份特征和所述人脸特征进行处理，生成所述目标图像，包括：
16、利用所述第二模型对所述第一文本特征和所述人脸特征进行解码处理，得到第一中间特征；
17、对所述身份特征进行特征提取处理，得到第二中间特征，所述第二中间特征的尺度与所述第一中间特征的尺度相同；
18、对所述第一中间特征与所述第二中间特征进行融合，得到第三中间特征；
19、利用所述第二模型对所述第三中间特征进行解码，得到所述目标图像。
20、结合本申请任一实施方式，所述对所述第一中间特征与所述第二中间特征进行融合，得到第三中间特征，包括：
21、获取所述第一中间特征的第一校正系数和所述第二中间特征的第二校正系数，所述第一校正系数、所述第二校正系数与所述目标匹配度呈正相关，所述第一校正系数与所述第二校正系数均为小于或等于1的非负数，所述目标匹配度为所述目标图像中的人物的身份信息与所述第一人脸图像中的人物的身份信息的匹配度；
22、利用所述第一校正系数对所述第一中间特征进行校正，得到第四中间特征；
23、利用所述第二校正系数对所述第二中间特征进行校正，得到第五中间特征；
24、对所述第四中间特征与所述第五中间特征进行融合，得到所述第三中间特征。
25、结合本申请任一实施方式，所述对所述第四中间特征与所述第五中间特征进行融合，得到所述第三中间特征，包括：
26、基于所述第四中间特征中的第一属性特征和所述目标文本所描述的图像风格，确定所述第一属性特征的第一权重，所述第一属性特征携带第一人脸属性的特征信息；
27、基于所述第四中间特征中的第二属性特征和所述目标文本所描述的图像风格，确定所述第二属性特征的第二权重，所述第二属性特征携带第二人脸属性的特征信息，所述第一人脸属性与所述第二人脸属性为不同的人脸属性；
28、基于所述第一权重和所述第二权重，对所述第四中间特征中的所述第一属性特征和所述第二属性特征进行校正，得到第六中间特征；
29、对所述第五中间特征与所述第六中间特征进行融合，得到所述第三中间特征。
30、结合本申请任一实施方式，所述获取人脸姿态特征，包括：
31、从所述第一人脸图像中提取出预设数量的人脸关键点的特征，得到所述人脸姿态特征。
32、结合本申请任一实施方式，在所述从所述第一人脸图像中提取出预设数量的人脸关键点的特征，得到所述人脸姿态特征之前，所述方法还包括：
33、获取第二人脸图像，所述第二人脸图像与所述第一人脸图像为不同的图像；从所述第二人脸图像中提取出视角特征，所述视角特征包括所述第二人脸图像中的人脸的拍摄视角的信息；
34、所述从所述第一人脸图像中提取出预设数量的人脸关键点的特征，得到所述人脸姿态特征，包括：
35、从所述第一人脸图像中提取出预设数量的人脸关键点的特征，得到人脸关键点特征；基于所述人脸关键点特征与所述视角特征，得到所述人脸姿态特征。
36、结合本申请任一实施方式，所述从所述第一人脸图像中提取出预设数量的人脸关键点的特征，得到人脸关键点特征，包括：
37、从所述第一人脸图像中提取出预设数量的五官关键点的特征，得到所述人脸关键点特征，所述五官关键点为人脸关键点中用于表征五官的关键点。
38、结合本申请任一实施方式，在所述基于所述人脸关键点特征与所述视角特征，得到所述人脸姿态特征之前，所述方法还包括：
39、获取第三人脸图像，所述第三人脸图像与所述第一人脸图像、所述第二人脸图像均不同；
40、提取出所述第三人脸图像中的人脸的表情的特征，得到表情特征；
41、所述基于所述人脸关键点特征与所述视角特征，得到所述人脸姿态特征，包括：
42、基于所述人脸关键点特征、所述视角特征和所述表情特征，得到所述人脸姿态特征。
43、第二方面，提供了一种图像处理装置，所述图像处理装置包括：
44、获取单元，用于获取第一人脸图像和目标文本，所述目标文本为描述图像风格的文本；
45、提取单元，用于提取所述第一人脸图像的人脸特征；
46、所述获取单元，用于获取人脸姿态特征，所述人脸姿态特征携带所述第一人脸图像中的人物的人脸姿态信息；
47、融合单元，用于将所述人脸姿态特征与所述人脸特征融合，得到所述第一人脸图像中的人脸的身份特征；
48、所述提取单元，用于对所述目本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述目标文本进行特征提取处理，得到第一文本特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述训练文本所描述的图像风格与所述目标文本所描述的图像风格匹配。
4.根据权利要求2或3所述的方法，其特征在于，所述利用第二模型对所述第一文本特征、所述身份特征和所述人脸特征进行处理，生成所述目标图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述第一中间特征与所述第二中间特征进行融合，得到第三中间特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述第四中间特征与所述第五中间特征进行融合，得到所述第三中间特征，包括：
7.根据权利要求1至3中任意一项所述的方法，其特征在于，所述获取人脸姿态特征，包括：
8.根据权利要求7所述的方法，其特征在于，在所述从所述第一人脸图像中提取出预设数量的人脸关键点的特征，得到所述人脸姿态特征之前，所述方法还包括：
9.根据权利要求8所
10.根据权利要求8所述的方法，其特征在于，在所述基于所述人脸关键点特征与所述视角特征，得到所述人脸姿态特征之前，所述方法还包括：
11.一种图像处理装置，其特征在于，所述图像处理装置包括：
12.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至10中任意一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至10中任意一项所述的方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或指令；在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行权利要求1至10中任意一项所述的方法。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述目标文本进行特征提取处理，得到第一文本特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述训练文本所描述的图像风格与所述目标文本所描述的图像风格匹配。
4.根据权利要求2或3所述的方法，其特征在于，所述利用第二模型对所述第一文本特征、所述身份特征和所述人脸特征进行处理，生成所述目标图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述第一中间特征与所述第二中间特征进行融合，得到第三中间特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述第四中间特征与所述第五中间特征进行融合，得到所述第三中间特征，包括：
7.根据权利要求1至3中任意一项所述的方法，其特征在于，所述获取人脸姿态特征，包括：
8.根据权利要求7所述的方法，其特征在于，在所述从所述第一人脸图像中提取出预设数量的人脸关键点的特征，得到所述人脸姿态特征之前，所述方法还包括：
9.根...
【专利技术属性】
技术研发人员：王奇勋，白须，王浩帆，秦泽奎，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。