图像合成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:27849157 阅读:22 留言:0更新日期:2021-03-30 13:08
本发明专利技术提供一种图像合成方法、装置、电子设备及存储介质,该方法包括:获取人脸模型和标准头部模型,将人脸模型与标准头部模型进行对齐变换;基于人脸模型,对标准头部模型进行形变,得到第一形变模型;基于第一形变模型,对人脸模型进行形变,得到第二形变模型;将第一形变模型和第二形变模型进行边界缝合处理,得到合成后的三维模型。本发明专利技术提供的图像合成方法、装置、电子设备及存储介质,通过在人脸模型和标准头部模型之间的各种变换及各种变形,使得人脸模型在标准头部模型上的缝合对接,得到合成后的三维模型,实现应用于不同虚拟场景的展示需求。展示需求。展示需求。

【技术实现步骤摘要】
图像合成方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像处理
,尤其涉及一种图像合成方法、装置、电子设备及存储介质。

技术介绍

[0002]近年来,随着相关技术的发展,换脸技术在许多领域得到了广泛应用。比如,对于影视行业,将角色A的脸替换到角色B上,可看到角色A在剧情中的表演情况;将角色A的脸替换到具有某种风格的角色B的照片上,可看到具有相应风格的角色A的呈现效果。
[0003]现有的换脸方式有以下几种,基于传统图像处理算法方案,首先进行换脸图像和被换脸图像的人脸分割、人脸关键点对齐,接着通过2D网格形变算法,将换脸图像的人脸区域形变至被换脸图像对应的人脸区域,最后进行边缘纹理融合,实现换脸,但主要针对二维场景(如图片或视频)进行,没法用于三维虚拟场景中。

技术实现思路

[0004]针对现有技术存在的问题,本专利技术提供一种图像合成方法、装置、电子设备及存储介质。
[0005]本专利技术提供一种图像合成方法,包括:
[0006]获取人脸模型和标准头部模型,将人脸模型与标准头部模型进行对齐变换;
[0007]基于人脸模型,对标准头部模型进行形变,得到第一形变模型;
[0008]基于第一形变模型,对人脸模型进行形变,得到第二形变模型;
[0009]将第一形变模型和第二形变模型进行边界缝合处理,得到合成后的三维模型。
[0010]根据本专利技术提供的一种图像合成方法,所述将人脸模型与标准头部模型进行对齐变换,包括:
[0011]基于标准头部模型,对人脸模型进行旋转变换;
[0012]确定人脸模型与标准头部模型之间的缩放因子,根据缩放因子对人脸模型进行缩放变换;
[0013]确定人脸模型与标准头部模型之间的平移向量,根据平移向量对人脸模型进行平移变换。
[0014]根据本专利技术提供的一种图像合成方法,所述确定人脸模型与标准头部模型之间的缩放因子,根据缩放因子对人脸模型进行缩放变换,包括:
[0015]获取标准头部模型中位于脸部区域中的两个第一位置点,获得两个位置点之间的第一特征距离;
[0016]获取人脸模型中的两个第二位置点,获得两个第二位置点之间的第二特征距离;
[0017]根据第一特征距离和第二特征距离确定缩放因子,根据缩放因子对人脸模型进行缩放变换;
[0018]其中,第一位置点与第二位置点以脸部五官为基准确定。
[0019]根据本专利技术提供的一种图像合成方法,所述确定人脸模型与标准头部模型之间的平移向量,根据平移向量对人脸模型进行平移变换,包括:
[0020]获取标准头部模型中位于脸部区域中的第三位置点,以及获取人脸模型中的第四位置点;
[0021]获得第三位置点与第四位置点之间的平移向量,根据平移向量对人脸模型进行平移变换。
[0022]其中,第三位置点与第四位置点以脸部五官为基准确定。
[0023]根据本专利技术提供的一种图像合成方法,所述基于人脸模型,对标准头部模型进行形变,得到第一形变模型,包括:
[0024]基于人脸模型的脸占比,获得具有脸部切割区域的头部模型;
[0025]将脸部切割区域的边缘点集合形成第一移动点集;
[0026]将人脸模型的边缘点集合形成边缘点集,根据第一移动点集和边缘点集得到第一目标点集;
[0027]将具有脸部切割区域的头部模型上靠近脖颈的区域上的位置点集合形成第一固定点集;
[0028]根据第一移动点集、第一目标点集和第一固定点集的坐标信息采用网格变形算法对具有脸部切割区域的头部模型进行网格变形,得到第一形变模型。
[0029]根据本专利技术提供的一种图像合成方法,所述基于第一形变模型,对人脸模型进行形变,得到第二形变模型,包括:
[0030]将人脸模型的边缘点集合形成第二移动点集,以及将第一形变模型中的脸部切割区域的边缘线集合形成边缘线集;
[0031]根据第二移动点集和边缘线集得到第二目标点集;
[0032]将人脸模型中以脸部五官为基准区域,集合基准区域上的位置点形成第二固定点集;
[0033]根据第二移动点集、第二目标点集和第二固定点集的坐标信息采用网格变形算法对人脸模型进行网格变形,得到第二形变模型。
[0034]根据本专利技术提供的一种图像合成方法,所述将第一形变模型和第二形变模型进行边界缝合处理,得到合成后的三维模型,包括:
[0035]根据第一形变模型中的脸部切割区域的边缘线得到边缘网格集;
[0036]根据第二移动点集确定对应于每个边缘网格的子点集;
[0037]根据边缘网格中的非边缘点与子点集得到新的边缘网格集;
[0038]根据新的边缘网格集进行边界缝合处理,得到合成后的三维模型。
[0039]根据本专利技术提供的一种图像合成方法,在获得三维模型之后,还包括:
[0040]对三维模型的缝合的边界进行纹理融合和渲染处理,得到适合于不同角度转换的三维模型。
[0041]本专利技术还提供一种图像合成装置,包括:
[0042]变换模块,用于获取人脸模型和标准头部模型,将人脸模型与标准头部模型进行对齐变换;
[0043]第一形变模块,用于基于人脸模型,对标准头部模型进行形变,得到第一形变模
型;
[0044]第二形变模块,用于基于第一形变模型,对人脸模型进行形变,得到第二形变模型;
[0045]合成模块,用于将第一形变模型和第二形变模型进行边界缝合处理,得到合成后的三维模型。
[0046]本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述图像合成方法的步骤。
[0047]本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述图像合成方法的步骤。
[0048]本专利技术提供的图像合成方法、装置、电子设备及存储介质,通过在人脸模型和标准头部模型之间的各种变换及各种变形,使得人脸模型在标准头部模型上的缝合对接,得到合成后的三维模型,实现应用于不同虚拟场景的展示需求。
附图说明
[0049]为了更清楚地说明本专利技术或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0050]图1是本专利技术提供的图像合成方法的流程示意图;
[0051]图2是本专利技术提供的图像合成装置的结构示意图;
[0052]图3是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0053]为使本专利技术的目的、技术方案和优点更加清楚,下面将结合本专利技术中的附图,对本专利技术中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像合成方法,其特征在于,包括:获取人脸模型和标准头部模型,将人脸模型与标准头部模型进行对齐变换;基于人脸模型,对标准头部模型进行形变,得到第一形变模型;基于第一形变模型,对人脸模型进行形变,得到第二形变模型;将第一形变模型和第二形变模型进行边界缝合处理,得到合成后的三维模型。2.根据权利要求1所述的图像合成方法,其特征在于,所述将人脸模型与标准头部模型进行对齐变换,包括:基于标准头部模型,对人脸模型进行旋转变换;确定人脸模型与标准头部模型之间的缩放因子,根据缩放因子对人脸模型进行缩放变换;确定人脸模型与标准头部模型之间的平移向量,根据平移向量对人脸模型进行平移变换。3.根据权利要求2所述的图像合成方法,其特征在于,所述确定人脸模型与标准头部模型之间的缩放因子,根据缩放因子对人脸模型进行缩放变换,包括:获取标准头部模型中位于脸部区域中的两个第一位置点,获得两个位置点之间的第一特征距离;获取人脸模型中的两个第二位置点,获得两个第二位置点之间的第二特征距离;根据第一特征距离和第二特征距离确定缩放因子,根据缩放因子对人脸模型进行缩放变换;其中,第一位置点与第二位置点以脸部五官为基准确定。4.根据权利要求2所述的图像合成方法,其特征在于,所述确定人脸模型与标准头部模型之间的平移向量,根据平移向量对人脸模型进行平移变换,包括:获取标准头部模型中位于脸部区域中的第三位置点,以及获取人脸模型中的第四位置点;获得第三位置点与第四位置点之间的平移向量,根据平移向量对人脸模型进行平移变换。其中,第三位置点与第四位置点以脸部五官为基准确定。5.根据权利要求1所述的图像合成方法,其特征在于,所述基于人脸模型,对标准头部模型进行形变,得到第一形变模型,包括:基于人脸模型的脸占比,获得具有脸部切割区域的头部模型;将脸部切割区域的边缘点集合形成第一移动点集;将人脸模型的边缘点集合形成边缘点集,根据第一移动点集和边缘点集得到第一目标点集;将具有脸部切割区域的头部模型上靠近脖颈的区域上的位置点集合形成第一固定点集;根据第一移动点集、第一目标点集和第...

【专利技术属性】
技术研发人员:张宏龙郭旭峰吴闯
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1