人脸替换方法、装置及电子设备制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种人脸替换方法、装置及电子设备，通过确定目标帧图像中第一人物的头部区域，并将第二人物的三维头部模型渲染到去除了第一人物的头部区域的背景图像中，得到包括第二人物的头部区域、以及第一人物的躯干区域的第一图像，可以保证人物头部的完全替换，解决了现有技术中只替换脸部造成结果不真实的问题。另外，通过对目标帧图像中的第一人物进行表情跟踪，得到包括人脸混合模型和嘴唇模型的第一模型，再将第一模型渲染到第一图像中第二人物的头部区域，得到第二图像，避免了现有技术中“嘴中嘴”的渲染结果。

Face replacement method, device and electronic equipment

The present invention relates to the technical field of image processing, provides a face replacement method, device and electronic equipment, by determining the head area of the first targets of the image, and the 3D head model rendering second characters to the first character of the head region in addition to background images, including second characters, and the head region the trunk region of the first character of the first image, can guarantee to completely replace the head, solves the result not only replace face real problems. In addition, the first character in the target image face tracking, the first model including face mixture model and lips model, the first model rendered to the head region second characters in the first image, second images, avoids \mouth mouth\ rendering.

【技术实现步骤摘要】
人脸替换方法、装置及电子设备
本专利技术涉及图像处理
，具体而言，涉及一种人脸替换方法、装置及电子设备。
技术介绍
随着虚拟现实的发展，虚拟人脸技术(又称“换脸”)也得到了极大的发展，例如应用在电影角色替换方面。目前，虚拟人脸技术常用的一种实现方式是：首先，利用人脸检测技术获取目标帧与素材帧的人脸特征点，并制作不同表情的三维模型；然后，通过计算目标帧的人脸特征点与标准人脸的各特征点之间的相对偏移量，来控制各三维模型的变形程度，并进行混合；最后，把素材帧的人脸特征点融合到混合模型上，完成渲染。但是，由于人与人的头型、脸型有差别，故只替换演员的脸部会使结果不够真实。而且，人脸表情模型一般不包括嘴唇，当演员张嘴的实际程度和人脸检测API所获得的嘴部特征点分布不一致时，就可能出现“嘴中嘴”的渲染结果。
技术实现思路
本专利技术的目的在于提供一种人脸替换方法、装置及电子设备，用以改善上述问题。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术提供了一种人脸替换方法，所述方法包括：获取原始视频的目标帧图像，其中，目标帧图像为原始视频的任意一帧图像；在目标帧图像中，确定第一人物的头部区域；对目标帧图像进行背景修复，得到背景图像，其中，背景图像中去除了第一人物的头部区域；获取第二人物的三维头部模型，将三维头部模型渲染到背景图像中，得到第一图像，其中，第一图像包括第二人物的头部区域、以及第一人物的躯干区域；利用标准人脸模型，对目标帧图像中的第一人物进行表情跟踪，得到第一模型，其中，第一模型包括人脸混合模型和嘴唇模型；将第一模型渲染到第一图像中，得到第二图像。第二方面，本专利技术提供了一种人脸替换装置，所述装置包括目标帧图像获取模块、区域确定模块、背景修复模块、第一图像获得模块、表情跟踪模块及第二图像获得模块。其中，目标帧图像获取模块用于获取原始视频的目标帧图像，其中，目标帧图像为原始视频的任意一帧图像；区域确定模块用于在目标帧图像中，确定第一人物的头部区域；背景修复模块用于对目标帧图像进行背景修复，得到背景图像，其中，背景图像中去除了第一人物的头部区域；第一图像获得模块用于获取第二人物的三维头部模型，将三维头部模型渲染到背景图像中，得到第一图像，其中，第一图像包括第二人物的头部区域、以及第一人物的躯干区域；表情跟踪模块用于利用标准人脸模型，对目标帧图像中的第一人物进行表情跟踪，得到第一模型，其中，第一模型包括人脸混合模型和嘴唇模型；第二图像获得模块，用于将第一模型渲染到第一图像中，得到第二图像。第三方面，本专利技术提供了一种电子设备，所述电子设备包括存储器、处理器、以及人脸替换装置，所述人脸替换装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组。所述人脸替换装置包括目标帧图像获取模块、区域确定模块、背景修复模块、第一图像获得模块、表情跟踪模块及第二图像获得模块。其中，目标帧图像获取模块用于获取原始视频的目标帧图像，其中，目标帧图像为原始视频的任意一帧图像；区域确定模块用于在目标帧图像中，确定第一人物的头部区域；背景修复模块用于对目标帧图像进行背景修复，得到背景图像，其中，背景图像中去除了第一人物的头部区域；第一图像获得模块用于获取第二人物的三维头部模型，将三维头部模型渲染到背景图像中，得到第一图像，其中，第一图像包括第二人物的头部区域、以及第一人物的躯干区域；表情跟踪模块用于利用标准人脸模型，对目标帧图像中的第一人物进行表情跟踪，得到第一模型，其中，第一模型包括人脸混合模型和嘴唇模型；第二图像获得模块，用于将第一模型渲染到第一图像中，得到第二图像。相对现有技术，本专利技术具有以下有益效果：本专利技术提供的一种人脸替换方法、装置及电子设备，通过确定目标帧图像中第一人物的头部区域，并将第二人物的三维头部模型渲染到去除了第一人物的头部区域的背景图像中，得到包括第二人物的头部区域、以及第一人物的躯干区域的第一图像，可以保证人物头部的完全替换，解决了现有技术中只替换脸部造成结果不真实的问题。另外，通过对目标帧图像中的第一人物进行表情跟踪，得到包括人脸混合模型和嘴唇模型的第一模型，再将第一模型渲染到第一图像中第二人物的头部区域，得到第二图像，避免了现有技术中“嘴中嘴”的渲染结果。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的电子设备的方框示意图。图2示出了本专利技术实施例提供的人脸替换方法流程图。图3为图2示出的步骤S104的子步骤流程图。图4为图3示出的子步骤S1045的子步骤流程图。图5为图2示出的步骤S105的子步骤流程图。图6为图2示出的步骤S106的子步骤流程图。图7示出了本专利技术实施例提供的人脸替换装置的方框示意图。图8为图7示出的人脸替换装置中第一图像获得模块的方框示意图。图9为图8示出的第一图像获得模块中匹配单元的方框示意图。图10为图7示出的人脸替换装置中表情跟踪模块的方框示意图。图11为图7示出的人脸替换装置中第二图像获得模块的方框示意图。图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-显示屏；200-人脸替换装置；201-目标帧图像获取模块；202-区域确定模块；203-背景修复模块；204-第一图像获得模块；2041-模型获取单元；2042-空间姿态获取单元；2043-姿态调整单元；2044-渲染图像获得单元；2045-匹配单元；20451-第一特征点检测单元；20452-第二特征点检测单元；20453-仿射变换单元；20454-高斯平滑单元；205-表情跟踪模块；2051-变形参数获取单元；2052-混合模型获得单元；2053-嘴唇模型获得单元；206-第二图像获得模块；2061-第一渲染单元；2062-第二渲染单元。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。请参照图1，图1示出了本专利技术实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于智能手机、平板电脑、膝上型便携计算机、车载电脑、个人数字助理(personaldigitalass本文档来自技高网...

【技术保护点】
一种人脸替换方法，其特征在于，所述方法包括：获取原始视频的目标帧图像，其中，所述目标帧图像为所述原始视频的任意一帧图像；在所述目标帧图像中，确定第一人物的头部区域；对所述目标帧图像进行背景修复，得到背景图像，其中，所述背景图像中去除了所述第一人物的头部区域；获取第二人物的三维头部模型，将所述三维头部模型渲染到所述背景图像中，得到第一图像，其中，所述第一图像包括所述第二人物的头部区域、以及所述第一人物的躯干区域；利用标准人脸模型，对所述目标帧图像中的第一人物进行表情跟踪，得到第一模型，其中，所述第一模型包括人脸混合模型和嘴唇模型；将所述第一模型渲染到所述第一图像中，得到第二图像。

【技术特征摘要】
1.一种人脸替换方法，其特征在于，所述方法包括：获取原始视频的目标帧图像，其中，所述目标帧图像为所述原始视频的任意一帧图像；在所述目标帧图像中，确定第一人物的头部区域；对所述目标帧图像进行背景修复，得到背景图像，其中，所述背景图像中去除了所述第一人物的头部区域；获取第二人物的三维头部模型，将所述三维头部模型渲染到所述背景图像中，得到第一图像，其中，所述第一图像包括所述第二人物的头部区域、以及所述第一人物的躯干区域；利用标准人脸模型，对所述目标帧图像中的第一人物进行表情跟踪，得到第一模型，其中，所述第一模型包括人脸混合模型和嘴唇模型；将所述第一模型渲染到所述第一图像中，得到第二图像。2.如权利要求1所述的方法，其特征在于，获取第二人物的三维头部模型，将所述三维头部模型渲染到所述背景图像中，得到第一图像的步骤，包括：获取所述第二人物的三维头部模型；获取所述目标帧图像中第一人物头部的空间姿态；根据第一人物头部的空间姿态，对所述第二人物的三维头部模型进行姿态调整；将姿态调整后的三维头部模型渲染到所述背景图像中，得到渲染图像，其中，所述渲染图像的头部区域是所述第二人物的三维头部模型在所述背景图像中的投影；将所述渲染图像的头部区域与所述目标帧图像中第一人物的头部区域进行匹配，得到第一图像。3.如权利要求2所述的方法，其特征在于，将所述渲染图像的头部区域与所述目标帧图像中第一人物的头部区域进行匹配，得到第一图像的步骤，包括：检测第一特征点，其中，所述第一特征点为所述渲染图像的头部区域的特征点；检测第二特征点，其中，所述第二特征点为所述目标帧图像中第一人物的头部区域的特征点；将所述第一特征点与所述第二特征点进行仿射变换，从而将渲染图像的头部区域与所述目标帧图像中第一人物的头部区域对齐；根据所述目标帧图像的连续帧图像中第一人物的头部区域，对所述渲染图像的头部区域进行高斯平滑，得到第一图像。4.如权利要求1所述的方法，其特征在于，利用标准人脸模型，对所述目标帧图像中的第一人物进行表情跟踪，得到第一模型的步骤，包括：利用所述目标帧图像中的第一人物的人脸特征点与所述标准人脸模型的人脸特征点，获取每种表情对应的人脸表情模型的变形参数；根据所述变形参数，利用高斯-牛顿方法，得到人脸表情混合模型；利用所述目标帧图像中的第一人物的嘴部特征点与所述标准人脸模型的嘴部特征点，得到嘴唇模型，其中，所述第一模型包括人脸表情混合模型和嘴唇模型。5.如权利要求1所述的方法，其特征在于，将所述第一模型渲染到所述第一图像中第二人物的头部区域，得到第二图像的步骤，包括：将所述人脸表情混合模型渲染到所述第一图像中第二人物的头部区域，得到包含表情的第一图像；将所述嘴唇模型渲染到包含表情的第一图像的嘴部区域，并进行泊松融合，得到所述第二图像。6.一种人脸替换装置，其特征在于，所述装置包括：目标帧图像获取模块，用于获取原始视频的目标帧图像，其中，所述目标帧图像为所述原始视频的任意一帧图像；区域确定模块，用于在所述目标帧图像中，确定第一人物的头部区域；背景修复模块，用于对所述目标帧图像进行背景修复，得到背景图像，其中，所述背景图像中去除了所述第一人物的头部区域；第一图像获得模块，用于获...

【专利技术属性】
技术研发人员：马兆远，侯沛宏，郝君，梁冬雪，
申请(专利权)人：司马大大北京智能系统有限公司，
类型：发明
国别省市：北京,11