图像处理方法和装置制造方法及图纸

本申请实施例公开了图像处理方法和装置。该方法的一具体实施方式包括：获取人脸视频模板，获取该人脸视频模板与至少一个人脸图像集的人脸相似度；输出各个该人脸图像集对应的人脸相似度的相关信息；获取指示该至少一个人脸图像集中的目标人脸图像集的用户选择信息，将该人脸视频模板的视频帧和该目标人脸图像集中的人脸图像输入深度学习模型进行训练；利用训练后的深度学习模型将该人脸视频模板中的人脸区域转换为合成人脸，得到并输出合成图视频帧。本申请实施例可以引导用户参照人脸相似度选取人脸图像集，让用户有更大几率选择人脸相似度较高的人脸图像集，从而加快训练速度。

Image processing method and device

The embodiment of the application discloses an image processing method and a device. An embodiment of the method includes: obtaining a face video template, obtaining the face similarity between the face video template and at least one face image set; outputting the relevant information of the face similarity corresponding to each face image set; acquiring the user selection information indicating the target face image set in the at least one face image set, and converting the video frame of the face video template And the input depth learning model of the face image in the target face image set is used for training; the trained depth learning model is used to convert the face area in the face video template into the synthetic face, and the video frame of the synthetic image is obtained and output. The embodiment of the application can guide the user to select a face image set by referring to the face similarity, so that the user has a greater chance to select a face image set with a higher face similarity, thus speeding up the training speed.

【技术实现步骤摘要】
图像处理方法和装置
本申请实施例涉及计算机
，具体涉及互联网
，尤其涉及图像处理方法和装置。
技术介绍
随着人脸检测(FaceDetection)技术的发展，越来越多的用户通过终端设备的各种应用使用人脸检测技术。通过检测人脸可以确定脸部的多个关键点，每个关键点都有其对应的特征。通过这些关键点，不同的人脸会呈现出不同的特征，利用人脸检测技术可以确定不同人的人脸所呈现的特征。
技术实现思路
本申请实施例提出了图像处理方法和装置。第一方面，本申请实施例提供了一种图像处理方法，包括：获取人脸视频模板，获取人脸视频模板与至少一个人脸图像集的人脸相似度，其中，人脸视频模板中的视频帧包含同一个人的人脸，每个人脸图像集中的人脸图像包含同一个人的人脸；输出各个人脸图像集对应的人脸相似度的相关信息；获取指示至少一个人脸图像集中的目标人脸图像集的用户选择信息，将人脸视频模板的视频帧和目标人脸图像集中的人脸图像输入深度学习模型进行训练，利用训练后的深度学习模型将人脸视频模板中的人脸区域转换为合成人脸，得到并输出合成图视频帧，其中，合成人脸是由目标人脸图像集所包含的人脸和人脸区域所合成的人脸，合成人脸与目标人脸图像集的人脸相似度大于合成人脸与人脸视频模板的人脸相似度。第二方面，本申请实施例提供了一种图像处理装置，包括：获取单元，被配置成获取人脸视频模板，获取人脸视频模板与至少一个人脸图像集的人脸相似度，其中，人脸视频模板中的视频帧包含同一个人的人脸，每个人脸图像集中的人脸图像包含同一个人的人脸；第一输出单元，被配置成输出各个人脸图像集对应的人脸相似度的相关信息；训练单元，被配置成获取指示至少一个人脸图像集中的目标人脸图像集的用户选择信息，将人脸视频模板的视频帧和目标人脸图像集中的人脸图像输入深度学习模型进行训练；合成单元，被配置成利用训练后的深度学习模型将人脸视频模板中的人脸区域转换为合成人脸，得到并输出合成图视频帧，其中，合成人脸是由目标人脸图像集所包含的人脸和人脸区域所合成的人脸，合成人脸与目标人脸图像集的人脸相似度大于合成人脸与人脸视频模板的人脸相似度。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如图像处理方法中任一实施例的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图像处理方法中任一实施例的方法。本申请实施例提供的图像处理方案，首先，获取人脸视频模板，获取人脸视频模板与至少一个人脸图像集的人脸相似度，其中，人脸视频模板中的视频帧包含同一个人的人脸，每个人脸图像集中的人脸图像包含同一个人的人脸。之后，输出各个人脸图像集对应的人脸相似度的相关信息。然后，获取指示至少一个人脸图像集中的目标人脸图像集的用户选择信息，将人脸视频模板的视频帧和目标人脸图像集中的人脸图像输入深度学习模型进行训练，利用训练后的深度学习模型将人脸视频模板中的人脸区域转换为合成人脸，得到合成图视频帧，其中，合成人脸是由目标人脸图像集所包含的人脸和人脸区域所合成的人脸。最后，输出合成图视频帧。本申请实施例可以通过输出人脸相似度的相关信息，以使用户可以看到各个人脸图像集与人脸视频模板的人脸相似度的相关信息，从而了解到各个人脸图像集对应的人脸相似度。这样，本申请实施例可以引导用户参照人脸相似度选取人脸图像集，让用户有更大几率选择人脸相似度较高的人脸图像集，从而加快训练速度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构图；图2a是根据本申请的图像处理方法的一个实施例的流程图；图2b是根据本申请的图像处理方法的一个实施例一些应用场景的流程图；图3是根据本申请的图像处理方法的一个应用场景的示意图；图4是根据本申请的图像处理装置的一个实施例的结构示意图；图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的图像处理方法或图像处理装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等，比如从服务器获取人脸视频模板与至少一个人脸图像集的人脸相似度。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像处理应用、视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的人脸视频模板，以及后台服务器存储的人脸图像集等数据进行分析等处理，并将处理结果(例如人脸相似度)反馈给终端设备。需要说明的是，本申请实施例所提供的图像处理方法可以由服务器105或者终端设备101、102、103(比如终端设备的处理器)执行，相应地，图像处理装置可以设置于服务器105或者终端设备101、102、103中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2a，示出了根据本申请的图像处理方法的一个实施例的流程200。该图像处理方法，包括以下步骤：步骤201，获取人脸视频模板，获取人脸视频模板与至少一个人脸图像集的人脸相似度，其中，人脸视频模板中的视频帧包含同一个人的人脸，每个人脸图像集中的人脸图像包含同一个人的人脸。在本实施例中，图像处理方法的执行主体可以获取人脸视频模板，以及人脸视频模板与至本文档来自技高网...

【技术保护点】
1.一种图像处理方法，所述方法包括：/n获取人脸视频模板，获取所述人脸视频模板与至少一个人脸图像集的人脸相似度，其中，人脸视频模板中的视频帧包含同一个人的人脸，每个所述人脸图像集中的人脸图像包含同一个人的人脸；/n输出各个所述人脸图像集对应的人脸相似度的相关信息；/n获取指示所述至少一个人脸图像集中的目标人脸图像集的用户选择信息，将所述人脸视频模板的视频帧和所述目标人脸图像集中的人脸图像输入深度学习模型进行训练；/n利用训练后的深度学习模型将所述人脸视频模板中的人脸区域转换为合成人脸，得到并输出合成图视频帧，其中，所述合成人脸是由所述目标人脸图像集所包含的人脸和所述人脸区域所合成的人脸，所述合成人脸与所述目标人脸图像集的人脸相似度大于所述合成人脸与所述人脸视频模板的人脸相似度。/n

【技术特征摘要】
1.一种图像处理方法，所述方法包括：
获取人脸视频模板，获取所述人脸视频模板与至少一个人脸图像集的人脸相似度，其中，人脸视频模板中的视频帧包含同一个人的人脸，每个所述人脸图像集中的人脸图像包含同一个人的人脸；
输出各个所述人脸图像集对应的人脸相似度的相关信息；
获取指示所述至少一个人脸图像集中的目标人脸图像集的用户选择信息，将所述人脸视频模板的视频帧和所述目标人脸图像集中的人脸图像输入深度学习模型进行训练；
利用训练后的深度学习模型将所述人脸视频模板中的人脸区域转换为合成人脸，得到并输出合成图视频帧，其中，所述合成人脸是由所述目标人脸图像集所包含的人脸和所述人脸区域所合成的人脸，所述合成人脸与所述目标人脸图像集的人脸相似度大于所述合成人脸与所述人脸视频模板的人脸相似度。


2.根据权利要求1所述的方法，其中，所述方法应用于终端设备；所述输出各个所述人脸图像集对应的人脸相似度的相关信息，包括：
显示各个所述人脸图像集和/或各个所述人脸图像集的标识，以及各个所述人脸图像集对应的人脸相似度；或
按照各个所述人脸图像集对应的人脸相似度由大到小的顺序，显示各个所述人脸图像集和/或各个所述人脸图像集的标识。


3.根据权利要求2所述的方法，其中，所述将所述人脸视频模板和所述目标人脸图像集中的人脸图像输入深度学习模型进行训练，包括：
利用所述终端设备的至少一个图形处理器，对所述深度学习模型进行训练。


4.根据权利要求1所述的方法，其中，所述初始深度学习模型包括编码器和解码器；
所述将所述人脸视频模板的视频帧和所述目标人脸图像集中的人脸图像输入深度学习模型进行训练，包括：
将所述人脸视频模板和所述目标人脸图像集中的人脸图像输入所述深度学习模型，通过所述编码器，基于预设损失函数学习所述人脸区域和人脸图像集所包含的人脸的共同特征；以及
所述利用训练后的深度学习模型将所述人脸视频模板中的人脸区域转换为合成人脸，包括：
通过所述解码器，根据所述共同特征，还原所述人脸图像集所包含的人脸，得到所述合成人脸；
将所述合成人脸和所述人脸视频模板中人脸区域以外的其他区域进行融合，得到所述合成图视频帧。


5.根据权利要求1所述的方法，其中，获取所述人脸视频模板与至少一个人脸图像集的人脸相似度，包括：
接收服务器发送的所述人脸视频模板与所述至少一个人脸图像集的人脸相似度，其中，所述服务器响应于确定人脸图像集的数量为至少两个，确定并发送所述人脸视频模板与所述至少一个人脸图像集的...

【专利技术属性】
技术研发人员：吴培希，李佩成，张懿，罗琨，高志超，
申请(专利权)人：上海掌门科技有限公司，
类型：发明
国别省市：上海;31