用于处理人物形象数据的方法和装置制造方法及图纸

本申请公开了用于处理人物形象数据的方法和装置，涉及计算机视觉和深度学习技术领域。具体实施方式包括：获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，该人物形象视频中具有包括头像动态形象的动态形象，该第一人物的人物形象视频中具有多种动态形象；提取第一人物的头像和第二人物的头像；利用头像更换模型，以该第二人物的头像更换该第一人物的头像，得到更换后头像。本申请可以通过换头操作，以使换头后头像具有不同头像的不同特点，以实现对两个头像进行有机的结合。并且，利用动态形象丰富的第一人物进行结合，可以弥补第二人物动态形象丰富度不足的问题。

【技术实现步骤摘要】
用于处理人物形象数据的方法和装置
本申请涉及人工智能
，具体涉及计算机视觉和深度学习
，尤其涉及用于处理人物形象数据的方法和装置。
技术介绍
在数字信息化的时代，虚拟代替实体成为流行趋势。数字虚拟人在娱乐、媒体、客服、金融等多个行业，展现了极大的应用潜力。数字虚拟人是一个多模态的人物视频生成任务，可以通过语音或文字来驱动虚拟形象。对于数字虚拟人的建模往往需要在特定环境下录制大量的数据，每次建模一个新形象，都需要邀请模特本人亲自来到专业的摄影棚，并且需要专业的导演进行指导，完成一些特定的表演，这无疑提高了虚拟人形象制作的成本。
技术实现思路
提供了一种用于处理人物形象数据的方法、装置、电子设备以及存储介质。根据第一方面，提供了一种用于处理人物形象数据的方法，包括：获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，人物形象视频中具有包括头像动态形象的动态形象，第一人物的人物形象视频中具有多种动态形象；提取第一数据中第一人物的头像和第二数据中第二人物的头像；利用头像更换模型，以第二人物的头像更换第一人物的头像，得到更换后头像，其中，更换后头像具有第一人物的头像动态形象和第二人物的头像属性形象。根据第二方面，提供了一种用于处理人物形象数据的装置，包括：获取单元，被配置成获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，人物形象视频中具有包括头像动态形象的动态形象，第一人物的人物形象视频中具有多种动态形象；提取单元，被配置成提取第一数据中第一人物的头像和第二数据中第二人物的头像；更换单元，被配置成利用头像更换模型，以第二人物的头像更换第一人物的头像，得到更换后头像，其中，更换后头像具有第一人物的头像动态形象和第二人物的头像属性形象。根据第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如用于处理人物形象数据的方法中任一实施例的方法。根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如用于处理人物形象数据的方法中任一实施例的方法。根据本申请的方案，可以通过换头操作，得到包含第一人物的动态形象和第二人物的属性形象的头像，以使换头后头像具有不同头像的不同特点，以实现对两个头像进行有机的结合。并且，利用动态形象丰富的第一人物进行结合，可以弥补第二人物动态形象丰富度不足的问题，让换头后头像有第二人物的属性，且有丰富的头像动态形象。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请一些实施例可以应用于其中的示例性系统架构图；图2是根据本申请的用于处理人物形象数据的方法的一个实施例的流程图；图3是根据本申请的用于处理人物形象数据的方法的一个应用场景的示意图；图4是根据本申请的用于处理人物形象数据的方法的又一个实施例的流程图；图5是根据本申请的用于处理人物形象数据的装置的一个实施例的结构示意图；图6是用来实现本申请实施例的用于处理人物形象数据的方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的用于处理人物形象数据的方法或用于处理人物形象数据的装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的人物形象视频等数据进行分析等处理，并将处理结果(例如更换后头像)反馈给终端设备。需要说明的是，本申请实施例所提供的用于处理人物形象数据的方法可以由服务器105或者终端设备101、102、103执行，相应地，用于处理人物形象数据的装置可以设置于服务器105或者终端设备101、102、103中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，示出了根据本申请的用于处理人物形象数据的方法的一个实施例的流程200。该用于处理人物形象数据的方法，包括以下步骤：步骤201，获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，人物形象视频中具有包括头像动态形象的动态形象，第一人物的人物形象视频中具有多个动态形象。在本实施例中，用于处理人物形象数据的方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取第一人物的人物形象视频，将该人物形象视频作为第一数据。并且，上述执行主体可以获取第二人物的人物形象视频，将该人物形象视频作为第二数据。在实践中，这里的人物可以指真实人物，也可以指卡通人物等虚拟人物。这里所获取的关于第一人物和第二人物的人物形象视频的数量均可以是至少一个。第二数据中包括的动态形象的种类数量可以小于第一数据中包括的动态形象的种类数量，第一人物的人物形象视频的数量可以包括多个，比如表情和唇形。这里的多个指至少两个。人物形象视频中包括动态形象，第一人物的人物形象视频中包括第一人物的动态形象，第二人物的人物形象视频中包括第二人物的动态形象。这里的动态形象均可以包括头像动态形象。动态形象可以指体现人物的动态本文档来自技高网...

【技术保护点】
1.一种用于处理人物形象数据的方法，所述方法包括：/n获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，所述人物形象视频中具有包括头像动态形象的动态形象，所述第一人物的人物形象视频中具有多种动态形象；/n提取所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像；/n利用头像更换模型，以所述第二人物的头像更换所述第一人物的头像，得到更换后头像，其中，所述更换后头像具有所述第一人物的头像动态形象和所述第二人物的头像属性形象。/n

【技术特征摘要】
1.一种用于处理人物形象数据的方法，所述方法包括：
获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，所述人物形象视频中具有包括头像动态形象的动态形象，所述第一人物的人物形象视频中具有多种动态形象；
提取所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像；
利用头像更换模型，以所述第二人物的头像更换所述第一人物的头像，得到更换后头像，其中，所述更换后头像具有所述第一人物的头像动态形象和所述第二人物的头像属性形象。


2.根据权利要求1所述的方法，其中，所述第一人物的人物形象视频的时长大于所述第二人物的人物形象视频的时长，所述第一数据中的多种动态形象包括创建虚拟形象所需的多种必要动态形象，对于所述多种必要动态形象中的至少一种中的每一种，所述第二数据缺少该种必要动态形象所包含的多个必要动态形象中的至少一个。


3.根据权利要求2所述的方法，其中，所述第一数据中的头像动态形象包括唇形和表情，所述第二数据中的头像动态形象包括唇形和/或表情；
所述方法还包括：
基于所述更换后头像，创建虚拟形象，其中，所述虚拟形象具有所述第一人物的头像动态形象以及所述第二人物的头像属性形象。


4.根据权利要求3所述的方法，其中，所述第一数据中的多种动态形象还包括身体动态形象，所述身体动态形象包括身体动作；
所述基于所述更换后头像，创建虚拟形象，包括：
将所述更换后头像和所述第一数据进行结合处理，以使结合处理后的第一数据中的头像为所述更换后头像；
利用所述结合处理后的第一数据，创建虚拟形象，其中，所述虚拟形象具有所述第一人物的头像动态形象、身体动态形象和身体属性形象，以及所述第二人物的头像属性形象。


5.根据权利要求1所述的方法，其中，所述头像更换模型通过以下步骤训练得到：
基于所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像，对初始头像更换模型进行训练，得到训练后的头像更换模型。


6.根据权利要求4所述的方法，其中，所述初始头像更换模型包括编码器和解码器，所述解码器的数量为两个；
所述基于所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像，对初始头像更换模型进行训练，包括：
基于所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像对所述编码器和两个所述解码器进行训练，以使其中一个解码器所生成的头像具有第二人物的头像属性形象。


7.根据权利要求1所述的方法，其中，所述提取所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像，包括：
对所述第一数据和所述第二数据定位头像的关键点，并基于所述关键点对所述第一数据中和所述第二数据进行头像的对齐；
对于所述第一数据的对齐结果进行图像分割，以提取到所述第一数据中所述第一人物的头像，对于所述第二数据的对齐结果进行图像分割，以提取到所述第二数据中所述第二人物的头像。


8.一种用于处理人物形象数据的装置，所述装置包括：
获取单元，被配置成获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，所述人物形象视频中具有包括头像动态形象的动态形象，所述第一人物的人物形象视频中具有多种动...

【专利技术属性】
技术研发人员：胡天舒，马明明，何声一，郭汉奇，李彤辉，洪智滨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11