用于处理人物形象数据的方法和装置制造方法及图纸

本申请公开了用于处理人物形象数据的方法和装置，涉及计算机视觉和深度学习技术领域。具体实施方式包括：获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，该人物形象视频中具有包括头像动态形象的动态形象，该第一人物的人物形象视频中具有多种动态形象；提取第一人物的头像和第二人物的头像；利用头像更换模型，以该第二人物的头像更换该第一人物的头像，得到更换后头像。本申请可以通过换头操作，以使换头后头像具有不同头像的不同特点，以实现对两个头像进行有机的结合。并且，利用动态形象丰富的第一人物进行结合，可以弥补第二人物动态形象丰富度不足的问题。

【技术实现步骤摘要】
用于处理人物形象数据的方法和装置
本申请涉及人工智能
，具体涉及计算机视觉和深度学习
，尤其涉及用于处理人物形象数据的方法和装置。
技术介绍
在数字信息化的时代，虚拟代替实体成为流行趋势。数字虚拟人在娱乐、媒体、客服、金融等多个行业，展现了极大的应用潜力。数字虚拟人是一个多模态的人物视频生成任务，可以通过语音或文字来驱动虚拟形象。对于数字虚拟人的建模往往需要在特定环境下录制大量的数据，每次建模一个新形象，都需要邀请模特本人亲自来到专业的摄影棚，并且需要专业的导演进行指导，完成一些特定的表演，这无疑提高了虚拟人形象制作的成本。
技术实现思路
提供了一种用于处理人物形象数据的方法、装置、电子设备以及存储介质。根据第一方面，提供了一种用于处理人物形象数据的方法，包括：获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，人物形象视频中具有包括头像动态形象的动态形象，第一人物的人物形象视频中具有多种动态形象；提取第一数据中第一人物的头像和第二数据中第二人物的头像；利用本文档来自技高网...

【技术保护点】
1.一种用于处理人物形象数据的方法，所述方法包括：/n获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，所述人物形象视频中具有包括头像动态形象的动态形象，所述第一人物的人物形象视频中具有多种动态形象；/n提取所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像；/n利用头像更换模型，以所述第二人物的头像更换所述第一人物的头像，得到更换后头像，其中，所述更换后头像具有所述第一人物的头像动态形象和所述第二人物的头像属性形象。/n

【技术特征摘要】
1.一种用于处理人物形象数据的方法，所述方法包括：
获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，所述人物形象视频中具有包括头像动态形象的动态形象，所述第一人物的人物形象视频中具有多种动态形象；
提取所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像；
利用头像更换模型，以所述第二人物的头像更换所述第一人物的头像，得到更换后头像，其中，所述更换后头像具有所述第一人物的头像动态形象和所述第二人物的头像属性形象。


2.根据权利要求1所述的方法，其中，所述第一人物的人物形象视频的时长大于所述第二人物的人物形象视频的时长，所述第一数据中的多种动态形象包括创建虚拟形象所需的多种必要动态形象，对于所述多种必要动态形象中的至少一种中的每一种，所述第二数据缺少该种必要动态形象所包含的多个必要动态形象中的至少一个。


3.根据权利要求2所述的方法，其中，所述第一数据中的头像动态形象包括唇形和表情，所述第二数据中的头像动态形象包括唇形和/或表情；
所述方法还包括：
基于所述更换后头像，创建虚拟形象，其中，所述虚拟形象具有所述第一人物的头像动态形象以及所述第二人物的头像属性形象。


4.根据权利要求3所述的方法，其中，所述第一数据中的多种动态形象还包括身体动态形象，所述身体动态形象包括身体动作；
所述基于所述更换后头像，创建虚拟形象，包括：
将所述更换后头像和所述第一数据进行结合处理，以使结合处理后的第一数据中的头像为所述更换后头像；
利用所述结合处理后的第一数据，创建虚拟形象，其中，所述虚拟形象具有所述第一人物的头像动态形象、身体动态形象和身体属性形象，以及所述第二人物的头像属性形象。


5.根据权利要求1所述的方法，其中，所述头像更换模型通过以下步骤训练得到：
基于所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像，对初始头像更换模型进行训练，得到训练后的头像更换模型。


6.根据权利要求4所述的方法，其中，所述初始头像更换模型包括编码器和解码器，所述解码器的数量为两个；
所述基于所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像，对初始头像更换模型进行训练，包括：
基于所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像对所述编码器和两个所述解码器进行训练，以使其中一个解码器所生成的头像具有第二人物的头像属性形象。


7.根据权利要求1所述的方法，其中，所述提取所述第一数据中所述第一人物的头像和所述第二数据中所述第二人物的头像，包括：
对所述第一数据和所述第二数据定位头像的关键点，并基于所述关键点对所述第一数据中和所述第二数据进行头像的对齐；
对于所述第一数据的对齐结果进行图像分割，以提取到所述第一数据中所述第一人物的头像，对于所述第二数据的对齐结果进行图像分割，以提取到所述第二数据中所述第二人物的头像。


8.一种用于处理人物形象数据的装置，所述装置包括：
获取单元，被配置成获取第一人物的人物形象视频，作为第一数据，并获取第二人物的人物形象视频，作为第二数据，其中，所述人物形象视频中具有包括头像动态形象的动态形象，所述第一人物的人物形象视频中具有多种动...

【专利技术属性】
技术研发人员：胡天舒，马明明，何声一，郭汉奇，李彤辉，洪智滨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11