虚拟形象的生成方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例提供一种虚拟形象的生成方法、装置、电子设备及存储介质；方法包括：接收到目标对象的虚拟形象的获取请求，所述获取请求携带所述目标对象的帧图像；响应于所述获取请求，对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像；通过神经网络模型，分别对所述目标对象的头部不同部分对应的图像进行类别预测，以确定所述目标对象的头部各部分所属的类别；基于所述目标对象的头部各部分所属的类别，确定对应所述头部各部分的素材；基于确定的所述素材，生成所述目标对象的虚拟形象模型；返回所述虚拟形象模型，以基于所述虚拟形象模型渲染得到所述目标对象的虚拟形象。

The generation method, device, electronic equipment and storage medium of virtual image

【技术实现步骤摘要】
虚拟形象的生成方法、装置、电子设备及存储介质
本公开实施例涉及计算机
，尤其涉及一种虚拟形象的生成方法、装置、电子设备及存储介质。
技术介绍
随着通信技术和终端设备的发展，各种终端设备例如手机、平板电脑等已经成为了人们工作和生活中不可或缺的一部分，而且随着终端设备的日益普及，基于终端设备的交互应用成为一种沟通和娱乐的主要渠道。相关技术中，通过通用的模板生成虚拟形象，并提供给用户，导致为每个用户提供的虚拟形象相似，容易审美疲劳，缺乏个性化。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开实施例提供了一种虚拟形象的生成方法，包括：接收到目标对象的虚拟形象的获取请求，所述获取请求携带所述目标对象的帧图像；响应于所述获取请求，对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像；通本文档来自技高网...

【技术保护点】
1.一种虚拟形象的生成方法，其特征在于，所述方法包括：/n接收到目标对象的虚拟形象的获取请求，所述获取请求携带所述目标对象的帧图像；/n响应于所述获取请求，对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像；/n通过神经网络模型，分别对所述目标对象的头部不同部分对应的图像进行类别预测，以确定所述目标对象的头部各部分所属的类别；/n基于所述目标对象的头部各部分所属的类别，确定对应所述头部各部分的素材；/n基于确定的所述素材，生成所述目标对象的虚拟形象模型；/n返回所述虚拟形象模型，以基于所述虚拟形象模型渲染得到所述目标对象的虚拟形象。/n

【技术特征摘要】
1.一种虚拟形象的生成方法，其特征在于，所述方法包括：
接收到目标对象的虚拟形象的获取请求，所述获取请求携带所述目标对象的帧图像；
响应于所述获取请求，对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像；
通过神经网络模型，分别对所述目标对象的头部不同部分对应的图像进行类别预测，以确定所述目标对象的头部各部分所属的类别；
基于所述目标对象的头部各部分所属的类别，确定对应所述头部各部分的素材；
基于确定的所述素材，生成所述目标对象的虚拟形象模型；
返回所述虚拟形象模型，以基于所述虚拟形象模型渲染得到所述目标对象的虚拟形象。


2.如权利要求1所述的方法，其特征在于，所述对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像，包括：
识别所述目标对象的帧图像中所述目标对象的头部不同部分，以确定所述目标对象的头部各部分对应的图像区域；
基于所述目标对象的头部各部分对应的图像区域，对所述帧图像进行区域分割，得到对应所述目标对象头部不同部分的图像。


3.如权利要求2所述的方法，其特征在于，所述识别所述目标对象的帧图像中所述目标对象的头部不同部分，包括：
对所述目标对象的帧图像进行人脸关键点检测，确定所述目标对象的人脸关键点；
基于确定的所述人脸关键点进行人脸对齐，以识别所述目标对象的帧图像中所述目标对象的头部不同部分。


4.如权利要求1所述的方法，其特征在于，所述通过神经网络模型，分别对所述目标对象的头部不同部分对应的图像进行类别预测，以确定所述目标对象的头部各部分所属的类别，包括：
对于所述目标对象的头部各部分中的目标部分，执行如下操作：
获取对应所述目标部分的目标神经网络模型；
通过所述目标神经网络模型，对所述目标部分对应的图像进行特征提取，得到所述目标部分对应的特征向量；
基于所述目标部分对应的特征向量，对所述目标部分所属的类别进行预测，以确定所述目标部分所属的类别。


5.如权利要求4所述的方法，其特征在于，所述方法还包括：
通过所述目标神经网络模型，对所述目标部分对应的样本图像进行特征提取，得到所述目标部分对应的特征向量；其中，所述样本图像标注有所述目标部分所属的类别；
基于所述目标部分对应的特征向量，预测所述目标部分所属的类别，得到预测结果；
获取所述预测结果与目标结果之间的差异；
基于所述预测结果与目标结果之间的差异，更新所述目标神经网络模型的模型参数。


6.如权利要求4所述的方法，其特征在于，所述基于所述预测结果与目标结果之间的差异，更新所述目标神经网络模型的模型参数，包括：
基于所述预测结果与目标结果之间的差异，确定所述目标神经网络模型的损失函数的值；
当所述目标损失函数的值超出预设阈值时，基于所述目标损失函数确定所述目标神经网络模型的误差信号；
将所述误差信号在所述目标神经网络模型中反向传播，并在传播的过程中更新各个层的模型参数。


7.如权利要求1所述的方法，其特征在于，所述基于所述目标对象的头部各部分所属的类别，确定对应所述头部各部分的素材，包括：
获取头部各部分所属的类别与相应素材的映射关系；
基于获取的所述映射关系，确定与所述目标对象的头部各部分所属的类别相对应的虚拟形象的三维素材；
所述三维素材，用于供生成所述目标对象的三维虚拟形象。


8.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收到采集的多帧连续的帧图像，所述多帧连续的帧图像包括所述目标对象；
获取所述多帧连续的帧图像中所述目标对象的关键点变化信息；
基于所述关键点变化信息，发送所述虚拟形象的形态更新指令，以动态的呈现所述虚拟形象。


9.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收到针对所述虚拟形象的目标部位的修改请求，所述修改请求携带包括所述目标部位的所述目标对象的图像；
响应于所述修改请求，基于包括所述目标部位的所述目标对象的图像，更新所述目标对象的虚拟形象模型；
返回更新后的所述目标对象的虚拟形象模型，以基于所述虚拟形象模型，更新所述目标对象的虚拟形象。


10.一种虚拟形象的生成装置，其特征在于，所述装置包括：
接收单元，用...

【专利技术属性】
技术研发人员：邓涵，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11