虚拟角色图像的构建方法及装置、存储介质制造方法及图纸

本申请提供一种虚拟角色图像的构建方法及装置、存储介质。方法包括：对至少两帧图像分别进行人脸检测，得到至少两帧图像各自对应的人脸图像，并对人脸图像进行特征点检测，得到特征点的位置数据；针对至少两帧图像中除第一帧图像之外的每一帧图像，执行如下处理：将第一人脸图像中特征点的位置数据与第一虚拟角色图像中相应面部特征点的位置数据进行映射，得到第一人脸图像对应的特征点映射数据；确定第二虚拟角色图像中的面部特征点相对于第一虚拟角色图像中相应面部特征点的位置变化；利用形变传播方法确定第二虚拟角色图像中多个肩部采样点相对于第一虚拟角色图像中相应肩部采样点的位置变化；确定第二虚拟角色图像。

【技术实现步骤摘要】
虚拟角色图像的构建方法及装置、存储介质
本申请涉及计算机图像处理
，尤其是涉及一种虚拟角色图像的构建方法、一种虚拟角色图像的构建装置和一种存储介质。
技术介绍
计算机技术的发展极大地带动了识别技术的发展，而模式识别、计算机视觉等领域相关技术地引入，也大大提高了识别系统的智能化，尤其是人脸检测识别技术，在智能视频监控系统中得到了大量应用。利用人脸识别技术，构建与真实人脸相似的虚拟角色，可将其应用到各种娱乐互动中，例如，视频通话、直播、动画生成等方面。
技术实现思路
第一方面，本申请实例提供了一种虚拟角色图像的构建方法，包括：对至少两帧图像分别进行人脸检测，得到所述至少两帧图像各自对应的人脸图像，并对所述人脸图像进行特征点检测，得到特征点的位置数据；针对所述至少两帧图像中除第一帧图像之外的每一帧图像，执行如下处理：将第一人脸图像中特征点的位置数据与第一虚拟角色图像中相应面部特征点的位置数据进行映射，得到所述第一人脸图像对应的特征点映射数据；其中，所述第一人脸图像为该帧图像的上一帧图像所对应的人脸图像，所述第一虚拟角色图像为与该帧图像的上一帧图像所对应的虚拟角色图像；根据第二人脸图像中特本文档来自技高网...

【技术保护点】
1.一种虚拟角色图像的构建方法，其特征在于，包括：对至少两帧图像分别进行人脸检测，得到所述至少两帧图像各自对应的人脸图像，并对所述人脸图像进行特征点检测，得到特征点的位置数据；针对所述至少两帧图像中除第一帧图像之外的每一帧图像，执行如下处理：将第一人脸图像中特征点的位置数据与第一虚拟角色图像中相应面部特征点的位置数据进行映射，得到所述第一人脸图像对应的特征点映射数据；其中，所述第一人脸图像为该帧图像的上一帧图像所对应的人脸图像，所述第一虚拟角色图像为与该帧图像的上一帧图像所对应的虚拟角色图像；根据第二人脸图像中特征点的位置数据、所述第一人脸图像中特征点的位置数据以及所述第一人脸图像对应的特征点...

【技术特征摘要】
1.一种虚拟角色图像的构建方法，其特征在于，包括：对至少两帧图像分别进行人脸检测，得到所述至少两帧图像各自对应的人脸图像，并对所述人脸图像进行特征点检测，得到特征点的位置数据；针对所述至少两帧图像中除第一帧图像之外的每一帧图像，执行如下处理：将第一人脸图像中特征点的位置数据与第一虚拟角色图像中相应面部特征点的位置数据进行映射，得到所述第一人脸图像对应的特征点映射数据；其中，所述第一人脸图像为该帧图像的上一帧图像所对应的人脸图像，所述第一虚拟角色图像为与该帧图像的上一帧图像所对应的虚拟角色图像；根据第二人脸图像中特征点的位置数据、所述第一人脸图像中特征点的位置数据以及所述第一人脸图像对应的特征点映射数据，确定所述第二虚拟角色图像中的面部特征点相对于所述第一虚拟角色图像中相应面部特征点的位置变化；其中，所述第二人脸图像为该帧图像所对应的人脸图像，所述第二虚拟角色图像为该帧图像所对应的虚拟角色图像；根据所述面部特征点的位置变化，利用形变传播方法确定所述第二虚拟角色图像中多个肩部采样点相对于所述第一虚拟角色图像中相应肩部采样点的位置变化；根据所述面部特征点的位置变化和所述肩部采样点的位置变化，确定所述第二虚拟角色图像。2.根据权利要求1所述的方法，其特征在于，所述确定所述第二虚拟角色图像，包括：根据所述第一虚拟角色图像中各个面部特征点的位置数据以及所述面部特征点的位置变化，确定所述第二虚拟角色图像中各个面部特征点的位置数据；根据所述第一虚拟角色图像中各个肩部采样点的位置数据以及所述肩部采样点的位置变化，确定所述第二虚拟角色图像中各个肩部采样点的位置数据；根据所述各个面部特征点的位置数据和所述各个肩部采样点的位置数据，确定所述第二虚拟角色图像。3.根据权利要求1所述的方法，其特征在于，利用所述形变传播方法确定所述肩部采样点的位置变化，包括：根据所述面部特征点的位置变化、各个面部特征点的形变权重以及所述多个肩部采样点的形变权重，构建第一形变传播函数；通过最小化所述第一形变传播函数，计算得到所述多个肩部采样点的位置变化。4.根据权利要求3所述的方法，其特征在于，所述第一形变传播函数包括：式中，E1为第一形变传播能量，N1为面部特征点和肩部采样点的总个数；wj为N个点中第j个点的形变权重；(xj，yj)为N1个点中第j个点在所述第一虚拟角色图像中的位置，p(xj,yj)为N个点中第j个点在所述第二虚拟角色图像中的位置相对于在所述第一虚拟角色图像中的位置的变化。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述面部特征点的位置变化，利用所述形变传播方法确定所述第二虚拟角色图像中多个面部平滑点相对于所述第一虚拟角色图像中相应面部平滑点的位置变化；其中，所述面部平滑点为在所述第二虚拟角色图像的面部区域中除了各个面部特征点之外预先选择的点；其中，所述根据所述面部特征点的位置变化和所述肩部采样点的位置变化，确定所述第二虚拟角色图像，包括：根据所述面部特征点的位置变化、所述肩部采样点的位置变化以及所述面部平滑点的位置变化，确定所述第二虚拟角色图像。6.根据权利要求5所述的方法，其特征在于，所述确定所述第二虚拟角色图像，包括：根据所述第一虚拟角色图像中各个面部特征点的位置数据以及所述面部特征点的位置变化，确定所述第二虚拟角色图像中各个面部特征点的位置数据；根据所述第一虚拟角色图像中各个肩部采样点的位置数据以及所述肩部采样点的位置变化，确定所述第二虚拟角色图像中各个肩部采样点的位置数据；根据所述第一虚拟角色图像中各个面部平滑点的位置数据以及所述面部平滑点的位置变化，确定所述第二虚拟角色图像中各个面部平滑点的位置数据；根据所述各个面部特征点的位置数据、所述各个肩部采样点的位置数据以及...

【专利技术属性】
技术研发人员：葛仕明，
申请(专利权)人：腾讯科技深圳有限公司，中国科学院信息工程研究所，
类型：发明
国别省市：广东,44