虚拟头像驱动显示方法、装置、电子设备及存储介质制造方法及图纸

本公开公开了一种虚拟头像驱动显示方法、装置、电子设备及存储介质。该方法包括：在视频拍摄的过程中，在接收到三维虚拟头像生成指令时，调用三维数据采集功能程序，实时获取所述视频的视频帧中用户的头部三维数据；在所述视频的各视频帧中，根据匹配的头部三维数据渲染生成三维虚拟头像进行显示，以实现在所述视频中驱动三维虚拟头像。本公开实施例可以准确获取用户头部的三维数据，实现准确通过三维虚拟头像描述用户三维姿态。

Display method, device, electronic equipment and storage medium driven by virtual head image

【技术实现步骤摘要】
虚拟头像驱动显示方法、装置、电子设备及存储介质
本公开实施例涉及图像检测技术，尤其涉及一种虚拟头像驱动显示方法、装置、电子设备及存储介质。
技术介绍
随着图像处理技术的发展，图像处理的功能越来越强大。例如，基于图像的三维重建功能。随着用户的拍摄分享的需求不断提高，用户想要分享人脸生动的表情但又想保护人脸隐私，此时，可以通过生成一种与用户人脸表情实时对应的三维虚拟头像实现展现人脸生动的表情。现有的三维虚拟头像展现方式是，通过获取用户头部对应的特征点的空间信息，并基于连续多张视频帧中这些特征点的空间信息，捕捉用户头部姿态(如动作和表情等)，用于驱动预先构建的三维虚拟头像的姿态。实际上，现有的空间信息，通常是通过多个不同空间位置的摄像头，同时获取头部在不同角度(每个角度之间的偏移量较大)下的图像，确定头部特征点的空间信息。为了能够展现与用户头部姿态(如动作和表情等)实时匹配的三维虚拟头像姿态，通常是针对实时拍摄的视频进行处理，而且是在一个角度下拍摄用户头部图像，无法直接获取用户头部在不同角度下的图像，仅能通过一张图像或者连续多张偏移角度很小的用户头部的图像驱动三维虚拟头像。由此，获取的头部特征点的空间信息不准确，从而导致驱动的三维虚拟头像的姿态不准确。
技术实现思路
本公开实施例提供一种虚拟头像驱动显示方法、装置、电子设备及存储介质，可以准确获取用户头部的三维数据，实现准确通过三维虚拟头像描述用户三维姿态。第一方面，本公开实施例提供了一种虚拟头像驱动显示方法，该方法包括：在视频拍摄的过程中，在接收到三维虚拟头像生成指令时，调用三维数据采集功能程序，实时获取所述视频的视频帧中用户的头部三维数据；在所述视频的各视频帧中，根据匹配的头部三维数据渲染生成三维虚拟头像进行显示，以实现在所述视频中驱动三维虚拟头像。第二方面，本公开实施例还提供了一种虚拟头像驱动显示装置，该装置包括：头部三维数据获取模块，用于在视频拍摄的过程中，在接收到三维虚拟头像生成指令时，调用三维数据采集功能程序，实时获取所述视频的视频帧中用户的头部三维数据；虚拟头像显示模块，用于在所述视频的各视频帧中，根据匹配的头部三维数据渲染生成三维虚拟头像进行显示，以实现在所述视频中驱动三维虚拟头像。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例所述的虚拟头像驱动显示方法。第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所述的虚拟头像驱动显示方法。本公开实施例通过使用三维数据采集功能程序获取实时拍摄的用户的头部三维数据，并根据头部三维数据，生成匹配的三维虚拟头像，实现获取用户的头部姿态的三维数据，增加头部姿态的特征数据，解决了现有技术中实时采集的用户头部的姿态数据的不准确不全面，导致驱动三维虚拟头像的不准确的问题，通过三维数据采集功能程序，直接获取用户头部三维数据，使头部的姿态数据的更加全面和准确，从而实现准确通过三维虚拟头像描述用户三维姿态，提高三维虚拟头像的更加准确和精细。附图说明图1是本公开实施例一中的一种虚拟头像驱动显示方法的流程图；图2是本公开实施例二中的一种虚拟头像驱动显示方法的流程图；图3是本公开实施例三中的一种虚拟头像驱动显示装置的结构示意图；图4是本公开实施例四中的一种电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。实施例一图1为本公开实施例一中的一种虚拟头像驱动显示方法的流程图，本实施例可适用于实时获取用户的头部姿态数据，并生成匹配的三维虚拟头像的情况，该方法可以由虚拟头像驱动显示装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，例如移动终端，典型的移动终端包括手机、车载终端或平板电脑等。如图1所示，该方法具体包括如下步骤：S110，在视频拍摄的过程中，在接收到三维虚拟头像生成指令时，调用三维数据采集功能程序，实时获取所述视频的视频帧中用户的头部三维数据。其中，视频包括多个包含人物的头部的视频帧。在视频拍摄的过程中，可以实时获取视频的视频帧。实际上，一个视频帧中可以包括多个人物，可以选择任意一个作为目标识别对象，或者，确定每个人物的优先级，将优先级最高的人物作为目标识别对象。优先级的确定可以是基于面部面积确定，例如面部的面积最大的优先级最高，或者是基于面部的特征器官(如眼睛、鼻子或嘴巴等)的数目和/或总面积确定，例如面部的特征器官最多和/或总面积最大的优先级最高，此外，还可以通过其他方式确定优先级，对此，本公开实施例不作具体限制。三维虚拟头像生成指令用于采集用户的头部三维数据并对应生成三维虚拟头像。示例性的，三维虚拟头像生成指令为用户对三维虚拟头像生成控件的点击指令。此外，还可以是其他具体的指令，如三维虚拟头像生成指令包括在跳转的虚拟对象选择页面中的选择点击指令，虚拟对象选择页面可以是用户输入的对三维虚拟头像生成控件的点击指令之后，生成的页面，对此，本公开实施例不做具体限制。三维数据采集功能程序用于在一个拍摄角度进行拍摄的情况下，获取物体的三维数据。可以采用移动终端对视频进行拍摄，移动终端的操作系统不限于安卓系统或IOS系统。可选的，所述三维数据采集功能程序包括增强现实功能程序。相应的，三维数据采集功能程序包括安卓系统下的增强现实功能程序，或者三维数据采集功能程序包括IOS系统下的增强现实功能程序。其中，IOS系统下的增强现实功能程序包括ARkit。三维虚拟头像用于表现与用户头部姿态匹配的虚拟的三维姿态，其中，姿态可以包括头部动作和面部表情。示例性的，虚拟头像可以是虚拟动物头像(如卡通猫)，还可以是虚拟人物头像(如动漫人物)等，对此，本公开实施例不做本文档来自技高网...

【技术保护点】
1.一种虚拟头像驱动显示方法，其特征在于，应用在移动终端中，包括：在视频拍摄的过程中，在接收到三维虚拟头像生成指令时，调用三维数据采集功能程序，实时获取所述视频的视频帧中用户的头部三维数据；在所述视频的各视频帧中，根据匹配的头部三维数据渲染生成三维虚拟头像进行显示，以实现在所述视频中驱动三维虚拟头像。

【技术特征摘要】
1.一种虚拟头像驱动显示方法，其特征在于，应用在移动终端中，包括：在视频拍摄的过程中，在接收到三维虚拟头像生成指令时，调用三维数据采集功能程序，实时获取所述视频的视频帧中用户的头部三维数据；在所述视频的各视频帧中，根据匹配的头部三维数据渲染生成三维虚拟头像进行显示，以实现在所述视频中驱动三维虚拟头像。2.根据权利要求1所述的方法，其特征在于，所述头部三维数据包括多个空间维度下的姿态数据，其中，所述姿态数据包括面部表情数据和头部动作数据。3.根据权利要求1所述的方法，其特征在于，所述根据匹配的头部三维数据渲染生成三维虚拟头像，包括：将所述头部三维数据输入到预先训练的表情识别模型中，得到所述表情识别模型输出的用户表情类型；调用渲染程序，根据所述用户表情类型和所述头部三维数据，生成所述三维虚拟头像。4.根据权利要求1所述的方法，其特征在于，在实时获取所述视频的视频帧中用户的头部三维数据之后，还包括：将所述匹配的头部三维数据上传至电子设备，以使所述电子设备渲染生成匹配的三维虚拟头像。5.根据权利要求4所述的方法，其特征在于，所述将所述匹配的头部三维数据上传至电子设备，包括：通过用...

【专利技术属性】
技术研发人员：淮静，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11