3D表情制作方法及系统技术方案

本发明专利技术提供一种3D表情制作方法及系统，所述方法包括如下步骤：S1：提供标准表情模型；S2：采集用户在当前表情下的人脸二维图像与人脸深度图像；S3：基于所述人脸二维图像与所述人脸深度图像驱动所述标准表情模型变形，生成与所述人脸表情一致的表情动画。通过本发明专利技术的方法和系统可以提高用户体验，增加聊天的趣味性。

3D expression making method and system

The invention provides a method and a system for 3D expression production, which comprises the following steps: S1: providing a standard expression model; S2: collecting a two-dimensional face image and a face depth image of a user under the current expression; S3: driving the deformation of the standard expression model based on the two-dimensional face image and the face depth image; Generating facial expression animation that is consistent with the facial expression. The method and system of the invention can improve user experience and increase interest in chatting.

【技术实现步骤摘要】
3D表情制作方法及系统
本专利技术涉及图像处理
，尤其涉及一种3D表情制作方法及系统。
技术介绍
通过互联网进行网络沟通已成为人们日常生活中必不可少的一部分，在沟通聊天过程中通过发送一些表情可以活跃气氛也可以表达出语言不容易描述的内容。各种各样的表情包被提前制作以供用户下载使用，目前大多数表情包均由第三方专业人员制作，普通用户只有选择使用的权利。为了使得用户可以自主定义表情包，一些技术中通过用户自主选择照片，随后由制作软件对照片内容进行识别、分割等措施后生成相应的表情。这类表情包虽然制作方便，但由于是2D表情，用户体验较差。
技术实现思路
本专利技术为了解决现有技术的表情包是2D表情，用户体验差的问题，提供一种3D表情制作方法及系统。为了解决上述问题，本专利技术采用的技术方案如下所述：一种3D表情制作方法，包括如下步骤：S1：提供标准表情模型；S2：采集用户在当前表情下的人脸二维图像与人脸深度图像；S3：基于所述人脸二维图像与所述人脸深度图像驱动所述标准表情模型变形，生成与所述人脸表情一致的表情动画。在本专利技术的一种实施例中，所述人脸二维图像包括红外图像，所述红外图像与所述人脸深度图像是交替采集的。在本专利技术的又一种实施例中，步骤S3中所述驱动包括：获取所述人脸深度图像与所述人脸二维图像中的方位特征参数和表情特征参数；依据所述表情特征参数以及所述方位特征参数驱动所述标准表情模型变形；基于所述表情特征参数获取与所述人脸表情一致的表情动画对应的文本和/或语音。在本专利技术的再一种实施例中，还包括：同步采集所述用户的语音，识别所述语音并获取与所述语音对应的文本；根据所识别的语音从预设的原声语音库中匹配出对应的原声语音；还包括将所述文本和/或语音或原声语音与所述表情模型融合。本专利技术又提供一种3D表情制作系统，包括：深度相机，用于获取二维图像和深度图像；存储器，用于存储数据信息；处理器，与所述深度相机和所述存储器相连，用于执行如前任一所述的3D表情制作方法。在本专利技术的一种实施例中，所述二维图像包括红外图像，所述深度相机包括：红外泛光灯，用于提供红外照明；红外结构光投影仪，用于向目标投影红外结构光图像；红外相机，当仅所述红外泛光灯打开时采集所述红外图像，当仅所述红外结构光投影仪打开时采集结构光图像；深度计算处理器，对所述结构光图像进行深度计算以获取深度图像。在本专利技术的又一种实施例中，所述二维图像包括彩色图像，所述深度相机还包括彩色相机，用于采集可见光照条件下目标的彩色图像。本专利技术的有益效果为：提供一种3D表情制作方法及系统，通过预存储标准表情模型，基于采集到的用户在当前表情下的人脸二维图像与人脸深度图像驱动标准表情模型变形，生成与所述人脸表情一致的表情动画，提高用户体验，增加聊天的趣味性。附图说明图1是根据本专利技术实施例的一种3D表情制作系统的示意图。图2是根据本专利技术实施例的一种3D表情制作方法的示意图。其中，100-深度相机，110-处理器，120-存储器，130-显示器，140-输入/输出接口，150-麦克风，101-红外结构光投影仪，102-红外泛光灯，103-红外相机，104-深度计算处理器。具体实施方式下面结合附图通过具体实施例对本专利技术进行详细的介绍，以使更好的理解本专利技术，但下述实施例并不限制本专利技术范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本专利技术的基本构思，附图中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。如图1所示，本专利技术提供一种3D表情制作系统，系统包括：深度相机100、存储器120、处理器110，也可以包括显示器130、输入/输出接口140、麦克风150等。深度相机100用于获取目标的二维图像与深度图像(视频)，在一个实施例中，深度相机100为基于结构光技术的深度相机，包括红外结构光投影仪101、红外相机103以及深度计算处理器104，其中红外结构光投影仪101用于向目标投影红外结构光图像，红外相机103采集并传输结构光图像至深度计算处理器，深度计算处理器对结构光图像实施深度计算以获取深度图像，深度相机100还包括一个提供红外照明的红外泛光灯102，当红外泛光灯102打开而红外结构光投影仪101关闭时，红外相机103将采集到二维图像(红外图像)。因此可以通过对红外泛光灯102以及红外结构光投影仪101的交替工作，使得深度相机100具备交替获取二维红外图像与深度图像的能力。这里的红外泛光灯102与红外结构光投影仪101也可以融合进同一个装置中，该装置具备泛光照明与结构光投影的功能，由此可以节省空间与成本。在一个实施例中，深度相机100还包括一个彩色相机(图中未画出)，用于采集可见光照条件下目标的二维图像-彩色图像，此时由于彩色相机与红外相机之间有位置上的偏差，因此深度图像与彩色图像之间存在视差，在一些应用中，需要对深度图像与彩色图像进行配准以消除视差，如不做特别说明在后面的描述中默认深度图像与二维图像之间没有视差。在一些实施例中，二维图像也可以包括其他图像，比如热红外图像、紫外图像等。存储器120用于存储数据信息，比如深度相机100中红外相机103或彩色相机的参数数据、用于计算深度图像的参考图像数据、3D表情制作程序数据、临时数据等等。存储器120可以有一个或多个，分布在系统的不同位置，比如由一个flash存储器嵌入到深度相机中，系统中还设置有RAM、ROM等存储器。处理器110分别与存储器120、深度相机100等连接，用于控制以及处理数据。在一些实施例中，处理器110包含至少两个子处理器，比如其中一个子处理器被嵌入在深度相机中执行深度图像的计算任务，即深度计算处理器。处理器110通过调用存储器中的程序来执行相关的指令。在一个实施例中，存储器120中存储有3D表情制作的程序，在3D表情任务激活后，处理器调用相关程序并执行以下3D表情制作方法，所述方法如图2所示：(1)提供标准表情模型。标准表情模型是预先设置好并保存在存储器中以被处理器调用。标准表情模型可以通过3D动画制作软件进行制作，也可以选择已有的模型，比如Candide-3模型、MPEG-4模型等。标准表情模型可以是单个模型，也可以包括多个不同表情下的基准模型。标准表情模型中含有可以进行变形的特征参数，比如对于Candide-3模型而言其特征参数包括多个AU(ActionUnits)参数、对于MPEG-4模型而言其特征参数包括多个静态参数FDPs和动态参数FAPs。在一些实施例中，标准表情模型也可以包括动物模型、植物模型以及虚拟物体模型等。标准表情模型可以在特征参数的驱动下进行变形，在一个实施例中，特征参数分为方位特征参数与表情特征参数，分别用来控制标准表情模型的方位控制与表情控制。(2)采集用户在当前表情下的人脸二维图像与人脸深度图像。处理器将向深度相机发出激发信号，深度相机在接收到激发信号后对其视场内的物体进行图像采集，比如以60fps的帧率交替采集红外图像与深度图像，由此可以分别获取30fps的红外图像与深度图像。由于是交替采集，因此若需要获取同一时刻的二维图像与深度图像，则需要进行进一步的处理，比如对相邻本文档来自技高网...

【技术保护点】
1.一种3D表情制作方法，其特征在于，包括如下步骤：S1：提供标准表情模型；S2：采集用户在当前表情下的人脸二维图像与人脸深度图像；S3：基于所述人脸二维图像与所述人脸深度图像驱动所述标准表情模型变形，生成与所述人脸表情一致的表情动画。

【技术特征摘要】
1.一种3D表情制作方法，其特征在于，包括如下步骤：S1：提供标准表情模型；S2：采集用户在当前表情下的人脸二维图像与人脸深度图像；S3：基于所述人脸二维图像与所述人脸深度图像驱动所述标准表情模型变形，生成与所述人脸表情一致的表情动画。2.如权利要求1所述的3D表情制作方法，其特征在于，所述人脸二维图像包括红外图像，所述红外图像与所述人脸深度图像是交替采集的。3.如权利要求1所述的3D表情制作方法，其特征在于，步骤S3中所述驱动包括：获取所述人脸深度图像与所述人脸二维图像中的方位特征参数和表情特征参数；依据所述表情特征参数以及所述方位特征参数驱动所述标准表情模型变形。4.如权利要求3所述的3D表情制作方法，其特征在于，还包括：基于所述表情特征参数获取与所述人脸表情一致的表情动画对应的文本和/或语音。5.如权利要求1所述的3D表情制作方法，其特征在于，还包括：同步采集所述用户的语音，识别所述语音并获取与所述语音对应的文本。6.如权利要5所述的3D表情制作方...

【专利技术属性】
技术研发人员：许星，钟亮洪，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东,44