脸部表情建构方法、装置及非暂态电脑可读取记录媒体制造方法及图纸

本公开涉及一种脸部表情建构方法、装置及非暂态电脑可读取记录媒体。该脸部表情建构方法，应用于脸部表情建构装置中，包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接两个二维影像以及视差图为三通道特征图；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合权重；以及根据形状融合权重建构三维脸部表情。本发明专利技术的脸部表情建构方法、装置及非暂态电脑可读取记录媒体可提高脸部表情建构的精确度。

Facial expression construction methods, devices and non transient computer readable recording media

【技术实现步骤摘要】
脸部表情建构方法、装置及非暂态电脑可读取记录媒体
本专利技术涉及三维影像技术，且特别涉及一种脸部表情建构方法、装置及非暂态电脑可读取记录媒体。
技术介绍
捕捉并处理人类的几何特征、表情与动作，是在现代电脑动画的技术核心。数字演员常通过结合三维扫描与特征获取来创造。然而，现存的技术中的缺点是，无法准确的估测用以表现脸部表情细节的权重。因此，如何设计一个新的脸部表情建构方法、装置及非暂态电脑可读取记录媒体，以解决上述的缺失，乃为此一业界亟待解决的问题。
技术实现思路
本专利技术的目的在于提供一种脸部表情建构方法、装置及非暂态电脑可读取记录媒体，以提高脸部表情建构的精确度。本专利技术的一实施方式在于提供一种脸部表情建构方法，应用于脸部表情建构装置中，包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接(concatenate)两个二维影像以及视差图为三通道特征图(featuremap)；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合(blendshape)权重；以及根据形状融合权重建构三维脸部表情。于一实施例中，权重计算神经网络为卷积神经网络(convolutionneuralnetwork；CNN)，配置以对三通道特征图进行卷积，以产生形状融合权重。于一实施例中，脸部表情建构方法，还包含根据二维影像由深度计算神经网络进行深度学习运算，以产生视差图，其中深度计算神经网络为卷积神经网络。于一实施例中，脸部表情建构方法，还包含计算形状融合权重与多个预设权重间的误差值，以评估形状融合权重的准确度。于一实施例中，误差值为形状融合权重与预设权重间的均方误差(mean-squareerror)。于一实施例中，二影像获取模块分别为红外光影像获取模块，脸部表情建构方法还包含：使红外光发射模块照射脸部，以由二影像获取模块获取两个二维影像。本专利技术的另一实施方式在于提供一种脸部表情建构装置，包括：存储模块以及处理模块。存储模块配置以存储多个电脑可执行指令。处理模块电性耦接于存储模块，并配置以获取并执行电脑可执行指令，以执行脸部表情建构方法。脸部表情建构方法包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接两个二维影像以及视差图为三通道特征图；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合权重；以及根据形状融合权重建构三维脸部表情。于一实施例中，权重计算神经网络为卷积神经网络，配置以对三通道特征图进行卷积，以产生形状融合权重。于一实施例中，脸部表情建构方法还包含：根据二维影像由深度计算神经网络进行深度学习运算，以产生视差图，其中深度计算神经网络为卷积神经网络。本专利技术的又一实施方式在于提供一种非暂态电脑可读取记录媒体，配置以存储应用程序以通过脸部表情建构装置执行脸部表情建构方法。脸部表情建构方法包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接两个二维影像以及视差图为三通道特征图；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合权重；以及根据形状融合权重建构三维脸部表情。本专利技术的脸部表情建构装置及脸部表情建构方法不仅根据二维影像中脸部的二维位置信息，亦根据脸部的深度信息来产生形状融合权重。脸部表情的建构将具有更高的精确度。附图说明图1为本专利技术一实施例中，一种脸部表情建构装置的方框图；图2为本专利技术一实施例中，一种脸部表情建构方法的流程图；以及图3为本专利技术一实施例中，根据脸部表情建构装置的运行所实现的系统的方框图。附图标记说明：1：脸部表情建构装置100、110：影像获取模块120：存储模块125：电脑可执行指令130：处理模块140：红外光发射模块150：脸部200：脸部表情建构方法201-205：步骤3：系统300：深度计算神经网络310：串接单元320：权重计算神经网络DP：视差图IM1、IM2：二维影像IR：红外光TFP：三通道特征图WE：形状融合权重具体实施方式请参照本公开内容的实施例，其中以下的范例将搭配附图进行说明。在附图及说明中所使用相同的元件符号，将指称相同或类似的元件。须注意的是，在说明书以及权利要求中所进行的叙述中，当元件被描述为“连接”或“耦接”至另一元件时，其可为直接连接或耦接至另一元件，或是可能存在有中间的元件。相对的，当元件被描述为“直接连接”或“直接耦接”至另一元件时，将不会有中间的元件存在。更进一步地，“电性连接”或“连接”可更用以指称两个或多个元件间的交互操作以及互动。须注意的是，在说明书以及权利要求中所进行的叙述中，虽然“第一”、“第二”等用语可用以描述不同的元件，这些元件可不被这些用语所限制。这些用语仅用以区分不同的元件。举例来说，第一元件亦可被改称为第二元件，且类似地，第二元件亦可被改称第一元件，而不会悖离实施例的范围。须注意的是，在说明书以及权利要求中所进行的叙述中，“包含”、“包括”、“具有”、“含有”及类似的用语是被理解为开放性的，例如表示“包含，但不限于”。须注意的是，在说明书以及权利要求中所进行的叙述中，“及/或”的语句包含所列举的一个或多个相关事物中的任何以及全部的组合。须注意的是，在说明书以及权利要求中所进行的叙述中，在以下的实施例的叙述中用以指称方向的词汇，例如“上”、“下”、“左”、“右”、“前”及“后”，是与附图中的方向相关。因此，这样指称方向的词汇是用以叙述，而非限制本公开内容。须注意的是，在说明书以及权利要求中所进行的叙述中，除非另行定义，所有的用语(包含技术性或是科学性用语)具有任何本公开内容所属
的通常知识者所普遍理解的相同意义。须更进一步了解的是，此些用语，例如定义于常用的字典者，除非特别定义，否则需解读为具有与在相关的
所使用的相同意义，而不能被广泛地解读。请参照图1。图1为本专利技术一实施例中，一种脸部表情建构装置1的方框图。脸部表情建构装置1包含二影像获取模块100及110、存储模块120以及处理模块130。于一实施例中，影像获取模块100及110电性耦接于处理模块130。影像获取模块100及110配置以获取两个二维影像IM1及IM2。更详细地说，影像获取模块100获取二维影像IM1，影像获取模块110获取二维影像IM2。于一实施例中，存储模块120可为例如，但不限于光盘、随机存取存储器(randomaccessmemory；RAM)、只读存储器(readonlymemory；ROM)、软碟、硬盘或光学磁盘片。存储模块120配置以存储多个电脑可执行指令125。处理模块130电性耦接于存储模块120。于一实施例中，处理模块130配置以获取并执行电脑可执行指令1本文档来自技高网...

【技术保护点】
1.一种脸部表情建构方法，应用于一脸部表情建构装置中，其特征在于，包括：/n接收由二影像获取模块获取包含一脸部表情的两个二维影像；/n根据该两个二维影像进行一深度学习运算，以产生一视差图；/n串接该两个二维影像以及该视差图为一三通道特征图；/n通过一权重计算神经网络对该三通道特征图进行计算，以产生多个形状融合权重；以及/n根据该等形状融合权重建构一三维脸部表情。/n

【技术特征摘要】
20180810 US 62/717,0021.一种脸部表情建构方法，应用于一脸部表情建构装置中，其特征在于，包括：
接收由二影像获取模块获取包含一脸部表情的两个二维影像；
根据该两个二维影像进行一深度学习运算，以产生一视差图；
串接该两个二维影像以及该视差图为一三通道特征图；
通过一权重计算神经网络对该三通道特征图进行计算，以产生多个形状融合权重；以及
根据该等形状融合权重建构一三维脸部表情。


2.如权利要求1所述的脸部表情建构方法，其特征在于，该权重计算神经网络为一卷积神经网络，配置以对该三通道特征图进行卷积，以产生该等形状融合权重。


3.如权利要求1所述的脸部表情建构方法，其特征在于，该脸部表情建构方法还包含：
根据该二维影像由一深度计算神经网络进行该深度学习运算，以产生该视差图，其中该深度计算神经网络为一卷积神经网络。


4.如权利要求1所述的脸部表情建构方法，其特征在于，该脸部表情建构方法还包含：
计算该等形状融合权重与多个预设权重间的一误差值，以评估该等形状融合权重的一准确度。


5.如权利要求4所述的脸部表情建构方法，其特征在于，该误差值为该等形状融合权重与该等预设权重间的一均方误差。


6.如权利要求1所述的脸部表情建构方法，其特征在于，该二影像获取模块分别为一红外光影像获取模块，该脸部表情建构方法还包含：
使一红外光发射模块照射一脸部，以由该二影像获取模块获取该两个二维影像...

【专利技术属性】
技术研发人员：王士豪，孙信庆，林政宪，杨宏毅，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：中国台湾;71