人脸表情提取方法、电子设备以及存储介质技术

本发明专利技术公开了一种人脸表情提取方法，包括通过提取人脸特征点，计算人脸几何特征值，并对非正对镜头人脸的进行修正系数计算，通过修正系数对几何特征值进行卡尔曼滤波和归一化，得到的特征值通过特定的顺序打包得到特征向量值，通过特征向量值算得似然率表示与6种基本表情的近似程度，归一化算得用于描述人脸基本情绪的第一组表情驱动指令，再通过第二组表情驱动指令对表情的表达作进一步的表达。本发明专利技术还包括一种电子设备和存储介质。本发明专利技术公开的人脸表情提取方法对计算能力要求更低，需要的存储空间更小，能够适用于移动平台灵活的实现真实人脸驱动虚拟人物。

Face Expression Extraction Method, Electronic Equipment and Storage Media

【技术实现步骤摘要】
人脸表情提取方法、电子设备以及存储介质
本专利技术涉及人脸识别领域，尤其涉及一种人脸表情提取方法。
技术介绍
目前，真实人脸去懂虚拟形象脸部运动一般采用变形器实现，驱动变形器最重要的一个环节就是提取真实人脸的表情，包括脸部器官的运动和基本情绪表达。现有人脸表情识别方法主要有两种方法：一种是基于整张人脸图像作为输入矩阵，提取其第一特征向量，与表情特征库匹配计算出当前人脸表情；另外也有通过深度学习的方法端到端的输出表情估计。两种方法需要更大的计算能力和存储空间，系统调优也相对困难。这些问题都不利于在移动平台灵活的实现真实人脸驱动虚拟人物表情。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种无需过多计算能力，在移动平台即可实现人脸表情识别。一种人脸表情提取方法，包括以下步骤获取第n时刻人脸特征点坐标，识别出第n时刻人脸各部位的特征点坐标，获取第n时刻人脸欧拉角；根据所述第n时刻人脸的各部位的特征点坐标计算出所述人脸的各部位的第一几何特征值f；根据所述欧拉角和预设的第一算法计算出修正系数；对所述第n时刻第一几何特征值f采用卡尔曼滤波算法进行滤波获得第二几何特征值；对所述滤波后的第二几何特征值进行非线性归一化得到第三几何特征值；对所述第三几何特征值按照预设的规则组成一个特征向量V，对所述特征向量进行转置得到Vt，对根据Vt和V得出特征向量矩阵M，其中，M＝Vt*V；从所述特征向量矩阵M中提取第一特征向量Vf，其中Vf为矩阵M的最大特征值对应的特征向量；根据径向基函数、预设的特征基准值以及所述第一特征向量计算出第n时刻的似然率，对计算出的似然率进行归一化处理得出第n时刻第一组表情驱动指令；根据所述第二几何特征值计算出第n时刻各部位的第二组表情参数，通过对第二组表情参数做非线性化处理，获得第二组表情驱动指令；根据第n时刻所述第一组表情驱动指令和所述第二组表情驱动指令，以驱动虚拟对象执行相应的表情。进一步地，述根据所述欧拉角和预设的第一算法计算出修正系数，具体根据以下第一算法公式算得，y(pitch)＝a1×pitch+b1；y(yaw)＝a2×yaw+b2；y(roll)＝a3×roll+b3；Y＝y(pitch)×y(yaw)×y(roll)；其中pitch,yaw,roll为欧拉角向量中的参数[pitch,yaw,roll]，其中Y为修正系数，参数[a1,b1,a2,b2,a3,b3]为人脸数据线性回归统计计算得到，人脸各部位的均有一组对应特定的参数；y(pitch)为头部俯仰时对几何特征的影响系数，y(yaw)为头部旋转时对几何特征的影响系数，y(roll)为头部左右摇摆时对几何特征的影响系数。进一步地，所述对所述第一几何特征值采用卡尔曼滤波算法进行滤波获得第二几何特征值，所述方法还包括，根据前两个时刻的第二几何特征进行先验估计；将当前人脸状态第一几何特征值结合所述修正系数与先验估计进行卡尔曼增益计算得到当前人脸状态第二几何特征值。进一步地，所述先验估计根据以下公式算得，Ypir(n)＝Ypost(n-1)+(Ypost(n-1)-Ypost(n-2))其中Ypir(n)为所述第n时刻人脸特征值进行先验估计得到结果，所述Ypir(n)为前两个时刻人脸所述第二几何特征值之差。进一步地，所述将第一几何特征值结合所述修正系数与先验估计进行卡尔曼增益计算得到第二几何特征值，根据以下公式算得第二几何特征值，K(n)＝Y(n)×P(n)÷(Y2×P(n)+Nobv)P(n)＝(1.0+D(n)÷Ypost(n-1))2×(1.0-K(n-1)×Y(n-1)×P(n-1)+NproYpost(n)＝Ypir(n)+K(n)×(f-Y(n)×Ypir(n))；Ypost(n)为第n时刻识别的人脸特征值经过卡尔曼滤波得到的第二几何特征值；K(n)为n时刻的卡尔曼增益，P(n)为n时刻的自相关先验；Npro表示过程噪声，Nobv表示观测噪声。进一步地，所述对所述第三几何特征值按照预设的规则组成一个特征向量V，人脸各部位的第二几何特征值按排列顺序组成特征向量V。进一步地，所述排列顺序为人脸的眼睛、嘴部、轮廓的所述第二几何特征，按顺序组合为所述特征向量V。进一步地，根据径向基函数、预设的特征基准值以及所述第一特征向量计算出似然率，具体根据以下公式计算，rbf(c(i),vf)其中rbf为径向基函数，c(i)表示所述预设的特征基准值，所述预设的特征基准值为径向基函数中心，其中i＝1，2，3，4，5，6，依次带入，得到值分别代表平静，高兴，惊讶，恐惧，发怒，沮丧表情的近似程度。一种电子设备，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现上述中任一项所述的人脸表情提取方法的步骤。一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一项所述的人脸表情提取方法。相比现有技术，本专利技术的有益效果在于：基于人脸特征点的定位，并且通过大量数据统计人脸非正对镜头的情况的下的参数，再经过滤波，使人脸表情的识别更快速更准确，并且相对现有的技术，对计算能力要求更低，需要的存储空间更小，能够适用于移动平台灵活的实现真实人脸驱动虚拟人物。附图说明图1为本专利技术的一种人脸表情提取方法实施例的流程示意图；图2为本专利技术的部分人脸特征点示意图；图3为本专利技术实施例的电子设备的结构示意图；图4为本专利技术实施例的存储介质的结构示意图。具体实施方式下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。请参看图1，图1是本发专利技术提供的一种基于人脸特征点的表情提取方法的流程示意图。本专利技术可通过计算得到修正系数，再通过卡尔曼滤波进行图像滤波得到更准确的人脸表情特征值，进而提取的表情更准确生动。该方法的步骤包括：步骤S101：获取第n时刻人脸特征点坐标，识别出第n时刻人脸各部位的特征点坐标；获取第n时刻人脸的欧拉角；以图2人脸的部分人脸特征点示意图为例，通过影像获取设备，进行人脸录入。影像获取设备可以是摄像机或者智能手机的摄像头。并通过计算机程序可识别出人脸的特征点坐标，并将特征点进行分组，分为左眼、右眼、左边眉毛、右边眉毛、鼻子、嘴部、轮廓部分。通过上述影像获取设备获取人脸的欧拉角。其中人脸的欧拉角{pitch，yaw，roll}，其中pitch表示人脸俯仰角，yaw表示人脸偏航角，roll表示人脸滚转角。步骤S103：根据所述第n时刻人脸的各部位的特征点坐标计算出所述人脸的各部位的第一几何特征值f；通过识别出的人脸特征点坐标，计算出第n时刻人脸各个部分的第一几何特征值，如眼部的第一几何特征值包括，眼角距离，上下眼睑距离，瞳孔与眼角距离，左眼睑右眼睑距离的。眉毛需要计算眉尖与眼角距离，眉毛与眼睑距离等；嘴部计算嘴角距离，上下嘴唇距离，嘴唇厚度比，左右嘴角与鼻尖-嘴中心轴线距离比等；脸部轮廓提取脸部圆度，颧骨宽度与腮部宽度比，左右腮部轮廓与鼻尖-嘴中心轴线距离比等。步骤S105：根据所述欧拉角和预设的第一算法计算出修正系数；因为人脸朝向的改变，相同的人脸表情，影像获取设备获取的人脸本文档来自技高网...

【技术保护点】
1.一种人脸表情提取方法，其特征在于，包括以下步骤获取第n时刻人脸特征点坐标，识别出第n时刻人脸各部位的特征点坐标，获取第n时刻人脸欧拉角；根据所述第n时刻人脸的各部位的特征点坐标计算出所述人脸的各部位的第一几何特征值f；根据所述欧拉角和预设的第一算法计算出修正系数；对所述第n时刻第一几何特征值f采用卡尔曼滤波算法进行滤波获得第二几何特征值；对所述滤波后的第二几何特征值进行非线性归一化得到第三几何特征值；对所述第三几何特征值按照预设的规则组成一个特征向量V，对所述特征向量进行转置得到Vt，对根据Vt和V得出特征向量矩阵M，其中，M＝Vt*V；从所述特征向量矩阵M中提取第一特征向量Vf，其中Vf为矩阵M的最大特征值对应的特征向量；根据径向基函数、预设的特征基准值以及所述第一特征向量计算出第n时刻的似然率，对计算出的似然率进行归一化处理得出第n时刻第一组表情驱动指令；根据所述第二几何特征值计算出第n时刻各部位的第二组表情参数，通过对第二组表情参数做非线性化处理，获得第二组表情驱动指令；根据第n时刻所述第一组表情驱动指令和所述第二组表情驱动指令，以驱动虚拟对象执行相应的表情。

【技术特征摘要】
1.一种人脸表情提取方法，其特征在于，包括以下步骤获取第n时刻人脸特征点坐标，识别出第n时刻人脸各部位的特征点坐标，获取第n时刻人脸欧拉角；根据所述第n时刻人脸的各部位的特征点坐标计算出所述人脸的各部位的第一几何特征值f；根据所述欧拉角和预设的第一算法计算出修正系数；对所述第n时刻第一几何特征值f采用卡尔曼滤波算法进行滤波获得第二几何特征值；对所述滤波后的第二几何特征值进行非线性归一化得到第三几何特征值；对所述第三几何特征值按照预设的规则组成一个特征向量V，对所述特征向量进行转置得到Vt，对根据Vt和V得出特征向量矩阵M，其中，M＝Vt*V；从所述特征向量矩阵M中提取第一特征向量Vf，其中Vf为矩阵M的最大特征值对应的特征向量；根据径向基函数、预设的特征基准值以及所述第一特征向量计算出第n时刻的似然率，对计算出的似然率进行归一化处理得出第n时刻第一组表情驱动指令；根据所述第二几何特征值计算出第n时刻各部位的第二组表情参数，通过对第二组表情参数做非线性化处理，获得第二组表情驱动指令；根据第n时刻所述第一组表情驱动指令和所述第二组表情驱动指令，以驱动虚拟对象执行相应的表情。2.根据权利要求1所述的人脸表情提取方法，其特征在于，所述根据所述欧拉角和预设的第一算法计算出修正系数，具体根据以下第一算法公式算得，y(pitch)＝a1×pitch+b1；y(yaw)＝a2×yaw+b2；y(roll)＝a3×roll+b3；Y＝y(pitch)×y(yaw)×y(roll)；其中pitch,yaw,roll为欧拉角向量中的参数[pitch,yaw,roll]，其中Y为修正系数，参数[a1,b1,a2,b2,a3,b3]为人脸数据线性回归统计计算得到，人脸各部位的均有一组对应特定的参数；y(pitch)为头部俯仰时对几何特征的影响系数，y(yaw)为头部旋转时对几何特征的影响系数，y(roll)为头部左右摇摆时对几何特征的影响系数。3.根据权利要求2所述的人脸表情提取方法，其特征在于，所述对所述第一几何特征值采用卡尔曼滤波算法进行滤波获得第二几何特征值，所述方法还包括，根据前两个时刻的第二几何特征进行先验估计；将当前人脸状态第一几何特征值结合所述修正系数与先验估计进行卡尔曼增益计算得到当前人脸状态第二几何特征值。4.根据权利要...

【专利技术属性】
技术研发人员：蒋明，
申请(专利权)人：深圳有咖互动科技有限公司，
类型：发明
国别省市：广东,44