一种人脸表情的识别方法及系统技术方案

本发明专利技术实施例公开了人脸表情的识别方法及系统，应用于信息处理技术领域。在本实施例的方法中，人脸表情的识别系统可以先将第一人脸图像转换为人脸为正脸的图像即第二人脸图像，该第二人脸图像中人脸的偏转角度为零，然后再根据第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定第二人脸图像中人脸的表情信息。由于在对人脸表情识别时，是根据待识别的第一人脸图像转换后得到的正脸图像的特征点信息来识别，这样消除了人脸偏转对人脸表情识别的影响，提高了人脸表情识别的准确性。

【技术实现步骤摘要】
一种人脸表情的识别方法及系统
本专利技术涉及信息处理
，特别涉及一种人脸表情的识别方法及系统。
技术介绍
人脸表情识别在应用在许多领域，比如身份识别，实时表情动画和跟踪技术等。在现有技术中，在进行人脸表情识别时，直接通过人脸特征点的几何关系，结合经验值的方式实时运算出人脸特征点到动作单元(ActionUnit，AU)的映射关系。比如针对闭眼表情的识别，通过检测人脸特征点中眼睛的几何位置，然后结合经验值得出闭眼表情对应的眼睛的最大张角作为判断阈值，然后根据具体检测到的眼睛张角与阈值进行比对，如果满足阈值条件则认为当前为闭眼表情。但是由于每个人之间，特征几何关系经验阈值存在较大差异，用经验方法很难找到一个适合大部分人的阈值，从而导致识别结果不够准确和鲁棒。
技术实现思路
本专利技术实施例提供一种人脸表情的识别方法及系统，实现了根据偏转角度为零的第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定第二人脸图像中人脸的表情信息。本专利技术实施例提供一种人脸表情的识别方法，包括：获取第一人脸图像中人脸的第一特征点信息；根据所述第一特征点信息计算所述第一人脸图像中人脸的第一偏转角度；根据所述第一偏转角度将所述第一人脸图像转换为第二人脸图像，所述第二人脸图像中人脸的偏转角度为零，且所述第二人脸图像是所述第一人脸图像中人脸偏转后得到的图像；根据所述第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定所述第二人脸图像中人脸的表情信息，其中，所述机器学习模型包括人脸表情信息与人脸特征点信息的对应关系。本专利技术实施例还提供一种人脸表情的识别系统，包括：信息获取单元，用于获取第一人脸图像中人脸的第一特征点信息；计算单元，用于根据所述第一特征点信息计算所述第一人脸图像中人脸的第一偏转角度；转换单元，用于根据所述第一偏转角度将所述第一人脸图像转换为第二人脸图像，所述第二人脸图像中人脸的偏转角度为零，且所述第二人脸图像是所述第一人脸图像中人脸偏转后得到的图像；识别单元，用于根据所述第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定所述第二人脸图像中人脸的表情信息，其中，所述机器学习模型包括人脸表情信息与人脸特征点信息的对应关系。可见，在本实施例的方法中，人脸表情的识别系统可以先将第一人脸图像转换为人脸为正脸的图像即第二人脸图像，该第二人脸图像中人脸的偏转角度为零，然后再根据第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定第二人脸图像中人脸的表情信息。由于在对人脸表情识别时，是根据待识别的第一人脸图像转换后得到的正脸图像的特征点信息来识别，这样消除了人脸偏转对人脸表情识别的影响，提高了人脸表情识别的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种人脸表情的识别方法的流程图；图2是本专利技术实施例中预置机器学习模型的方法流程图；图3是本专利技术实施例中计算人脸的偏转角度的方法流程图；图4是本专利技术实施例中将第一人脸图像转换为第二人脸图像的方法流程图；图5是本专利技术应用实施例中提供的一种人脸表情的识别方法的流程图；图6是本专利技术实施例提供的一种人脸表情的识别系统的结构示意图；图7是本专利技术实施例提供的另一种人脸表情的识别系统的结构示意图；图8是本专利技术实施例提供的一种终端设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本专利技术实施例提供一种人脸表情的识别方法，主要是人脸表情的识别系统所执行的方法，流程图如图1所示，包括：步骤101，获取第一人脸图像中人脸的第一特征点信息。这里的第一特征点信息至少包括第一人脸图像中人脸的轮廓信息，及人脸所包括的至少一个部位(比如眼睛，眉毛，嘴或鼻子等)的位置信息等。一般情况下，人脸的轮廓信息及每个部位的位置信息分别用多个特征点的二维位置信息(比如二维坐标)来表示，且每个部位的特征点的个数不同。在获取第一人脸图像中人脸的第一特征点信息时，人脸表情的识别系统可以采用自动标注方法对人脸的多个特征点进行标注，比如主动形状模型(ActiveShapeModel，ASM)方法，主动表现模型(activeappearancemodel，AAM)方法，级联回归模型方法或深度学习方法等。具体地，可以根据人脸所包括的各个部位在人脸中的几何位置标注得到相应部位的二维坐标。步骤102，根据第一特征点信息计算第一人脸图像中人脸的第一偏转角度。该第一偏转角度是相对于人脸为正脸的图像来说的，当第一人脸图像中人脸按照该第一偏转角度偏转后得到的图像为人脸是正脸的图像，且正脸的图像的第一偏转角度为零。由于偏转角度是三维空间中描述的特征，人脸表情的识别系统在执行本步骤时，可以将第一特征点信息中的二维位置信息投影到三维空间后再得到该第一偏转角度。步骤103，根据步骤102计算的第一偏转角度将第一人脸图像转换为第二人脸图像，第二人脸图像中人脸的偏转角度为零，且第二人脸图像是第一人脸图像中人脸偏转一定角度后得到的图像。步骤104，根据第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定第二人脸图像中人脸的表情信息，其中，机器学习模型包括人脸表情信息与人脸特征点信息的对应关系。这里预置的机器学习模型可以是人脸表情的识别系统事先设置在系统中的，具体可以根据多个训练样本图像训练得到，比如人脸表情信息“闭眼”与眼睛轮廓包括的多个特征点的位置信息(比如多个特征点所在的区域信息等)相对应，人脸表情信息“嘴角上扬45度”与嘴轮廓包括的多个特征点的位置信息相对应等。需要说明的是，机器学习模型中包括的人脸特征点信息是指人脸为正脸(即偏转角度为零的人脸)的特征点信息。在执行步骤104时，人脸表情的识别系统可以先获取到第二人脸图像中人脸的第二特征点信息，与上述步骤101中获取第一特征点信息的方法类似，在此不进行赘述；然后将第二特征点信息与机器学习模型进行匹配，获得机器学习模型中与第二特征点信息相匹配的人脸特征点信息对应的人脸表情信息；最后将匹配得到的人脸表情信息确定为第二人脸图像中人脸的表情信息。需要说明的是，上述步骤101到104是针对某一本文档来自技高网...

【技术保护点】
一种人脸表情的识别方法，其特征在于，包括：获取第一人脸图像中人脸的第一特征点信息；根据所述第一特征点信息计算所述第一人脸图像中人脸的第一偏转角度；根据所述第一偏转角度将所述第一人脸图像转换为第二人脸图像，所述第二人脸图像中人脸的偏转角度为零，且所述第二人脸图像是所述第一人脸图像中人脸偏转后得到的图像；根据所述第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定所述第二人脸图像中人脸的表情信息，其中，所述机器学习模型包括人脸表情信息与人脸特征点信息的对应关系。

【技术特征摘要】
1.一种人脸表情的识别方法，其特征在于，包括：获取第一人脸图像中人脸的第一特征点信息；根据所述第一特征点信息计算所述第一人脸图像中人脸的第一偏转角度；根据所述第一偏转角度将所述第一人脸图像转换为第二人脸图像，所述第二人脸图像中人脸的偏转角度为零，且所述第二人脸图像是所述第一人脸图像中人脸偏转后得到的图像；根据所述第二人脸图像中人脸的第二特征点信息及预置的机器学习模型，确定所述第二人脸图像中人脸的表情信息，其中，所述机器学习模型包括人脸表情信息与人脸特征点信息的对应关系。2.如权利要求1所述的方法，其特征在于，所述根据所述第二人脸图像中人脸的第二特征点信息及预置的机器学习模型之前，所述方法还包括：分别获取多个第一人脸训练图像中每个第一人脸训练图像中人脸的第三特征点信息和表情信息；根据所述第三特征点信息计算对应的所述第一人脸训练图像中人脸的第二偏转角度；根据所述第二偏转角度将对应的所述第一人脸训练图像转换为第二人脸训练图像，所述第二人脸训练图像中人脸的偏转角度为零，且所述第二人脸训练图像是所述第一人脸训练图像中人脸偏转后得到的图像；对多个所述第二人脸训练图像中人脸的第四特征点信息及所述多个第一人脸训练图像中人脸的表情信息进行训练得到所述机器学习模型。3.如权利要求2所述的方法，其特征在于，所述对多个所述第二人脸训练图像中人脸的第四特征点信息及所述多个第一人脸训练图像中人脸的表情信息进行训练得到所述机器学习模型，具体包括：针对具有某一相同表情信息的a个第一人脸训练图像分别对应的第二人脸训练图像中人脸相应部位的所述第四特征点信息，所述第四特征点信息中包括b个特征点的信息，提取各个所述第二人脸训练图像中所述b个特征点的位置特征信息；建立所述位置特征信息与所述某一相同表情信息的第一对应关系，所述机器学习模型中包括所述第一对应关系。4.如权利要求1至3任一项所述的方法，其特征在于，所述第一特征信息包括所述第一人脸图像中人脸的多个特征点的二维位置信息，则所述根据所述第一特征点信息计算所述第一人脸图像中人脸的偏转角度，具体包括：根据人脸三维模型，分别确定所述第一人脸图像中人脸的各个特征点的二维位置信息对应的三维位置信息；根据三维到二维的投影关系，二维位置信息及三维位置信息，建立关于旋转矩阵的最小误差模型；所述旋转矩阵是三维到二维的投影过程中的旋转矩阵；根据对所述最小误差模型进行求解得到所述旋转矩阵，将所述旋转矩阵分解得到所述第一人脸图像中人脸在各个方向的偏转角度，所述第一偏转角度包括所述各个方向的偏转角度。5.如权利要求4所述的方法，其特征在于，所述最小误差模型还包括三维到二维的投影过程中的空间偏移向量和缩放因子；所述根据所述第一偏转角度将所述第一人脸图像转换为第二人脸图像，具体包括：根据所述旋转矩阵，空间偏移向量和缩放因子将所述第一人脸图像中人脸的各个特征点的二维位置信息转化为真实三维位置信息；根据所述各个特征点的真实三维位置信息，将所述各个特征点分别按照所述偏转角度进行反向偏转，得到对应的偏转后的三维位置信息；根据所述旋转矩阵，空间偏移向量和缩放因子，将所述各个特征点的偏转后的三维位置信息分别转化为偏转后的二维位置信息，所述第二人脸图像中人脸的第二...

【专利技术属性】
技术研发人员：李斌，易成，王新亮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44