人脸表情识别方法及装置制造方法及图纸

本发明专利技术适用于人脸表情识别技术领域，提供了人脸表情识别方法及装置，包括：获取待处理图像；从所述待处理图像中提取人脸图像；基于深度学习对所述人脸图像进行表情分类，获取所述人脸图像的人脸表情标签，其中，所述人脸表情标签指示所述人脸的表情；对所述人脸图像进行人脸验证，获取人脸验证结果，其中，所述人脸验证结果指示所述人脸所属的用户的信息；显示所述人脸表情标签和所述人脸验证结果。通过本发明专利技术可解决现有技术中表情识别的准确率较低，且表情缺乏关联，无法获知同一用户的不同表情的问题。

Facial expression recognition method and device

The invention is applicable to the field of facial expression recognition technology, providing a face expression recognition method and device, including: obtaining an image to be treated, extracting a face image from the image to be processed, classifying the face image by depth learning, and obtaining the facial expression label of the face image, among which, The facial expression label indicates the facial expression of the face, verifying the face image and obtaining the result of the face verification, in which the face verification results indicate the information of the user belonging to the face, and display the facial expression label and the face verification result. The invention can solve the problem of low accuracy of expression recognition in the existing technology, and lack of expression, and can not get the same expression of the same user.

【技术实现步骤摘要】
人脸表情识别方法及装置
本专利技术属于人脸表情识别
，尤其涉及人脸表情识别方法及装置。
技术介绍
人脸表情识别是指从给定的图像中分析检测出人脸的表情状态，从而确定出被识别对象的心理情绪，例如，自然、高兴、生气、吃惊等。人脸表情识别是一个重要的领域，其有助于人物心情分析，人物性格分析，抑郁症检测等众多领域的发展。因此解决人脸表情识别人体具有十分重要的价值。然而，现有的人脸表情识别对表情特征的鲁棒性较差，容易受到身份信息等噪声的干扰，导致表情识别的准确率较低。同时目前的表情识别算法通常只能进行目标表情识别，表情缺乏关联，无法获知同一用户的不同表情。故，有必要提出一种新的技术方案，以解决上述技术问题。
技术实现思路
有鉴于此，本专利技术提供了人脸表情识别方法及装置，以解决现有技术中表情识别的准确率较低，且表情缺乏关联，无法获知同一用户的不同表情的问题。本专利技术的第一方面提供了一种人脸表情识别方法，所述人脸表情识别方法包括：获取待处理图像；从所述待处理图像中提取人脸图像；基于深度学习对所述人脸图像进行表情分类，获取所述人脸图像的人脸表情标签，其中，所述人脸表情标签指示所述人脸的表情；对所述人脸图像进行人脸验证，获取人脸验证结果，其中，所述人脸验证结果指示所述人脸所属的用户的信息；显示所述人脸表情标签和所述人脸验证结果。本专利技术的第二方面提供了一种人脸表情识别装置，所述人脸表情识别装置包括：图像获取模块，用于获取待处理图像；人脸提取模块，用于从所述待处理图像中提取人脸图像；表情分类模块，用于基于深度学习对所述人脸图像进行表情分类，获取所述人脸图像的人脸表情标签，其中，所述人脸表情标签指示所述人脸的表情；人脸验证模块，用于对所述人脸图像进行人脸验证，获取人脸验证结果，其中，所述人脸验证结果指示所述人脸所属的用户的信息；显示模块，用于显示所述人脸表情标签和所述人脸验证结果。本专利技术的第三方面提供了一种人脸表情识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述人脸表情识别方法的步骤。本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述人脸表情识别方法的步骤。本专利技术与现有技术相比存在的有益效果是：本专利技术方案获取待处理图像，从该待处理图像中提取人脸图像，并基于深度学习对该人脸图像进行表情分类，获取该人脸图像的人脸表情标签，通过对人脸图像进行人脸验证，可以获取人脸验证结果，从而获知该人脸所属的用户。本专利技术方案通过基于深度学习对人脸图像中的表情进行识别，提高了表情识别的准确性，并通过对人脸图像进行人脸验证，可将人脸图像中的表情进行关联，判断是否属于同一用户的不同表情。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的人脸表情识别方法的实现流程示意图；图2a是同一用户的不同表情的示例图；图2b是不同用户的表情的示例图；图3是本专利技术实施例二提供的人脸表情识别方法的实现流程示意图；图4是本专利技术实施例三提供的人脸表情识别方法的实现流程示意图；图5是本专利技术实施例四提供的人脸表情识别装置的示意图；图6是本专利技术实施例五提供的人脸表情识别装置的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。参见图1，是本专利技术实施例一提供的人脸表情识别方法的实现流程示意图，如图所示该人脸表情识别方法可以包括以下步骤：步骤S101，获取待处理图像。在本专利技术实施例中，所述待处理图像可以是直接向人脸表情识别装置输入的图像，也可以是通过向人脸表情识别装置输入视频获取的图像或者人脸表情识别装置直接连接摄像装置获取的图像。其中，使用视频或者摄像装置通常是从视频中提取每一帧进行处理。需要说明的是，所述待处理图像的数量可以为一个或者多个，在此不做限定。例如，待处理图像为视频相隔一秒的两帧图像，即待处理图像的数量为两个。步骤S102，从所述待处理图像中提取人脸图像。在本专利技术实施例中，可以通过Dlib机器学习库确定待处理图像中人脸的位置信息，然后从待处理图像中进行人脸提取，Dlib是一个由C++编写的机器学习库，包含了许多机器学习常用算法。如果待处理图像中包含多个人脸，那么在对待处理图像中的人脸进行提取后，可能会获得多个大小不同的人脸图像，然后再对获得的多个人脸图像分别进行表情分类和人脸验证，以识别出每个人脸的表情，并获取每个人脸所属的用户的信息，从而可判断多个人脸是否属于同一用户。步骤S103，基于深度学习对所述人脸图像进行表情分类，获取所述人脸图像的人脸表情标签。其中，所述人脸表情标签指示所述人脸的表情。在本专利技术实施例中，可以通过卷积神经网络(ConvolutionalNeuralNetwork，CNN)对所述人脸图像进行表情分类，即识别出所述人脸图像中人脸的表情。步骤S104，对所述人脸图像进行人脸验证，获取人脸验证结果。其中，所述人脸验证结果指示所述人脸所属的用户的信息。在本专利技术实施例中，可以通过人脸验证模型(例如DeepID人脸验证模型)对所述人脸图像进行人脸验证，具体可以是通过人脸验证模型验证所述人脸图像中的人脸属于人脸表情数据库中的哪个用户的人脸。其中，人脸表情数据库中可以存储多个用户的信息以及多个用户中每个用户的人脸表情本文档来自技高网...

【技术保护点】
一种人脸表情识别方法，其特征在于，所述人脸表情识别方法包括：获取待处理图像；从所述待处理图像中提取人脸图像；基于深度学习对所述人脸图像进行表情分类，获取所述人脸图像的人脸表情标签，其中，所述人脸表情标签指示所述人脸的表情；对所述人脸图像进行人脸验证，获取人脸验证结果，其中，所述人脸验证结果指示所述人脸所属的用户的信息；显示所述人脸表情标签和所述人脸验证结果。

【技术特征摘要】
1.一种人脸表情识别方法，其特征在于，所述人脸表情识别方法包括：获取待处理图像；从所述待处理图像中提取人脸图像；基于深度学习对所述人脸图像进行表情分类，获取所述人脸图像的人脸表情标签，其中，所述人脸表情标签指示所述人脸的表情；对所述人脸图像进行人脸验证，获取人脸验证结果，其中，所述人脸验证结果指示所述人脸所属的用户的信息；显示所述人脸表情标签和所述人脸验证结果。2.如权利要求1所述的人脸表情识别方法，其特征在于，所述基于深度学习对所述人脸图像进行表情分类，获取所述人脸图像的人脸表情标签包括：将所述人脸图像的大小调整至第一预设大小；从调整后的所述人脸图像中的N个预设位置处分别分割出一个大小为第二预设大小的图像，其中，N为大于零的整数；将分割出的N个图像输入至卷积神经网络CNN表情分类模型中进行预测，获取所述人脸图像的人脸表情标签。3.如权利要求2所述的人脸表情识别方法，其特征在于，所述将分割出的N个图像输入至卷积神经网络CNN表情分类模型中进行预测，获取所述人脸图像的人脸表情标签包括：将分割出的N个图像输入至CNN表情分类模型中进行预测，获取多种人脸表情在所述N个图像中每个图像的预测概率；根据所述多种人脸表情在所述N个图像中每个图像的预测概率，计算所述多种人脸表情中每种人脸表情在所述N个图像中的预测概率的均值；将所述多种人脸表情中预测概率的均值最大的人脸表情作为所述人脸图像的人脸表情标签。4.如权利要求1至3任一项所述的人脸表情识别方法，其特征在于，所述对所述人脸图像进行人脸验证，获取人脸验证结果包括：将所述人脸图像的大小调整至第三预设大小；将调整后的所述人脸图像分割成多个图像；将所述多个图像输入至人脸验证模型，获取所述人脸在人脸表情数据库中每个用户的分类概率；若所述分类概率中的最大值大于预设阈值，则确定所述人脸所属的用户为所述分类概率中的最大值对应的用户。5.如权利要求4所述的人脸表情识别方法，其特征在于，所述人脸表情识别方法还包括：若所述分类概率中的最大值小于或等于预设阈值，则确定所述人脸表情数据库中不存在所述人脸所属的用户；将所述人脸表情标签和所述人脸所属的用户的信息添加至所述人脸表情数据库。6.一种人脸表情识别装置，其特征在于，所述人脸表情识别装置包括：图像获取模块，用于获取待处理图像；人脸提取模块，用于从所述待处理图像中提取人脸图像；表情分类模块，用于...

【专利技术属性】
技术研发人员：吴世豪，胡希平，程俊，张星明，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44