基于三点定位方法的多尺寸人脸表情识别方法及装置制造方法及图纸

本申请实施例公开了基于三点定位方法的多尺寸人脸表情识别方法及装置，用于准确识别出人脸并进行表情识别，提高了人脸识别模型识别人脸的正确率。本申请实施例方法包括：服务器接收摄像头拍摄的图像信息，所述图像信息中包含有第一人脸数据；所述服务器将所述图像信息输入人脸检测器；所述服务器根据人脸检测器检测出所述第一人脸数据中的候选人脸数据；所述服务器对所述候选人脸数据进行三点定位；所述服务器判断所述候选人脸数据是否三点定位成功；若是，则所述服务器确定第二人脸数据；所述服务器将所述第二人脸数据输入至表情识别模型；所述服务器利用所述表情识别模型输出所述第二人脸数据所具有的表情。

【技术实现步骤摘要】
基于三点定位方法的多尺寸人脸表情识别方法及装置
本申请涉及人脸识别技术，特别涉及人脸表情识别技术。
技术介绍
人脸表情是人类交流的一种有效表达方式，影视剧娱乐公司为了促进文化和自身公司的商业发展，提升公演和播放的影视剧作品的价值至关重要，其中，通过分析观众在观剧时的表情能够有助于公司自身制定更好的战略，并且，通过分析表演过程中观众在观看精彩或失误的片段时的表情，能够促进影视剧作品以及表演者演技的进一步提升。这就需要在环境昏暗、光照闪烁不定的剧场环境中，对观众的表情进行准确的识别。现有的表情识别的方法中，通常是服务器先使用人脸检测器检测出图像信息中的待进一步检测的人脸数据，然后对待进一步检测的人脸数据进行五点定位，即通过人脸的五个特征点(左眼、右眼、鼻子、左嘴角和右嘴角)，定位成功的人脸数据将会被输入到表情识别模型，并由表情识别模型输出人脸数据所具有的表情。然而由于剧场的空间很大，拍摄图片时人脸在图片中所占的比例很小，一个人脸可能只有20×20像素，在800万像素的画面可以同时容纳80-120个人脸，因此服务器使用五点定位法对于人脸的关键特征点的捕捉难度非常大，人脸定位的准确度低下，这样就难以得到准确的人脸数据，以至难以准确输出人脸数据的表情。
技术实现思路
本申请实施例提供了基于三点定位方法的多尺寸人脸表情识别的方法以及装置，能够通过对人脸进行三点定位，准确捕捉人脸的关键特征点，提高了对小人脸定位的准确度，得到更准确的人脸数据和表情数据。本申请实施例提供了基于三点定位方法的多尺寸人脸表情识别的方法，包括：服务器接收摄像头拍摄的图像信息，所述图像信息中包含有第一人脸数据；所述服务器将所述图像信息输入人脸检测器；所述服务器根据人脸检测器检测出所述第一人脸数据中的候选人脸数据；所述服务器对所述候选人脸数据进行三点定位；所述服务器判断所述候选人脸数据是否三点定位成功；若是，则所述服务器确定第二人脸数据；所述服务器将所述第二人脸数据输入至表情识别模型；所述服务器利用所述表情识别模型输出所述第二人脸数据所具有的表情。可选地，所述三点定位为所述服务器对所述候选人脸数据中的左眼中心、右眼中心以及鼻尖进行定位。可选地，所述人脸检测器为多尺寸人脸检测器。可选地，所述表情识别模型是输出为64位的FaceNet。本申请实施例提供了一种基于三点定位方法的多尺寸人脸表情识别装置，包括：接收单元，用于接收摄像头拍摄的图像信息，所述图像信息中包含有第一人脸数据；第一输入单元，用于将所述图像信息输入人脸检测器；检测单元，用于根据人脸检测器检测出所述第一人脸数据中的候选人脸数据；定位单元，用于对所述候选人脸数据进行三点定位；判断单元，用于判断所述候选人脸数据是否三点定位成功；若是，则确定第二人脸数据；第二输入单元，用于将所述第二人脸数据输入至表情识别模型；输出单元，用于利用所述表情识别模型输出所述第二人脸数据所具有的表情。可选地，所述三点定位为所述服务器对所述候选人脸数据中的左眼中心、右眼中心以及鼻尖进行定位。可选地，所述表情识别模型是输出为64位的FaceNet。本申请实施例提供了一种基于三点定位方法的多尺寸人脸表情识别装置，该基于三点定位方法的多尺寸人脸表情识别装置具有实现上述基于三点定位方法的多尺寸人脸表情识别的方法中基于三点定位方法的多尺寸人脸表情识别装置的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。本申请实施例提供了一种计算机存储介质，该计算机存储介质用于储存上述基于三点定位方法的多尺寸人脸表情识别装置所用的计算机软件指令，其包括用于执行为基于三点定位方法的多尺寸人脸表情识别装置所设计的程序。本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述基于三点定位方法的多尺寸人脸表情识别方法的流程。从以上技术方案可以看出，本申请实施例具有以下优点：服务器根据人脸检测器检测出候选的人脸数据后，对候选人脸数据进行三点定位，即对人脸的左眼、右眼和鼻子进行定位，然后将三点定位成功的人脸数据输入表情识别模型，并由表情识别模型输出人脸数据所具有的表情。由于剧场中拍摄的图片上有很多人脸，且这些人脸所占图片的比例都很小，人脸中的各个器官部位清晰度较差，甚至会发生服务器无法准确辨认人脸中的各个部位，例如难以辨认左嘴角和鼻子的准确位置，使用三点定位法，只需对人脸的三个部位进行定位，这样即使出现部分人脸器官的位置难以辨认的情况，也不会影响定位的准确性，从而准确捕捉人脸的关键特征点，提高了对小人脸定位的准确度，得到更准确的人脸数据和表情数据。附图说明图1为本申请实施例中基于三点定位方法的多尺寸人脸表情识别方法的一个实施例示意图；图2为本申请实施例中基于三点定位方法的多尺寸人脸表情识别方法的另一个实施例示意图；图3为本申请实施例中基于三点定位方法的多尺寸人脸表情识别方法的另一个实施例示意图；图4为本申请实施例中基于三点定位方法的多尺寸人脸表情识别装置的一个实施例示意图；图5为本申请实施例中基于三点定位方法的多尺寸人脸表情识别装置的另一个实施例示意图。具体实施方式人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术。人脸识别系统(即人脸识别器)主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。输入人脸识别系统的一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图像或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。面部表情识别是指利用计算机对人脸的面部表情信息进行特征提取，按照人的认识和思维方式加以归类和理解，进而从人脸表情信息中去分析理解人的情绪，如高兴、悲伤、惊讶、恐惧、愤怒和厌恶等。表情识别系统(即表情识别器)一般分为四个处理过程，人脸图像的获取与预处理、人脸检测、表情特征提取和表情分类。特征提取是人脸表情识别中的核心步骤，是识别技术的关键，决定着最终的识别结果，直接影响识别率的高低。近年来在机器学习领域出现了以深度学习(DeepLearning)为突破点的纯数据驱动的特征学习算法，其本质上是对深层结构的模型进行训练的一类方法的统称。深层结构模型通过分层逐级地表示特征，它舍弃了依靠人工精心设计的显式特征提取方法，通过逐层地构建一个多层的深度神经网络(拥有数十隐层、数千万甚至过亿的网络参数)，让机器自主地从样本数据中学习到表征这些样本的更加本质的特征，从而使得学习到的特征更具有推广性和表征能力。本申请实施例提供了基于三点定位方法的多尺寸人脸表情识别方法及装置，能够通过对人脸进行三点定位，准确捕捉人脸的关键特征点，提高了对小人脸定位的准确度，得到更准确的人脸数据和表情数据。下面结合附图对本申请实施例提供的基于三点定位方法的多尺寸人脸表情识别方法及装置做详细说明。请参阅图1，本申请实施例中基于三点定位方法的多尺寸人脸表情识别的方法的一个实施例包括：101、服务器接收摄像头拍摄的图像信息，该图像信本文档来自技高网...

【技术保护点】
1.一种基于三点定位方法的多尺寸人脸表情识别的方法，其特征在于，包括：服务器接收摄像头拍摄的图像信息，所述图像信息中包含有第一人脸数据；所述服务器将所述图像信息输入人脸检测器；所述服务器根据人脸检测器检测出所述第一人脸数据中的候选人脸数据；所述服务器对所述候选人脸数据进行三点定位；所述服务器判断所述候选人脸数据是否三点定位成功；若是，则所述服务器确定第二人脸数据；所述服务器将所述第二人脸数据输入至表情识别模型；所述服务器利用所述表情识别模型输出所述第二人脸数据所具有的表情。

【技术特征摘要】
1.一种基于三点定位方法的多尺寸人脸表情识别的方法，其特征在于，包括：服务器接收摄像头拍摄的图像信息，所述图像信息中包含有第一人脸数据；所述服务器将所述图像信息输入人脸检测器；所述服务器根据人脸检测器检测出所述第一人脸数据中的候选人脸数据；所述服务器对所述候选人脸数据进行三点定位；所述服务器判断所述候选人脸数据是否三点定位成功；若是，则所述服务器确定第二人脸数据；所述服务器将所述第二人脸数据输入至表情识别模型；所述服务器利用所述表情识别模型输出所述第二人脸数据所具有的表情。2.根据权利要求1所述的方法，其特征在于，所述三点定位为所述服务器对所述候选人脸数据中的左眼中心、右眼中心以及鼻尖进行定位。3.根据权利要求1或2所述的方法，其特征在于，所述人脸检测器为多尺寸人脸检测器。4.根据权利要求3所述的方法，其特征在于，所述表情识别模型是输出为64位的FaceNet。5.一种基于三点定位方法的多尺寸人脸表情识别装置，其特征在于，包括：接收单元，用于接收摄像头拍摄的图像信息，所述图像信息中包含有第一人脸数据；第一输入单元，用于将所述图像信息输入人脸检测器；检测单元，用于根据人脸检测器检测出所述第一人脸数据中的候选人脸数据；定位单元，用于对所述候选人脸数据进行三点定位；判断单元，用于判断所述候选人脸数据是否三点定位成功；若是，则确定第二人脸数据；第二输入单元，用于将所述第二人脸数据...

【专利技术属性】
技术研发人员：罗韵，
申请(专利权)人：深圳极视角科技有限公司，深圳润艺文化发展有限公司，
类型：发明
国别省市：广东,44