一种面部表情分类方法、装置和情感智能机器人制造方法及图纸

本发明专利技术实施例公开了一种面部表情分类方法、装置和情感智能机器人，该方法和装置应用于情感智能机器人，具体用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；利用样本矩阵训练多个分类器；对多个分类器进行融合，得到每个分类器的决策权重；在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。与其他专注于预处理和特征提取的方案不同，本申请的技术方案不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。

A facial expression classification method, device and emotional intelligent robot

【技术实现步骤摘要】
一种面部表情分类方法、装置和情感智能机器人
本专利技术涉及人工智能
，特别是涉及一种面部表情分类方法、装置和情感智能机器人。
技术介绍
近年来，越来越多的研究人员致力于使机器人检测和识别人类情感的能力，并利用这些信息来指导机器人自身的行为，本申请将具有这些能力的机器人称为情感智能机器人。由于面部表情在人类表达情感时起着最为重要的作用，如何使情感智能机器人以准确、实时的方式识别面部表情已成为一项巨大的挑战。在大多数情况下，在识别准确性和实时性能之间存在折衷。在预测面部表情之前，采用大量图像处理方法或过于复杂的特征提取方法，这样可以大大提高识别精度，但可能导致沉重的计算负担并影响实时性能。对实时性能的提出较高的要求可能需要适当降低对识别准确率的要求，反之亦然。因此，面部表情识别任务的挑战在于在这两个评估指标之间取得平衡。大部分的相关工作都在研究将面部表情分入几种典型的面部表情类中。面部表情类别的选择是基于Ekman等人提出的基本情绪理论，其中定义了六种基本情绪：快乐、愤怒、悲伤、厌恶、恐惧和惊讶，这六种情绪相应对应于不同的面部表情。作为一个模式识别任务，有很多分类方法可供选择，用于对面部表情进行分类。最常用的是基于机器学习的方法，传统的分类方法有：线性判别分析(LDA)，决策树(DT)，支持向量机(SVM)等。然而，就他们使用的特征提取方法而言，面部表情图像的处理需要很长时间，这会影响其方法的实时性能，而对于需要实时反馈的情感智能机器人来说，实时性较差会是一个较为严重的问题。
技术实现思路
有鉴于此，本专利技术提供了一种面部表情分类方法、装置和情感智能机器人，以解决现有分类方法实时性较差的问题。为了解决上述问题，本专利技术公开了一种面部表情分类方法，应用于情感智能机器人，所述面部表情分类方法包括步骤：对面部表情图像分别进行预处理，得到包括多个样本图像的样本矩阵；利用所述样本矩阵训练多个分类器；对所述多个分类器进行融合，得到每个所述分类器的决策权重；在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。可选的，所述对面部表情图像分别进行预处理，包括步骤：利用面部检测技术，从所述面部面部表情图像中选出正面人脸区域；将所述正面人脸区域的处理为预设分辨率的所述样本图像，所述样本图像中包括三个通道。可选的，所述对面部表情图像分别进行预处理，还包括步骤：将所述样本矩阵中的每个所述样本图像进行归一化处理，经过处理的所述样本矩阵包括零均值和单位方差。可选的，所述多个分类器包括线性判别分析模型、逻辑回归模型、决策树模型和支持向量机模型中的部分或全部。相应的，还提供了一种面部表情分类装置，应用于情感智能机器人，所述面部表情分类装置包括：图像预处理模块，用于对面部表情图像分别进行预处理，得到包括多个样本图像的样本矩阵；分类器训练模块，用于利用所述样本矩阵训练多个分类器；分类器融合模块，用于对所述多个分类器进行融合，得到每个所述分类器的决策权重；识别执行模块，用于在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。可选的，所述图像预处理模块包括：人脸区域选出单元，用于利用面部检测技术，从所述面部面部表情图像中选出正面人脸区域；分辨率处理单元，用于将所述正面人脸区域的处理为预设分辨率的所述样本图像，所述样本图像中包括三个通道。可选的，所述图像预处理模块还包括：归一化处理单元，用于将所述样本矩阵中的每个所述样本图像进行归一化处理，经过处理的所述样本矩阵包括零均值和单位方差。可选的，所述多个分类器包括线性判别分析模型、逻辑回归模型、决策树模型和支持向量机模型中的部分或全部。一种情感智能机器人，设置有如上所述的面部表情分类装置。一种情感智能机器人，包括至少一个处理器和与所述处理器相连接的存储器，所述存储器用于存储计算机程序或指令，所述处理器用于执行所述计算机程序或指令，以使所述情感智能机器人执行如下操作：对面部表情图像分别进行预处理，得到包括多个样本图像的样本矩阵；利用所述样本矩阵训练多个分类器；对所述多个分类器进行融合，得到每个所述分类器的决策权重；在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。从上述技术方案可以看出，本专利技术公开了一种面部表情分类方法、装置和情感智能机器人，该方法和装置应用于情感智能机器人，具体用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；利用样本矩阵训练多个分类器；对多个分类器进行融合，得到每个分类器的决策权重；在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。与其他专注于预处理和特征提取的方案不同，本申请的技术方案不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。另外，通过多分类器融合实现了比其他方案更高的精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种面部表情分类方法实施例的步骤流程图；图2为本专利技术实施例提供的一种面部表情分类装置实施例的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一图1为本专利技术实施例提供的一种面部表情分类方法的步骤流程图。参照图1所示，本实施例提供的面部表情分类方法应用于情感智能机器人，用于使情感智能机器人能够根据识别结果做出相应回应，该面部表情分类方法包括如下步骤：S1、对面部表情图像进行预处理。这里的预处理是为了将面部表情图像进行格式化的统一以减少数据量，从而得到包括多个样本图像的样本矩阵。当然这里所需要的是多个面部表情图像，这需要提取进行收集整理。在得到大量的面部表情图像后对其一一进行预处理，从而得到该样本矩阵，具体的预处理的方法如下所述：首先，利用面部检测技术在所有面部表情图像上进行区域选择，从而使原始图像中包含一个正面人脸区域被选择出来，等待进一步处理。然后，为了便于之后的比较，将包含正面人脸图像的样本图像预处理成224×本文档来自技高网...

【技术保护点】
1.一种面部表情分类方法，应用于情感智能机器人，其特征在于，所述面部表情分类方法包括步骤：/n对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；/n利用所述样本矩阵训练多个分类器；/n对所述多个分类器进行融合，得到每个所述分类器的决策权重；/n在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。/n

【技术特征摘要】
1.一种面部表情分类方法，应用于情感智能机器人，其特征在于，所述面部表情分类方法包括步骤：
对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；
利用所述样本矩阵训练多个分类器；
对所述多个分类器进行融合，得到每个所述分类器的决策权重；
在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。


2.如权利要求1所述的面部表情分类方法，其特征在于，所述对面部表情图像进行预处理，包括步骤：
利用面部检测技术，从所述面部面部表情图像中选出正面人脸区域；
将所述正面人脸区域的处理为预设分辨率的所述样本图像，所述样本图像中包括三个通道。


3.如权利要求2所述的面部表情分类方法，其特征在于，所述对面部表情图像分别进行预处理，还包括步骤：
将所述样本矩阵中的每个所述样本图像进行归一化处理，经过处理的所述样本矩阵包括零均值和单位方差。


4.如权利要求1所述的面部表情分类方法，其特征在于，所述多个分类器包括线性判别分析模型、逻辑回归模型、决策树模型和支持向量机模型中的部分或全部。


5.一种面部表情分类装置，应用于情感智能机器人，其特征在于，所述面部表情分类装置包括：
图像预处理模块，用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；
分类器训练模块，用于利用所述样本矩阵训练多个分类器；
分类器融合模块，用于对所述多个分类器进行融合，得到每个所述分类器的决策权重；
识别执行模块，用于在进行面部表...

【专利技术属性】
技术研发人员：王韬，陈颖婕，吴涵，王亦洲，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11