机器人的人脸检测与情感识别系统及方法技术方案

本发明专利技术公开了一种机器人的人脸检测及情感识别系统及方法，该系统包括：人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，进行处理后生成人脸表情库；原始表情库构建模块,利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；现场表情特征提取模块，利用视频采集装置采集现场人脸表情彩色图像帧，并进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的特征库中利用k近邻分类算法来识别人脸表情，通过本发明专利技术，可提升家居机器人的家庭监控和陪护能力。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种机器人的人脸检测及情感识别系统及方法，该系统包括：人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，进行处理后生成人脸表情库；原始表情库构建模块,利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；现场表情特征提取模块，利用视频采集装置采集现场人脸表情彩色图像帧，并进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的特征库中利用k近邻分类算法来识别人脸表情，通过本专利技术，可提升家居机器人的家庭监控和陪护能力。【专利说明】
本专利技术涉及智能机器人
，特别是涉及一种用于智能机器人的。
技术介绍
现有的家庭服务机器人的人脸识别能力有限，尤其是情感识别能力非常有限，无法对家庭中老人或者儿童的情感状态进行全方位的识别，比如中国专利申请CN200720077448.9描述了一种具有人脸识别的智能机器人，其包括:具有腿部电机、手臂电机、脖子电机及喇叭的机器人本体；装设在所述机器人本体上且用于摄取人脸图像的摄像装置；以及用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像的人脸识别单元；中国专利申请201220365083.0描述了一种人脸识别的安保机器人，其由安保机器人本体、安装在所述安保机器人本体表面用于摄取人脸图像的摄像装置、装在所属安保机器人本体内部且用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较识别的人脸识别模块、用于处理数据且向其它模块发送指令的数据处理模块、用于供使用者发出指示以使安保机器人执行安防动作的远程遥控模块组成，这两件专利申请中的人脸识别模块，仅仅通过所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像，但识别能力有限，特别是针对存储较多人脸图像时，无法有效完成人脸的识别。另外，中国技术专利CN201120506957.5则提供了一种助老与助残机器人，其包括一个能够旋转的单目视觉系统、用于识别生活用品和来访客人以及障碍物体、一双用于实现人手动作的五指形仿人机械手和用于驱动机器人行走的三角联动轮驱动结构该助老与助残机器人尽管具有防盗监测、安全检查、监护诊疗、辅助行走、物品搬运、家电控制、清洁卫生、家庭娱乐、报时催醒、儿童教育等功能，但没有人脸检测和情感识别的功能，无法对家庭中的老人和孩子的状态进行有效识别。综上所述，现有针对家庭机器人应用的人脸检测和情感识别系统主要由可移动摄像头和固定摄像头组成，只是单纯实现人脸识别系统，智能化程度有限，并且无法感知周围其他信息，不能对老人和孩子的情感状态进行综合分析，从而进行全方位的陪护服务。因此，实有必要提出一种技术手段，以解决上述问题。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之主要目的在于提供一种，其使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。为达上述及其它目的，本专利技术提出一种机器人的人脸检测及情感识别系统，至少包括:人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；原始表情库构建模块，利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；现场表情特征提取模块，从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，利用人脸几何结构特征对表情区精确定位，生成现场人脸表情图像，并对现象人脸表情图像进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。进一步地，该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。进一步地，该原始表情库构建模块使用主成分分析法降维去除图像冗余信息，进行表情特征提取。进一步地，该视频采集装置为摄像头，设置于该机器人的头部，其位置改变受控于该机器人的头部运动装置。进一步地，该摄像头设置于该机器人的头部眼球中。为达到上述目的，本专利技术还提供一种机器人的人脸检测及情感识别方法，包括如下步骤:步骤一，从视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；步骤二，利用人脸表情库的训练图像，去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；步骤三，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；步骤四，从该视频采集装置中采集现场人脸表情彩色图像帧，将其预处理后，进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位，生成现场人脸表情;步骤五，利用现场人脸表情图像，去除图像冗余信息，进行现场表情特征提取；步骤六，将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法识别人脸表情。进一步地，该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。进一步地，于步骤二及步骤五中，使用主成分分析法降维去除图像冗余信息后，进行表情特征提取。进一步地，利用主成分分析法进行特征提取是把该训练图像集转换为特征集，其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征。进一步地，于步骤三中，基于距离哈希法将原始表情特征库重构为结构化的哈希表的步骤为创建个长度为的哈希表，将每一个表情特征分别插入到该个哈希表中，将此哈希表作为检索数据库。与现有技术相比，本专利技术一种机器人的人脸检测及情感识别系统及方法通过训练表情提取、训练表情特征提取、重构表情特征、现场表情提取、现场表情特征提取及表情识别等步骤，使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。【专利附图】【附图说明】图1为本专利技术所应用之机器人的的系统架构图；图2为本专利技术之较佳实施例中机器人的结构设置示意图；图3为本专利技术一种机器人的人脸检测及情感识别系统的系统架构图；图4为本专利技术较佳实施例中训练表情库主成分示意图；图5为本专利技术较佳实施例中训练表情库平均图像示意图图6为本专利技术一种机器人的人脸检测与情感识别方法的步骤流程图；图7为本专利技术一种机器人的人脸检测与情感识别方法所采用的实验系统界面示意图。【具体实施方式】以下通过特定的具体实例并结合【专利附图】【附图说明】本专利技术的实施方式，本领域技术人员可由本说明书所揭示的本文档来自技高网...

【技术保护点】
一种机器人的人脸检测及情感识别系统，至少包括：人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；原始表情库构建模块,利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；现场表情特征提取模块，从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，利用人脸几何结构特征对表情区精确定位，生成现场人脸表情图像，并对现象人脸表情图像进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。

【技术特征摘要】

【专利技术属性】
技术研发人员：蔡则苏，王丙祥，王玲，
申请(专利权)人：江苏久祥汽车电器集团有限公司，
类型：发明
国别省市：江苏;32