基于人脸表情识别与颜色情感反馈的人镜交互方法及系统技术方案

技术编号:14028083 阅读:103 留言:0更新日期:2016-11-19 13:14
本发明专利技术涉及一种基于人脸表情识别与颜色情感反馈的人镜交互方法,包括以下步骤:1、检测到人体靠近时,获取人脸表情图像;2、对人脸表情图像进行处理和表情识别,得到识别后的表情;3、根据预定的表情颜色匹配规则,确定识别后的表情对应的显示颜色,并进行相应的灯光显示。本发明专利技术的结构简单,智能镜子的制作材质和普通镜子差不多,就是在普通玻璃上镀铝薄膜,这是为了保证该智能镜子的分辨率足够高;本发明专利技术具有人脸表情识别功能,借助现在已经有的表情识别技术,使该智能镜子能够对人脸表情进行识别;本发明专利技术具有LED颜色灯光反馈功能,能够将识别到的表情以及与之相对应的情感通过外部LED灯不同发光状况反馈。

【技术实现步骤摘要】

本专利技术涉及一种基于人脸表情识别与颜色情感反馈的人镜交互方法及系统
技术介绍
随着人工智能理论与技术的高速发展,各种各样的智能家电产品层出不穷,同样,镜子作为家居的一部分,同样需要变得更加地智能化。国外在智能镜子这一块已经有了一定的研究,也研发出了一些智能化的镜子。例如,2012年日本Seraku公司在日本科技展会上向人们展示了一款基于Andr iod系统的智能镜子,用户通过触摸这款镜子的屏幕可以查看天气、新闻等各类信息。但是这一款智能镜子和只具有大尺寸的触摸显示屏的功能并没有太大区别,而显示屏的分辨率远远不如普通镜子的高。不管是普通镜子还是智能镜子,它最基础的功能都应该存在,它的智能化也应该是在普通功能实现之后进一步实现。美国加州的MemmoryMi公司研发了一款名为MemmoryMirror的智能试衣镜,用户通过触摸屏幕,能够看到自己在屏幕上换上不同款式不同颜色的衣服的效果,同时顾名思义,它还能够记住用户的试穿记录,当然,它的记忆功能依靠的是镜子上方的摄像头,其实就是用户试穿的情况录制下来,但是这也只是记录下用户试穿的那件衣服的效果图,并不能将她的心请与不同款式衣服相互对应。总而言之,目前已有的智能镜子主要有以下不足:现在已经有的智能镜子并不是真正的镜子,镜子的分辨率由摄像头拍摄分辨率以及显示屏的显示分辨率所决定,同时,色彩也会由于摄像头和显示屏的原因,发生失真的现象。因此,基于显示屏的智能镜子,很难达到传统镜子的水平,镜子最基本的反射成像效果不好,分辨率低,镜子本身的作用被明显削减,并且,显示屏的辐射对人体有很多危害;现在已有的镜子并不具备通过识别人的面部表情从而识别人的情感功能。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于人脸表情识别与颜色情感反馈的人镜交互方法及系统。本专利技术解决上述技术问题的技术方案如下:基于人脸表情识别与颜色情感反馈的人镜交互方法,包括以下步骤:步骤S1、检测到人体靠近时,获取人脸表情图像;步骤S2、对人脸表情图像进行处理和表情识别,得到识别后的表情;步骤S3、根据预定的表情颜色匹配规则,确定识别后的表情对应的显示颜色,并进行相应的灯光显示。本专利技术的有益效果是:第一,本专利技术的结构简单,智能镜子的制作材质和普通镜子差不多,就是在普通玻璃上镀铝薄膜,这是为了保证镜子的分辨率足够高;第二,本专利技术具有人脸表情识别功能,借助现在已经有的表情识别技术,使该智能镜子能够对人脸表情进行识别;第三,本专利技术具有一个LED颜色灯光反馈系统,能够将识别到的的表情以及与之相对应的情感通过外部LED灯不同发光状况反馈,形成一个简单的人镜交互系统。在上述技术方案的基础上,本专利技术还可以做如下改进。进一步的,还包括以下步骤:对识别后的表情和识别时间进行存储,每隔预设时间段进行统计和分析,得到表情统计信息。采用上述进一步方案的有益效果为:本专利技术可以记录并统计一段时间内用户的心情状况。进一步的,识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类,所述灯光显示模块的预定的表情颜色匹配规则,是将6类表情分别匹配6种不同的颜色,无法匹配的表情,显示白色光,同种情感类型但程度不同的表情,通过颜色的深浅进行区别匹配,情感程度强的表情匹配的颜色深,情感程度弱的表情匹配的颜色浅。采用上述进一步方案的有益效果为:本专利技术可以根据识别后的表情感情类别和感情强烈程度,进行直观的颜色显示。进一步的,所述步骤S2对人脸图像进行表情识别的方法,具体包括以下步骤:步骤S21、对获取的待测试的人脸表情图像进行处理得到人脸区域;步骤S22、对含有表情特征的表情区域进行图像分割,得到眼睛、鼻子、嘴唇的表情区域;步骤S23、利用Gabor滤波器对眼睛、鼻子、嘴唇的表情区域进行表情特征提取和处理得到总特征向量集合;步骤S23、将总特征向量集合作为ELM神经网络的输入,对总特征向量集合中的每一个特征向量进行训练,得到不同的ELM训练模型,将所有表情的ELM训练模型组合成ELM表情分类器;步骤S24、利用步骤S23的ELM表情分类器进行表情识别,对待测试的人脸表情图像进行测试,得到识别后的表情。基于人脸表情识别与颜色情感反馈的人镜交互系统,包括以下的模块:获取模块:用于检测到人体靠近时,获取人脸表情图像;表情识别模块,用于对人脸表情图像进行处理和表情识别,得到识别后的表情;灯光显示模块,用于根据预定的表情颜色匹配规则,确定识别后的表情对应的显示颜色,并进行相应的灯光显示。基于人脸表情识别与颜色情感反馈的人镜交互系统,还包括以下模块:表情统计模块:对识别后的表情和识别时间进行存储,每隔预设时间段进行统计和分析,得到表情统计信息。进一步的,识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类,所述灯光显示模块的预定的表情颜色匹配规则,是将6类表情分别匹配6种不同的颜色,同种情感类型但程度不同的表情,通过颜色的深浅进行区别匹配,情感程度强的表情匹配的颜色深,情感程度弱的表情匹配的颜色浅。进一步的,所述表情识别模块具体包括以下单元:图像处理单元,用于对获取的待测试的人脸表情图像进行处理得到人脸区域;图像分割单元,用于对含有表情特征的表情区域进行图像分割,得到眼睛、鼻子、嘴唇的表情区域;特征提取单元,用于利用Gabor滤波器对眼睛、鼻子、嘴唇的表情区域进行表情特征提取和处理得到总特征向量集合;ELM表情分类器训练单元,用于将总特征向量集合作为ELM神经网络的输入,对总特征向量集合中的每一个特征向量进行训练,得到不同的ELM训练模型,将所有表情的ELM训练模型组合成ELM表情分类器;表情识别单元,用于利用ELM表情分类器进行表情识别,对待测试的人脸表情图像进行测试,得到识别后的表情。附图说明图1为本专利技术方法示意图;图2为本专利技术系统示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述,所举实例只用于解释本专利技术,并非用于限定本专利技术的范围。如图1所示,基于人脸表情识别与颜色情感反馈的人镜交互方法,包括以下步骤:步骤S1、检测到人体靠近时,获取人脸表情图像;步骤S2、对人脸表情图像进行处理和表情识别,得到识别后的表情;步骤S3、根据预定的表情颜色匹配规则,确定识别后的表情对应的显示颜色,并进行相应的灯光显示。本专利技术的实施例提供一种智能镜子,包括一个普通镜面,普通镜面上方安装有一个摄像头,镜面的两侧均安装有LED灯管。在镜子背后设置有LED灯光颜色反馈系统。该系统与外部摄像头相连接,同时和外部的LED灯管通过电路连接。由电源模块为整个系统正常工作运行提供电源。其中,所述的普通镜面就是镀铝薄膜的玻璃,镜子上方的摄像头拟采用Kinect,用来捕捉获取人脸表情图像。使用该智能镜子时,当人体靠近镜子且处于一定范围时,Ki nect能够检测到有人正位于镜子前使用镜子,同时立刻捕捉获取人脸图像,并且迅速将获取到的图像通过一系列算法进行预处理、特征提取、再处理等过程生成较为成熟的表情图像,生成的表情与表情库中原有的表情进行对比分析,最后将对比分析后得到的结果反馈给LED灯光颜色反馈系统。反馈系统一旦接收到讯息,将接收到的信息与系统中原有的信息库相比较,然后迅速准确地将信息通过与之相连的LED灯管反馈出来,于此完成一个完整的表情识别及反馈过程。本专利技术的结构本文档来自技高网
...
基于人脸表情识别与颜色情感反馈的人镜交互方法及系统

【技术保护点】
基于人脸表情识别与颜色情感反馈的人镜交互方法,其特征在于,包括以下步骤:步骤S1、检测到人体靠近时,获取人脸表情图像;步骤S2、对人脸表情图像进行处理和表情识别,得到识别后的表情;步骤S3、根据预定的表情颜色匹配规则,确定识别后的表情对应的显示颜色,并进行相应的灯光显示。

【技术特征摘要】
1.基于人脸表情识别与颜色情感反馈的人镜交互方法,其特征在于,包括以下步骤:步骤S1、检测到人体靠近时,获取人脸表情图像;步骤S2、对人脸表情图像进行处理和表情识别,得到识别后的表情;步骤S3、根据预定的表情颜色匹配规则,确定识别后的表情对应的显示颜色,并进行相应的灯光显示。2.根据权利要求1所述的基于人脸表情识别与颜色情感反馈的人镜交互方法,其特征在于,还包括在步骤S2之后进行的以下步骤:对识别后的表情和识别时间进行存储,每隔预设时间段进行统计和分析,得到表情统计信息。3.根据权利要求1所述的基于人脸表情识别与颜色情感反馈的人镜交互方法,其特征在于,识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类,所述步骤S3的预定的表情颜色匹配规则,是将6类表情分别匹配6种不同的颜色,无法匹配的表情,显示白色光,同种情感类型但程度不同的表情,通过颜色的深浅进行区别匹配,情感程度强的表情匹配的颜色深,情感程度弱的表情匹配的颜色浅。4.根据权利要求1所述的基于人脸表情识别与颜色情感反馈的人镜交互方法,其特征在于,所述步骤S2对人脸图像进行表情识别的方法,具体包括以下步骤:步骤S21、对所述人脸表情图像进行人脸区域检测,得到人脸区域;步骤S22、对所述人脸区域进行图像分割,得到眼睛、鼻子、嘴唇区域;步骤S23、利用Gabor滤波器对眼睛、鼻子、嘴唇区域进行表情特征提取得到总特征向量集合;步骤S23、将总特征向量集合作为ELM神经网络的输入,对总特征向量集合中的每一个特征向量进行训练,得到不同的ELM训练模型,将所有表情的ELM训练模型组合成ELM表情分类器;步骤S24、利用所述ELM表情分类器进行表情识别,对待测试的人脸表情图像进行测试,得到识别后的表情。5.基于人脸表情识别...

【专利技术属性】
技术研发人员:刘振焘吴敏曹卫华杨睿萍徐建平丁学文郑利东
申请(专利权)人:中国地质大学武汉
类型:发明
国别省市:湖北;42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1