【技术实现步骤摘要】
基于表情识别的智能家居控制方法及系统
[0001]本专利技术涉及智能家居控制
,特别涉及基于表情识别的智能家居控制方法及系统。
技术介绍
[0002]目前的智能家居系统大部分为场景互动或语音交互,例如通过手机APP控制智能家居系统中的智能设备,再例如通过语音控制智能家居系统执行对应的功能,智能家居系统识别用户的语音后执行相应的操作。虽然智能家居系统的发展势头迅猛,但是目前国内的智能家居系统在智能家居环境控制方面并未充分地考虑到用户的不同情感状态对家居环境的需求,鲜少有智能家居系统融合用户的情感状态来实现对家居环境的调节,智能化程度不高,降低了用户的使用体验。
[0003]面部表情识别技术由于其高信息量、情感交互的作用,吸引更多研究者的关注。随着计算机技术的不断发展,基于深度学习的面部表情识别技术正在得到充分挖掘和应用。若将面部表情识别技术与智能家居系统进行融合,则可识别出用户实际情绪,进而充分地考虑到用户的不同情感状态对家居环境的需求。但是,若用户在佩戴口罩时使用融合了面部表情识别技术的智能家居系统,由于口罩遮挡人脸表情的绝大部分信息,使得戴口罩的人脸表情识别具有高度复杂性,可能导致智能家居系统无法准确地识别用户的感情状态,进而无法实现用户的不同情感状态对家居环境的需求。
技术实现思路
[0004]本专利技术的目的是提供基于表情识别的智能家居控制方法及系统,通过表情识别模型准确识别用户的感情状态,根据感情状态对智能家居环境进行调节,进而实现用户的不同情感状态对家居环境的需求。
[ ...
【技术保护点】
【技术特征摘要】
1.基于表情识别的智能家居控制方法,其特征在于,包括如下步骤:实时获取视频信息,将所述视频信息分解为按时间排序的图像序列,预处理所述图像序列,所述图像序列携带有对应的时间戳;对预处理后的所述图像序列进行人脸识别和口罩检测,得到人脸区域以及口罩检测结果;根据所述口罩检测结果,结合与所述口罩检测结果对应的表情识别模型对所述人脸区域进行表情识别,得到表情情绪数据,所述表情情绪数据携带有与所述人脸区域对应的身份信息;根据所述表情情绪数据、所述身份信息和所述时间戳,输出与所述表情情绪数据对应的控制指令控制智能家居设备启动,对当前智能家居环境进行调节;其中,所述口罩检测结果包括:所述人脸区域包括有口罩或所述人脸区域未包括有口罩中的任一种;所述与所述口罩检测结果对应的表情识别模型包括第一表情识别模型或第二表情识别模型中的任一种;所述表情情绪数据包括第一表情情绪数据或第二表情情绪数据中的任一种;其中,所述根据所述口罩检测结果,结合与所述口罩检测结果对应的表情识别模型进行表情识别,得到表情情绪数据,包括:当所述口罩检测结果为所述人脸区域包括有口罩,则通过所述第一表情识别模型结合所述人脸区域进行表情情绪识别,得到第一表情情绪数据,所述第一表情情绪数据携带有与所述人脸区域对应的身份信息;或者,当所述口罩检测结果为所述人脸区域未包括有口罩,则通过所述第二表情识别模型结合所述人脸区域进行表情情绪识别,得到第二表情情绪数据,所述第二表情情绪数据携带有与所述人脸区域对应的身份信息。2.根据权利要求1所述的基于表情识别的智能家居控制方法,其特征在于,对预处理后的所述图像序列进行人脸识别和口罩检测,得到人脸区域以及口罩检测结果,具体包括:将所述图像序列分别输入至预设的人脸识别模型和口罩检测模型中进行人脸识别和口罩检测,输出所述人脸区域和口罩区域;分别获取所述口罩区域和所述人脸区域在所述图像序列中的位置坐标信息;根据所述口罩区域的位置坐标信息和所述人脸区域的位置坐标信息,计算所述口罩区域和所述人脸区域的重合率;根据所述重合率输出所述口罩检测结果以及所述人脸区域;其中,所述根据所述重合率输出所述口罩检测结果,包括:当所述重合率大于重合率阈值时,输出的所述口罩检测结果为所述人脸区域包括有口罩;或者,当所述重合率小于或等于所述重合率阈值时,输出的所述口罩检测结果为所述人脸区域未包括有口罩。3.根据权利要求1所述的基于表情识别的智能家居控制方法,其特征在于,当所述口罩检测结果为所述人脸区域包括有口罩,则通过所述第一表情识别模型结合所述人脸区域进行表情情绪识别,得到第一表情情绪数据,所述第一表情情绪数据携带有与所述人脸区域
对应的身份信息,具体包括:当所述口罩检测结果为所述人脸区域包括有口罩,通过预设的人脸特征提取模型提取局部人脸特征信息;通过所述局部人脸特征信息识别出对应的身份信息;将所述人脸区域输入至所述第一表情识别模型进行表情情绪识别,输出所述第一表情情绪数据。4.根据权利要求1所述的基于表情识别的智能家居控制方法,其特征在于,所述第一表情识别模型为预先训练好的神经网络模型,所述第一表情识别模型通过第一表情数据集训练而得到,所述第一表情数据集包括若干个第一人脸图像,所述第一人脸图像均携带有对应的情绪类别标签,所述情绪类别标签包括高兴、悲伤、伤心、紧张、放松或惊讶中的任一种;其中,所述第一人脸图像通过采集原始人脸图像并通过人脸关键点技术对原始人脸图像进行人脸戴口罩操作而得到。5.根据权利要求4所述的基于表情识别的智能家居控制方法,其特征在于,所述第一表情识别模型的训练步骤包括:基于mini_Xception网络和注意力机制搭建第一初始识别模型,将所述第一表...
【专利技术属性】
技术研发人员:高洁,陈欢,衣明珅,李日阳,景建超,
申请(专利权)人:广东职业技术学院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。