基于表情识别的智能家居控制方法及系统技术方案

本发明专利技术公开了基于表情识别的智能家居控制方法及系统，该方法包括：实时获取并处理视频信息，得到图像序列；对图像序列进行人脸识别和口罩检测；根据口罩检测结果，结合与口罩检测结果对应的表情识别模型对人脸区域进行表情识别，得到表情情绪数据；根据表情情绪数据控制智能家居设备启动，对当前智能家居环境进行调节；口罩检测结果包括人脸区域包括口罩或不包括口罩，表情识别模型包括第一表情识别模型或第二表情识别模型。本申请通过分辨用户是否佩戴有口罩，进而调用不同的表情识别模型进行人脸表情情绪的识别，提高了情绪识别的准确率，避免用户因佩戴口罩而无法进行表情情绪识别的现象发生，进而满足用户的不同情感状态对家居环境的需求。对家居环境的需求。对家居环境的需求。

【技术实现步骤摘要】
基于表情识别的智能家居控制方法及系统


[0001]本专利技术涉及智能家居控制
，特别涉及基于表情识别的智能家居控制方法及系统。

技术介绍

[0002]目前的智能家居系统大部分为场景互动或语音交互，例如通过手机APP控制智能家居系统中的智能设备，再例如通过语音控制智能家居系统执行对应的功能，智能家居系统识别用户的语音后执行相应的操作。虽然智能家居系统的发展势头迅猛，但是目前国内的智能家居系统在智能家居环境控制方面并未充分地考虑到用户的不同情感状态对家居环境的需求，鲜少有智能家居系统融合用户的情感状态来实现对家居环境的调节，智能化程度不高，降低了用户的使用体验。
[0003]面部表情识别技术由于其高信息量、情感交互的作用，吸引更多研究者的关注。随着计算机技术的不断发展，基于深度学习的面部表情识别技术正在得到充分挖掘和应用。若将面部表情识别技术与智能家居系统进行融合，则可识别出用户实际情绪，进而充分地考虑到用户的不同情感状态对家居环境的需求。但是，若用户在佩戴口罩时使用融合了面部表情识别技术的智能家居系统，由于口罩遮挡人脸表情的绝大部分信息，使得戴口罩的人脸表情识别具有高度复杂性，可能导致智能家居系统无法准确地识别用户的感情状态，进而无法实现用户的不同情感状态对家居环境的需求。

技术实现思路

[0004]本专利技术的目的是提供基于表情识别的智能家居控制方法及系统，通过表情识别模型准确识别用户的感情状态，根据感情状态对智能家居环境进行调节，进而实现用户的不同情感状态对家居环境的需求。
[0005]本专利技术解决其技术问题的解决方案是：第一方面，本申请提供基于表情识别的智能家居控制方法，包括如下步骤：
[0006]实时获取视频信息，将所述视频信息分解为按时间排序的图像序列，预处理所述图像序列，所述图像序列携带有对应的时间戳；
[0007]对预处理后的所述图像序列进行人脸识别和口罩检测，得到人脸区域以及口罩检测结果；
[0008]根据所述口罩检测结果，结合与所述口罩检测结果对应的表情识别模型对所述人脸区域进行表情识别，得到表情情绪数据，所述表情情绪数据携带有与所述人脸区域对应的身份信息；
[0009]根据所述表情情绪数据、所述身份信息和所述时间戳，输出与所述表情情绪数据对应的控制指令控制智能家居设备启动，对当前智能家居环境进行调节；
[0010]其中，所述口罩检测结果包括：所述人脸区域包括有口罩或所述人脸区域未包括有口罩中的任一种；
[0011]所述与所述口罩检测结果对应的表情识别模型包括第一表情识别模型或第二表情识别模型中的任一种；
[0012]所述表情情绪数据包括第一表情情绪数据或第二表情情绪数据中的任一种；
[0013]其中，所述根据所述口罩检测结果，结合与所述口罩检测结果对应的表情识别模型进行表情识别，得到表情情绪数据，包括：
[0014]当所述口罩检测结果为所述人脸区域包括有口罩，则通过所述第一表情识别模型结合所述人脸区域进行表情情绪识别，得到第一表情情绪数据，所述第一表情情绪数据携带有与所述人脸区域对应的身份信息；
[0015]或者，当所述口罩检测结果为所述人脸区域未包括有口罩，则通过所述第二表情识别模型结合所述人脸区域进行表情情绪识别，得到第二表情情绪数据，所述第二表情情绪数据携带有与所述人脸区域对应的身份信息。
[0016]另一方面，本申请提供了基于表情识别的智能家居控制系统，所述系统包括：
[0017]至少一个处理器；
[0018]至少一个存储器，用于存储至少一个程序；
[0019]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于表情识别的智能家居控制方法。
[0020]本专利技术的有益效果是：提供基于表情识别的智能家居控制方法及系统，充分考虑到智能家居的用户可能佩戴有口罩导致无法进行面部表情情绪的识别和检测这一现象，通过分辨用户是否佩戴有口罩，进而调用不同的表情识别模型进行人脸表情情绪的识别和检测，能够有效地提高人脸表情情绪识别的准确率，避免用户因佩戴口罩而无法进行表情情绪识别的现象发生；并且，本申请根据所得到的人脸表情情绪对智能家居环境进行调节，使得调节后的智能家居环境更贴近用户的实际情绪，进而满足用户的不同情感状态对家居环境的需求。
[0021]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0022]附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0023]图1为本申请实施例提供的基于表情识别的智能家居控制方法的流程图；
[0024]图2为本申请实施例提供的基于表情识别的智能家居控制方法的结构图；
[0025]图3为本申请实施例提供的进行人脸检测和口罩检测的流程图；
[0026]图4为本申请实施例提供的根据第一表情识别模型，输出第一表情情绪数据的流程图；
[0027]图5为本申请实施例提供的训练第一表情识别模型的流程图；
[0028]图6为本申请实施例提供的根据第二表情识别模型，输出第二表情情绪数据的流程图；
[0029]图7为本申请实施例提供的训练第二表情识别模型的流程图；
[0030]图8为本申请实施例提供的根据表情情绪数据对当前智能家居环境进行调节的流程图。
具体实施方式
[0031]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0032]下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0033]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0034]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0035]对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
[0036](1)智能家居(Smart Home)，是物联网的一个重要的应用，通常是指利用住宅为平台，利用综合布线技术、网络通信技术等技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统。智能家本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于表情识别的智能家居控制方法，其特征在于，包括如下步骤：实时获取视频信息，将所述视频信息分解为按时间排序的图像序列，预处理所述图像序列，所述图像序列携带有对应的时间戳；对预处理后的所述图像序列进行人脸识别和口罩检测，得到人脸区域以及口罩检测结果；根据所述口罩检测结果，结合与所述口罩检测结果对应的表情识别模型对所述人脸区域进行表情识别，得到表情情绪数据，所述表情情绪数据携带有与所述人脸区域对应的身份信息；根据所述表情情绪数据、所述身份信息和所述时间戳，输出与所述表情情绪数据对应的控制指令控制智能家居设备启动，对当前智能家居环境进行调节；其中，所述口罩检测结果包括：所述人脸区域包括有口罩或所述人脸区域未包括有口罩中的任一种；所述与所述口罩检测结果对应的表情识别模型包括第一表情识别模型或第二表情识别模型中的任一种；所述表情情绪数据包括第一表情情绪数据或第二表情情绪数据中的任一种；其中，所述根据所述口罩检测结果，结合与所述口罩检测结果对应的表情识别模型进行表情识别，得到表情情绪数据，包括：当所述口罩检测结果为所述人脸区域包括有口罩，则通过所述第一表情识别模型结合所述人脸区域进行表情情绪识别，得到第一表情情绪数据，所述第一表情情绪数据携带有与所述人脸区域对应的身份信息；或者，当所述口罩检测结果为所述人脸区域未包括有口罩，则通过所述第二表情识别模型结合所述人脸区域进行表情情绪识别，得到第二表情情绪数据，所述第二表情情绪数据携带有与所述人脸区域对应的身份信息。2.根据权利要求1所述的基于表情识别的智能家居控制方法，其特征在于，对预处理后的所述图像序列进行人脸识别和口罩检测，得到人脸区域以及口罩检测结果，具体包括：将所述图像序列分别输入至预设的人脸识别模型和口罩检测模型中进行人脸识别和口罩检测，输出所述人脸区域和口罩区域；分别获取所述口罩区域和所述人脸区域在所述图像序列中的位置坐标信息；根据所述口罩区域的位置坐标信息和所述人脸区域的位置坐标信息，计算所述口罩区域和所述人脸区域的重合率；根据所述重合率输出所述口罩检测结果以及所述人脸区域；其中，所述根据所述重合率输出所述口罩检测结果，包括：当所述重合率大于重合率阈值时，输出的所述口罩检测结果为所述人脸区域包括有口罩；或者，当所述重合率小于或等于所述重合率阈值时，输出的所述口罩检测结果为所述人脸区域未包括有口罩。3.根据权利要求1所述的基于表情识别的智能家居控制方法，其特征在于，当所述口罩检测结果为所述人脸区域包括有口罩，则通过所述第一表情识别模型结合所述人脸区域进行表情情绪识别，得到第一表情情绪数据，所述第一表情情绪数据携带有与所述人脸区域
对应的身份信息，具体包括:当所述口罩检测结果为所述人脸区域包括有口罩，通过预设的人脸特征提取模型提取局部人脸特征信息；通过所述局部人脸特征信息识别出对应的身份信息；将所述人脸区域输入至所述第一表情识别模型进行表情情绪识别，输出所述第一表情情绪数据。4.根据权利要求1所述的基于表情识别的智能家居控制方法，其特征在于，所述第一表情识别模型为预先训练好的神经网络模型，所述第一表情识别模型通过第一表情数据集训练而得到，所述第一表情数据集包括若干个第一人脸图像，所述第一人脸图像均携带有对应的情绪类别标签，所述情绪类别标签包括高兴、悲伤、伤心、紧张、放松或惊讶中的任一种；其中，所述第一人脸图像通过采集原始人脸图像并通过人脸关键点技术对原始人脸图像进行人脸戴口罩操作而得到。5.根据权利要求4所述的基于表情识别的智能家居控制方法，其特征在于，所述第一表情识别模型的训练步骤包括：基于mini＿Xception网络和注意力机制搭建第一初始识别模型，将所述第一表...

【专利技术属性】
技术研发人员：高洁，陈欢，衣明珅，李日阳，景建超，
申请(专利权)人：广东职业技术学院，
类型：发明
国别省市：