一种智能家居异常情况告警方法、系统及存储介质技术方案

本发明专利技术公开了基于深度学习的智能家居管理方法、系统及存储介质，该方法包括：生成实时视频流数据；根据实时视频流数据，分别对室内情况进行火情检测和用户检测，输出用户流数据，并当检测到火情时输出火情检测结果；根据用户流数据和身份数据库中的身份信息，输出身份标识；通过与身份标识对应的异常行为检测模型，对用户流数据进行异常行为检测，得到异常行为识别结果；根据火情检测结果和异常行为识别结果，结合火情检测结果对应的危险等级和异常行为识别结果对应的危险等级进行预警。本发明专利技术能够实时监测智能家居环境内的异常情况，提高了智能家居环境的智异常情况的识别准确率，保障了用户的安全，减少因异常情况对用户造成的损失。的损失。的损失。

【技术实现步骤摘要】
一种智能家居异常情况告警方法、系统及存储介质


[0001]本专利技术涉及智能家居控制
，特别涉及一种智能家居异常情况告警方法、系统及存储介质。

技术介绍

[0002]智能家居(Smart Home)是物联网的一个重要的应用，通常是指利用住宅为平台，利用综合布线技术、网络通信技术等技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统。智能家居能够提供全方位的信息交互功能，帮助家庭与外部保持信息交流畅通，优化人们的生活方式，帮助人们有效安排时间，增强家居生活的安全性，甚至为各种能源费用节约资金。
[0003]目前，智能家居系统中常见的异常情况可以分为三种情况，一种是室内入侵，另一种是智能家居设备使用不当导致出现安全性的问题，如灶具使用不当导致出现火情，还有一种是用户在家居环境中出现身体异常的情况。不论是出现哪一种异常情况，都有可能威胁到用户的人身安全。虽然智能家居系统的发展势头迅猛，然而传统智能家居作为监控系统，无法做到24小时不间断监控，大多需要人为对行为数据或环境数据进行干预识别，进而导致识别速度慢，容错率低，无法更进一步地对家庭环境实现实时监控，当家庭环境出现如室内入侵、火情等异常情况时无法起到及时预警的效果。

技术实现思路

[0004]本专利技术的目的是提供一种智能家居异常情况告警方法、系统及存储介质，通过预设的神经网络模型对家庭环境中所出现的异常情况进行识别并发出异常预警，实现对智能家居设备的安全管控，用户的安全管理和安全防护。
[0005]本专利技术解决其技术问题的解决方案是：第一方面，本申请提供一种智能家居异常情况告警方法，包括以下步骤：
[0006]实时监测智能家居的室内情况，生成实时视频流数据；
[0007]根据所述实时视频流数据，分别对室内情况进行火情检测和用户检测，输出用户流数据，并当检测到火情时输出火情检测结果；
[0008]预设身份数据库并遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中；
[0009]其中，所述身份标识包括非用户身份标识和/或用户身份标识；
[0010]通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果；
[0011]其中，所述与所述身份标识对应的异常行为检测模型包括第一异常行为检测模型和/或第二异常行为检测模型；
[0012]其中，所述异常行为识别结果包括第一异常行为识别结果和/或第二异常行为识别结果；
[0013]根据所述火情检测结果和所述异常行为识别结果，结合所述火情检测结果对应的危险等级和所述异常行为识别结果对应的危险等级进行预警；
[0014]其中，所述通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果具体包括：
[0015]通过所述第一异常行为检测模型，对携带有所述非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；
[0016]通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；
[0017]其中，所述第一异常行为识别结果包括携带有所述非用户身份标识的所述用户流数据对应的异常行为类别和第一发生时间值，第一发生时间值定义为携带有所述非用户身份标识的所述用户流数据出现异常行为的时间值；
[0018]所述第二异常行为识别结果包括携带有所述用户身份标识的所述用户流数据对应的异常行为类别和第二发生时间值，第二发生时间值定义为携带有所述用户身份标识的所述用户流数据出现异常行为的时间值。
[0019]第二方面，本申请提供一种智能家居异常情况告警系统，包括：
[0020]视频采集模块，包括若干高清摄像头，用于监测智能家居的室内情况，生成实时视频流数据；
[0021]数据存储模块，用于存储历史所监测的智能家居的室内情况；
[0022]用户识别模块，用于根据所述实时视频流数据，对室内情况进行用户检测，输出用户流数据；
[0023]身份识别模块，设置有身份数据库，用于遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中；
[0024]其中，所述身份标识包括非用户身份标识和/或用户身份标识；
[0025]火情检测模块，用于根据所述实时视频流数据，对室内情况进行火情检测，当检测到火情时输出火情检测结果；
[0026]异常行为检测模块，用于通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果；
[0027]其中，所述与所述身份标识对应的异常行为检测模型包括第一异常行为检测模型和/或第二异常行为检测模型；
[0028]所述异常行为识别结果包括第一异常行为识别结果和/或第二异常行为识别结果；
[0029]告警模块，用于根据所述火情检测结果和所述异常行为识别结果，结合所述火情检测结果对应的危险等级和所述异常行为识别结果对应的危险等级进行预警；
[0030]其中，所述异常行为检测模块包括：
[0031]第一行为检测模块，用于通过所述第一异常行为检测模型，对携带有所述非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；
[0032]第二行为检测模块，用于通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；
[0033]其中，所述第一异常行为识别结果包括携带有所述非用户身份标识的所述用户流
数据对应的异常行为类别和第一发生时间值，第一发生时间值定义为携带有所述非用户身份标识的所述用户流数据出现异常行为的时间值；
[0034]所述第二异常行为识别结果包括携带有所述用户身份标识的所述用户流数据对应的异常行为类别和第二发生时间值，第二发生时间值定义为携带有所述用户身份标识的所述用户流数据出现异常行为的时间值。
[0035]第三方面，本申请提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的一种智能家居异常情况告警方法。
[0036]本专利技术的有益效果是：提供一种智能家居异常情况告警方法、系统及存储介质，能够实时监测智能家居环境内的异常情况，响应速度快，对室内用户或非用户的异常行为以及火情情况进行准确识别和告警，提高了智能家居环境的智异常情况的识别准确率，保障了用户的安全，减少因异常情况对用户造成的损失。
附图说明
[0037]图1为本申请提供的一种智能家居异常情况告警方法的流程图；
[0038]图2为本申请提供的火情检测的流程图；
[0039]图3为本申请提供的训练第一异常行为检测模型的流程图；
[0040]图4为本申请提供的对非用户身份标识的用户流数据进行异常行为检测的流程图。
具体实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能家居异常情况告警方法，其特征在于，包括以下步骤：实时监测智能家居的室内情况，生成实时视频流数据；根据所述实时视频流数据，分别对室内情况进行火情检测和用户检测，输出用户流数据，并当检测到火情时输出火情检测结果；预设身份数据库并遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中；其中，所述身份标识包括非用户身份标识和/或用户身份标识；通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果；其中，所述与所述身份标识对应的异常行为检测模型包括第一异常行为检测模型和/或第二异常行为检测模型；其中，所述异常行为识别结果包括第一异常行为识别结果和/或第二异常行为识别结果；根据所述火情检测结果和所述异常行为识别结果，结合所述火情检测结果对应的危险等级和所述异常行为识别结果对应的危险等级进行预警；其中，所述通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果具体包括：通过所述第一异常行为检测模型，对携带有所述非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；其中，所述第一异常行为识别结果包括携带有所述非用户身份标识的所述用户流数据对应的异常行为类别和第一发生时间值，第一发生时间值定义为携带有所述非用户身份标识的所述用户流数据出现异常行为的时间值；所述第二异常行为识别结果包括携带有所述用户身份标识的所述用户流数据对应的异常行为类别和第二发生时间值，第二发生时间值定义为携带有所述用户身份标识的所述用户流数据出现异常行为的时间值。2.根据权利要求1所述的一种智能家居异常情况告警方法，其特征在于，根据所述实时视频流数据，对室内情况进行火情检测，输出火情检测结果，具体包括：对所述实时视频流数据进行分帧处理，得到环境图像，预处理所述环境图像；其中，所述环境图像携带有其对应的采样帧；根据火焰检测模型，对预处理后的所述环境图像进行火焰区域检测，得到一个或多个疑似火焰区域的目标框；利用多目标跟踪算法对所述疑似火焰区域的目标框进行目标追踪，得到目标火焰图像；对连续采样帧的目标火焰图像进行动态检测，根据所述目标火焰图像的动态检测结果输出火情检测结果。3.根据权利要求2所述的一种智能家居异常情况告警方法，其特征在于，所述火焰检测模型为预先训练好的模型，所述火焰检测模型的训练步骤包括：
建立火焰数据集，按照预设的第一比例划分第一训练集和第一测试集；搭建YOLOv5神经网络，在YOLOv5神经网络的特征提取网络中添加CBAM注意力机制，并优化其输出端的边框回归函数，构建第一初始识别模型，将第一训练集输入至第一初始识别模型中进行训练；通过第一测试集评估训练后的第一初始识别模型的性能，当第一初始识别模型的性能达到预设条件时，输出火焰检测模型；其中，所述优化后的边框回归函数满足CIOU_Loss算法。4.根据权利要求3所述的一种智能家居异常情况告警方法，其特征在于，所述对连续采样帧的目标火焰图像进行动态检测，根据所述目标火焰图像的动态检测结果输出火情检测结果，具体包括：从所述实时视频流数据中选择基础帧；从所述目标火焰图像中随机挑选两帧连续采样帧的目标火焰图像进行差分处理，输出差分结果；将所述差分结果和所述基础帧进行求交集运算，得到火焰动态区域；二值化所述火焰动态区域，输出所述目标火焰图像的动态检测结果；其中，所述差分结果满足以下公式：其中，B(I,j,t)为差分结果，S(i,j,t+1)和S(i,j,t)分别为两帧连续采样帧的目标火焰图像，α为预设阈值；其中，所述基础帧满足以下公式：其中，A(I,j,t)为基础帧。5.根据权利要求1所述的一种智能家居异常情况告警方法，其特征在于，所述预设身份数据库并遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中，包括：预设身份数据库，所述身份数据库中预设有人脸特征向量以及对应的身份信息；获取所述用户流数据，提取出所述用户流数据对应的人脸特征信息；计算所述人脸特征信息和所述人脸特征向量的相似度；当所述相似度未满足预设条件时，将所述非用户身份标识嵌入至所述用户流数据；当所述相似度满足预设条件时，将所述用户身份标识嵌入至所述用户...

【专利技术属性】
技术研发人员：高洁，陈欢，左宁丽，衣明珅，李日阳，景建超，
申请(专利权)人：广东职业技术学院，
类型：发明
国别省市：