一种基于人体姿态跟踪分析的室内危险情况告警的方法技术

本发明专利技术一种基于人体姿态跟踪分析的室内危险情况告警的方法，将基于人工智能网络的人体识别技术应用在空调等家用电器上，改善原有家用电器单一的功能，增加判断识别儿童在家的一些可能造成伤害的危险行为，如搬动家电、攀爬高处以及触摸插座等，发现危险行为时，能及时触发告警，以及增加判断识别老人在家中不小心摔倒或者发出特定求救手势时，能及时触发告警；进一步判断家中是否有危险情况，例如火灾等，若发现能及时触发告警。

Indoor danger situation alarming method based on human body posture tracking analysis

The invention relates to a method for tracking human posture analysis based on indoor risk warning, artificial intelligence network human body recognition technology used in home appliances such as air conditioning based on the improvement of the original home appliances single function, increase the risk judgment behavior recognition caused harm to children at home some possible, such as home appliances, climb and move touch the socket, found dangerous behavior, can trigger alarm, and increase the recognition of the elderly at home and accidentally fall or issue specific distress gestures, can trigger alarm; further to determine whether there is a dangerous situation in the home, such as fire, if found to trigger the alarm.

【技术实现步骤摘要】
一种基于人体姿态跟踪分析的室内危险情况告警的方法
本专利技术涉及一种基于人体姿态跟踪分析的室内危险情况告警的方法。
技术介绍
动作捕捉(MotionCapture)是一种记录物体移动的过程并将其模拟到数字模型中的测量技术。动作捕捉涉及测量、物理定位、空间定位等多种计算方法，以及数据与计算机之间的互通和处理。通过在运动物体的关键部位设置跟踪器或者通过其他手段获取目标点的位置，再经过计算机处理后得到三维空间坐标的数据，并将该数据应用在动画制作、步态分析、生物力学、人机工程等领域。人体识别，特指利用分析比较人体视觉特征信息，区分人与其他物品，并进行身份鉴别计算机技术。人体姿态跟踪分析是在实时获取人体特征信息、在跟踪和识别的基础上，对物体的运动信息进行进一步分析的技术。在机器学习和认知科学领域，人工神经网络（artificialneuralnetwork，缩写ANN），简称神经网络（neuralnetwork，缩写NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。人工神经网络是一个能够学习，能够总结归纳的系统，也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络通过对局部情况的对照比较（而这些比较是基于不同情况下的自动学习和要实际解决问题的复杂性所决定的），它能够推理产生一个可以自动识别的系统。和其他机器学习方法一样，神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别。这些问题都是很难被传统基于规则的编程所解决的。目前的人体动作捕获及姿态分析系统，前景检测通常采用背景差分法，背景建模常使用高斯模型，这种方法计算量大、速度慢，易受阴影影响，检测到的目标图像存在噪音，并且暂停运动的目标会被吸收为背景的一部分，导致目标内部存在空洞。并且人体关节点提取通常采用光学标记或人工标定，人为误差较大，自动化程度低，并且目前人体关节点的自动提取方法通常采用曲线拟合的方法，计算量较大、精确度低，不具有普遍适用性。另外尚无可在空调上应用人体姿态分析跟踪的方案，无法对人的异常动作，比如说老人摔倒，小孩跌倒，或者搬动重物家电等可能引发危险的行为，通过检测并能及时给出告警。
技术实现思路
本专利技术的目的在于提供一种基于人体姿态跟踪分析的室内危险情况告警的方法，在室内家用电器上设置图像采集装置，尤其是空调，利用其视角广阔可采集室内全景图像的特点，通过人体识别技术从所采集的室内图像中获取人体特征信息、在跟踪和识别的基础上，对室内人员的动作姿态进行分析，在发现存在危险行为、人员摔倒或者火苗时能及时告警。本专利技术一种基于人体姿态跟踪分析的室内危险情况告警的方法，其特征在于包括如下步骤：步骤1、神经网络模型训练步骤1.1、人体姿态识别的神经网络模型训练通过爬取大量网上不同年龄段人群家庭环境下的常见动作和危险动作视频片段，按照该视频片段中的人物的体态特征以及动作序列的规律，对人体姿态标定年龄范围，并按照年龄范围对动作危险程度以及是否摔倒进行标定分类；选用的神经网络模型为深度网络中的三维卷积神经网络，通过无监督学习进行初始参数设定，然后对上述标定后的视频片段进行学习；步骤1.2、危险物品的神经网络模型训练通过爬取大量网上涉及各种场景下定义为危险物品的图像，并按照年龄所对应的危险物品进行标定分类；选用的神经网络模型为深度网络中的二维卷积神经网络，对上述采集的图像通过无监督学习进行初始参数设定，然后对标定的危险物品、特定求救手势、火焰图像进行学习；步骤2、危险动作跟踪分析及告警首先，通过空调摄像头采集室内环境图像，并将每一帧采集的图像转化为灰度图，图形处理器对灰度图进行人脸检测，如果没检测出人脸就丢弃该图像，如果检测出人脸，则对人脸进行识别得到人脸特征值，并对该人脸进行编号，与人脸编号绑定进行人体姿态识别和跟踪，开辟多个线程分别对与该人脸编号相关的视频数据进行单项功能的检测，其中：第一线程用于人员摔倒告警：对单帧图像通过滑块移动的方式利用神经网络模型逐区域判断是否存在人体横卧姿态的情况，如果存在人体横卧姿态，则认为出现人摔倒的情况，此时，进一步利用神经网络模型判断出人体区域，计算出此人体区域的重心位置作为人体重心位置，并对此人体区域进行跟踪，如果人体重心位置在图像上的位置处于不动或者水平运动的状态超过阈值时间，则认为有人摔倒并触发告警，转步骤3；如果人体重心向上移动且向上移动的距离超过预设的范围，则认为该人体区域内摔倒的人已经站起来，则不触发告警；第二线程用于人员行为告警：利用二维深度神经网络在单帧图像中检测是否存在人体或者危险物品，若检测出人体，则对该人体进行人脸识别并判断出年龄；进一步利用三维卷积神经网络检测视频帧中是否存在人搬动物品的姿态，若存在上述无法识别人脸判断年龄失败的情形，则根据人搬动物品的姿态得到并输出人体运动幅度参数来辅助判断人的年龄；利用跟踪算法对检测到的人体进行跟踪，并结合上述年龄、危险物品位置信息、人搬动物品的姿态来判断是否存在小孩攀爬高处、小孩/老人移动、靠近或者触摸危险物品的情形，若是，则触发告警，转步骤3；步骤3、空调将采集的涉及告警的视频或者预置的文字发送至绑定的用户移动终端。进一步的，所述步骤3中空调通过自身的扬声器播放对应的告警录音。进一步的，增加特定求救手势的神经网络模型训练，采集各种个体做出的特定求救手势的图像进行标定分类；选用的神经网络模型为深度网络中的二维卷积神经网络，对上述采集的图像通过无监督学习进行初始参数设定，然后对标定的特定求救手势进行学习；在步骤2中增加第三线程用于特定求救手势告警，对单帧图像通过滑块移动的方式利用神经网络模型逐区域判断是否存在特定求救手势，若检测到，则触发告警，转步骤3。进一步的，增加火焰图像的神经网络模型训练，采集各种火焰图像进行标定分类；选用的神经网络模型为深度网络中的二维卷积神经网络，对上述采集的图像通过无监督学习进行初始参数设定，然后对标定的火焰图像进行学习；在步骤2中增加第四线程用于火灾情况告警，对单帧图像通过滑块移动的方式利用神经网络模型逐区域判断是否存在火焰，若检测到，则触发告警，转步骤3。本专利技术将基于人工智能网络的人体识别技术应用在空调等家用电器上，改善原有家用电器单一的功能，增加判断识别用户（如儿童）在家的一些可能造成伤害的危险行为，如搬动家电(电视，饮水机)、攀爬高处以及触摸插座等，发现危险行为时，能及时触发告警，以及增加判断识别用户（如老人）在家中不小心摔倒或者发出特定求救手势时，能及时触发告警；进一步判断家中是否有危险情况，例如火灾等，若发现能及时触发告警。具体实施方式本专利技术一种基于人体姿态跟踪分析的室内危险情况告警的方法，具体包括如下步骤：步骤1、神经网络模型训练步骤1.1、人体姿态识别的神经网络模型训练通过爬取大量网上不同年龄段人群家庭环境下的常见动作和危险动作视频片段，按照该视频片段中的人物的体态特征（如身高体型等）以及动作序列的规律（如动作幅度、速度等），对人体姿态标定年龄范围，并按照年龄范围对动作危险程度以及是否摔倒进行标定分本文档来自技高网...

【技术保护点】
一种基于人体姿态跟踪分析的室内危险情况告警的方法，其特征在于包括如下步骤：步骤1、神经网络模型训练步骤1.1、人体姿态识别的神经网络模型训练通过爬取大量网上不同年龄段人群家庭环境下的常见动作和危险动作视频片段，按照该视频片段中的人物的体态特征以及动作序列的规律，对人体姿态标定年龄范围，并按照年龄范围对动作危险程度以及是否摔倒进行标定分类；选用的神经网络模型为深度网络中的三维卷积神经网络，通过无监督学习进行初始参数设定，然后对上述标定后的视频片段进行学习；步骤1.2、危险物品的神经网络模型训练通过爬取大量网上涉及各种场景下定义为危险物品的图像，并按照年龄所对应的危险物品进行标定分类；选用的神经网络模型为深度网络中的二维卷积神经网络，对上述采集的图像通过无监督学习进行初始参数设定，然后对标定的危险物品、特定求救手势、火焰图像进行学习；步骤2、危险动作跟踪分析及告警首先，通过空调摄像头采集室内环境图像，并将每一帧采集的图像转化为灰度图，图形处理器对灰度图进行人脸检测，如果没检测出人脸就丢弃该图像，如果检测出人脸，则对人脸进行识别得到人脸特征值，并对该人脸进行编号，与人脸编号绑定进行人体姿态识别和跟踪，开辟多个线程分别对与该人脸编号相关的视频数据进行单项功能的检测，其中：第一线程用于人员摔倒告警：对单帧图像通过滑块移动的方式利用神经网络模型逐区域判断是否存在人体横卧姿态的情况，如果存在人体横卧姿态，则认为出现人摔倒的情况，此时，进一步利用神经网络模型判断出人体区域，计算出此人体区域的重心位置作为人体重心位置，并对此人体区域进行跟踪，如果人体重心位置在图像上的位置处于不动或者水平运动的状态超过阈值时间，则认为有人摔倒并触发告警，转步骤3；如果人体重心向上移动且向上移动的距离超过预设的范围，则认为该人体区域内摔倒的人已经站起来，则不触发告警；第二线程用于人员行为告警：利用二维深度神经网络在单帧图像中检测是否存在人体或者危险物品，若检测出人体，则对该人体进行人脸识别并判断出年龄；进一步利用三维卷积神经网络检测视频帧中是否存在人搬动物品的姿态，若存在上述无法识别人脸判断年龄失败的情形，则根据人搬动物品的姿态得到并输出人体运动幅度参数来辅助判断人的年龄；利用跟踪算法对检测到的人体进行跟踪，并结合上述年龄、危险物品位置信息、人搬动物品的姿态来判断是否存在小孩攀爬高处、小孩/老人移动、靠近或者触摸危险物品的情形，若是，则触发告警，转步骤3；步骤3、空调将采集的涉及告警的视频或者预置的文字发送至绑定的用户移动终端。...

【技术特征摘要】
1.一种基于人体姿态跟踪分析的室内危险情况告警的方法，其特征在于包括如下步骤：步骤1、神经网络模型训练步骤1.1、人体姿态识别的神经网络模型训练通过爬取大量网上不同年龄段人群家庭环境下的常见动作和危险动作视频片段，按照该视频片段中的人物的体态特征以及动作序列的规律，对人体姿态标定年龄范围，并按照年龄范围对动作危险程度以及是否摔倒进行标定分类；选用的神经网络模型为深度网络中的三维卷积神经网络，通过无监督学习进行初始参数设定，然后对上述标定后的视频片段进行学习；步骤1.2、危险物品的神经网络模型训练通过爬取大量网上涉及各种场景下定义为危险物品的图像，并按照年龄所对应的危险物品进行标定分类；选用的神经网络模型为深度网络中的二维卷积神经网络，对上述采集的图像通过无监督学习进行初始参数设定，然后对标定的危险物品、特定求救手势、火焰图像进行学习；步骤2、危险动作跟踪分析及告警首先，通过空调摄像头采集室内环境图像，并将每一帧采集的图像转化为灰度图，图形处理器对灰度图进行人脸检测，如果没检测出人脸就丢弃该图像，如果检测出人脸，则对人脸进行识别得到人脸特征值，并对该人脸进行编号，与人脸编号绑定进行人体姿态识别和跟踪，开辟多个线程分别对与该人脸编号相关的视频数据进行单项功能的检测，其中：第一线程用于人员摔倒告警：对单帧图像通过滑块移动的方式利用神经网络模型逐区域判断是否存在人体横卧姿态的情况，如果存在人体横卧姿态，则认为出现人摔倒的情况，此时，进一步利用神经网络模型判断出人体区域，计算出此人体区域的重心位置作为人体重心位置，并对此人体区域进行跟踪，如果人体重心位置在图像上的位置处于不动或者水平运动的状态超过阈值时间，则认为有人摔倒并触发告警，转步骤3；如果人体重心向上移动且向上移动的距离超过预设的范围，则认为该人体区域内摔倒的人已经站起来，则不触发告警；第二线程...

【专利技术属性】
技术研发人员：黄春辉，贾宝芝，曾环样，胡燕彬，
申请(专利权)人：厦门瑞为信息技术有限公司，
类型：发明
国别省市：福建,35