一种室内环境下的异常行为识别方法技术

本发明专利技术公开了一种室内环境下的异常行为识别方法，属于深度学习、视频图像和信息融合领域。由于使用深度学习方法作为特征提取器，本发明专利技术所述方法可以从图像中获取更加高维抽象的特征，极大提升了目标行为识别的准确度。此外，采用剪枝操作能够有效压缩模型规模并加速模型运行，保证深度网络在资源受限、实时性要求高的嵌入式环境下也能正常工作。同时，本方法充分考虑到多种信息的特征，对每种信息所对应的行为概率进行决策级融合，可以大幅提高目标行为识别的准确度。

An Abnormal Behavior Recognition Method in Indoor Environment

The invention discloses an abnormal behavior recognition method in indoor environment, which belongs to the field of deep learning, video image and information fusion. Because the deep learning method is used as a feature extractor, the method of the present invention can obtain more high-dimensional abstract features from images, and greatly improves the accuracy of target behavior recognition. In addition, pruning can effectively reduce the size of the model and speed up the operation of the model, ensuring that the deep network can work normally in embedded environment with limited resources and high real-time requirements. At the same time, this method fully takes into account the characteristics of multiple information, and fuses the corresponding behavior probability of each information at decision level, which can greatly improve the accuracy of target behavior recognition.

【技术实现步骤摘要】
一种室内环境下的异常行为识别方法
本专利技术属于深度学习、视频图像和信息融合领域，涉及一种室内环境下的异常行为识别方法。
技术介绍
近年来，由于人体行为识别能够自动监视并理解人体行为，因此在医疗服务、智能家庭等领域引起了研究者的广泛兴趣。例如，人体行为识别系统能够识别智能空间下老人的日常行为，这些行为记录能够为医生远程提供进一步的医疗建议。特别地，人体行为识别能够直接识别出老人在环境下的异常行为模式，如昏迷、跌倒等，并且立即通知监护人以避免进一步危害的发生。根据运动特征的不同异常行为识别主要分为基于标记的动作识别和基于视觉的动作识别，其中前者通过可穿戴设备提取人体的运动特征，具有识别精度高的优点，然而需要与人体直接侵入式接触；后者不需要与人体直接接触，具有简单易行的优点，更容易在日常生活中使用。由于深度学习能够自适应获取具有良好表达性的特征，目前基于深度学习的人体异常行为识别已成为学术界与工业界的研究热点。以卷积神经网络为代表的深度学习模型在人体行为识别中遵循着模型构造、特征提取、识别分类三步流程，相比于传统方式能够获得更具表达性的特征，这对于识别复杂的人体行为具有重要的实际意义。然而，卷积神经网络通常都包含有几十甚至上百卷积层，训练参数量动辄上百万，在GPU加速支持下仍然需要花费几天或几周时间才能完成训练。卷积神经网络运行过程中所需计算资源以及存储资源制约其在实时要求高、资源受限的环境下的运行，因此在保证网络精度的前提下压缩并加速模型有助于深度卷积神经网络在室内环境下的异常行为识别。本专利技术利用卷积神经网络进行室内环境下的异常行为识别，能够获得良好表达性的特征和较高的识别准确率；利用剪枝技术以降低网络规模并加速网络运行，克服了卷积神经网络计算与存储资源要求高的问题；此外，综合考虑位置信息、时间信息与动作信息，能够获得更为丰富的语义信息和环境信息，能够进一步提高人体异常行为的准确率。
技术实现思路
有鉴于此，本专利技术的目的在于克服现有的室内环境下的人体异常行为识别方法存在的缺陷，提供一种鲁棒、灵活的异常行为识别方法，该方法基于多信息融合、深度学习和图像处理算法，可以在夜晚、光照影响、能见度较低的情况下对空间下的服务目标进行行为识别。为达到上述目的，本专利技术提供如下技术方案：一种室内环境下的异常行为识别方法。包括以下步骤：步骤一：获取CASIA行为分析数据库中俯视角下走、跑、弯腰、跳、下蹲、晕倒等视频集合，将视频中的所有帧提取出来，预处理后作为训练数据集；步骤二：将卷积神经网络(ConvolutionalNeuralNetworks,CNN)作为特征提取器提取训练数据集的高维抽象特征，将支持向量机(SupportVectorMachine,SVM)作为分类器获得对应行为的标签，离线训练所构造的模型；步骤三：对于训练后的卷积神经网络，将所有小于阈值K的神经元之间的连接权重置为0，并微调网络以使其保持识别精度处于较高水平，重复步骤三以持续压缩并加速深度网络；步骤四：通过位于房间天花板的红外摄像头获取待识别目标的视频，将视频关键帧作为测试集，预处理后输入训练好的模型，识别目标对应动作；步骤五：构建目标的行为关联矩阵G＝(T,L,A)，关联矩阵的三个元素分别表示时间、地点、动作与自然行为之间的关系，即不同情况下可能对应的自然行为。由不同时间、位置、动作与自然行为之间的关联矩阵构建自然行为与环境上下文信息的知识库，利用D-S证据理论融合每种情况下的自然行为概率分布，完成目标的行为识别。进一步，在步骤一中具体包括以下步骤：11：获取CASIA行为分析数据库中俯视角下走、跑、弯腰、跳、下蹲、晕倒等视频集合，将视频中的所有帧提取出来；12：获取每种行为对应的关键帧，对关键帧进行降维、去噪等预处理操作；13：在预处理后的关键帧中人工标注出待检测目标区域，并给出行为对应的标签，构造训练数据集。进一步，所述步骤二中具体包括以下步骤：21：利用卷积神经网络(ConvolutionalNeuralNetworks,CNN)作为特征提取器，支持向量机(SupportVectorMachine,SVM)作为分类器，构造一个CNN+SVM的人体动作识别模型；22：将步骤21中构造的训练数据集输入卷积神经网络，提取具有良好表达性的特征；23：将卷积神经网络提取的特征输入支持向量机，对人体动作进行准确识别，构造具有良好性能的模型。进一步，所述步骤三中具体包括以下步骤：31：设定较小阈值K，对于步骤二中模型中所有小于K的连接权重都置为0；32：微调剪枝后的网络，使得网络达到较高的识别准确度；33：重复步骤31、步骤32，通过迭代剪枝使网络规模逐渐降低，最终获得高性能的模型。进一步，所述步骤四中具体包括以下步骤：41：通过天花板的红外摄像头获取待检测目标视频，对视频关键帧进行降维、去噪等预处理操作；42：对所采集的红外图像上进行人体窗口采样，提取运动目标的标注框区域；43：将提取得到标注框区域送入权利要求1所述步骤三中剪枝后的CNN+SVM模型，对人体动作进行检测与识别。进一步，所述步骤五中具体包括以下步骤：51：构建行为关联矩阵G＝(T,L,A)(1)其中，T、L、A分别为时间、地点、动作与自然行为之间的关系，即不同情况下可能发生的行为；52：根据行为关联矩阵给出每种情况下异常行为发生的概率；53：利用D-S证据理论对每种概率进行决策级融合，最终得到异常行为发生的概率，完成室内环境下的异常行为识别。本专利技术的有益效果在于：由于使用深度学习方法作为特征提取器，本专利技术所述方法可以从图像中获取更加高维抽象的特征，极大提升了目标行为识别的准确度。此外，采用剪枝操作能够有效压缩模型规模并加速模型运行，保证深度网络在资源受限、实时性要求高的嵌入式环境下也能正常工作。同时，本方法充分考虑到多种信息的特征，对每种信息所对应的行为概率进行决策级融合，可以大幅提高目标行为识别的准确度。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术所述方法的流程图；具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。图1为本专利技术所述方法的流程图，本方法包括以下步骤：S1：获取CASIA行为分析数据库中俯视角下走、跑、弯腰、跳、下蹲、晕倒等视频集合，将视频中的所有帧提取出来，预处理后作为训练数据集。训练数据集构造的具体步骤如下：S11：获取CASIA行为分析数据库中俯视角下走、跑、弯腰、跳、下蹲、晕倒等视频集合，将视频中的所有帧提取出来；S12：获取每种行为对应的关键帧，对关键帧进行降维、去噪等预处理操作；S13：在预处理后的关键帧中人工标注出待检测目标区域，并给出行为对应的标签，构造训练数据集。S2：将卷积神经网络(ConvolutionalNeuralNetworks,CNN)作为特征提取器提取训练数据集的高维抽象特征，将支持向量机(SupportVectorMachine,SVM)作为分类器获得对应行为的标签，离线训练所构造的模型。具体步骤如下：S21：利用卷积神经网络(ConvolutionalNeuralNetworks,CNN)作为特征提取器，支持向量机(SupportVectorMachine,SVM)作为本文档来自技高网...

【技术保护点】
1.一种室内环境下的异常行为识别方法，其特征在于：包括以下步骤：步骤一：获取CASIA行为分析数据库中俯视角下走、跑、弯腰、跳、下蹲、晕倒等视频集合，将视频中的所有帧提取出来，预处理后作为训练数据集；步骤二：将卷积神经网络(Convolutional Neural Networks,CNN)作为特征提取器提取训练数据集的高维抽象特征，将支持向量机(Support Vector Machine,SVM)作为分类器获得对应行为的标签，离线训练所构造的模型；步骤三：对于训练后的卷积神经网络，将所有小于阈值K的神经元之间的连接权重置为0，并微调网络以使其保持识别精度处于较高水平，重复步骤三以持续压缩并加速深度网络；步骤四：通过位于房间天花板的红外摄像头获取待识别目标的视频，将视频关键帧作为测试集，预处理后输入训练好的模型，识别目标对应动作；步骤五：构建目标的行为关联矩阵G＝(T,L,A)，关联矩阵的三个元素分别表示时间、地点、动作与自然行为之间的关系，即不同情况下可能对应的自然行为。由不同时间、位置、动作与自然行为之间的关联矩阵构建自然行为与环境上下文信息的知识库，利用D‑S证据理论融合每种情况下的自然行为概率分布，完成目标的行为识别。...

【技术特征摘要】
1.一种室内环境下的异常行为识别方法，其特征在于：包括以下步骤：步骤一：获取CASIA行为分析数据库中俯视角下走、跑、弯腰、跳、下蹲、晕倒等视频集合，将视频中的所有帧提取出来，预处理后作为训练数据集；步骤二：将卷积神经网络(ConvolutionalNeuralNetworks,CNN)作为特征提取器提取训练数据集的高维抽象特征，将支持向量机(SupportVectorMachine,SVM)作为分类器获得对应行为的标签，离线训练所构造的模型；步骤三：对于训练后的卷积神经网络，将所有小于阈值K的神经元之间的连接权重置为0，并微调网络以使其保持识别精度处于较高水平，重复步骤三以持续压缩并加速深度网络；步骤四：通过位于房间天花板的红外摄像头获取待识别目标的视频，将视频关键帧作为测试集，预处理后输入训练好的模型，识别目标对应动作；步骤五：构建目标的行为关联矩阵G＝(T,L,A)，关联矩阵的三个元素分别表示时间、地点、动作与自然行为之间的关系，即不同情况下可能对应的自然行为。由不同时间、位置、动作与自然行为之间的关联矩阵构建自然行为与环境上下文信息的知识库，利用D-S证据理论融合每种情况下的自然行为概率分布，完成目标的行为识别。2.根据权利要求1所述的一种室内环境下的异常行为识别方法，其特征在于：在步骤一中具体包括以下步骤：11：获取CASIA行为分析数据库中俯视角下走、跑、弯腰、跳、下蹲、晕倒等视频集合，将视频中的所有帧提取出来；12：获取每种行为对应的关键帧，对关键帧进行降维、去噪等预处理操作；13：在预处理后的关键帧中人工标注出待检测目标区域，并给出行为对应的标签，构造训练数据集。3.根据权利要求1所述的一种室内环境下的异常行为识别方法，其特征在于：在步骤...

【专利技术属性】
技术研发人员：尹宏鹏，柴毅，吴欣怡，易士翔，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50