一种无人机监控场景下的人体行为识别方法、系统及装置制造方法及图纸

本发明专利技术公开了一种无人机监控场景下的人体行为识别方法、系统及装置，方法包括：通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频；基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练；将实际监控视频进行处理后输入至训练后的卷积神经网络模型中，得到实际监控视频中的人体行为的分类类型。本发明专利技术通过训练后的卷积神经网络模型能够实时自动对现实无人机平台监控场景下人体的各类行为进行识别，网络泛化能力较好，有效提升识别效果。本发明专利技术可广泛应用于行为识别领域中。

A human behavior recognition method, system and device under UAV surveillance scenario

The invention discloses a method, system and device for human behavior identification in an unmanned aerial vehicle monitoring scene. The method includes: video shooting and preprocessing of the required monitoring sites through an unmanned aerial vehicle monitoring camera to obtain sample video; based on sample video, the human behavior in the sample video is classified and the volume is created. The product neural network model and the training test set sample library, and then train the convolution neural network model through the training test set sample library, and then input the actual monitoring video into the trained convolution neural network model, and get the classification type of the human body line in the actual monitoring video. Through the convolution neural network model after training, the invention can recognize all kinds of human behavior in real time unmanned aerial vehicle platform monitoring scene automatically. The network generalization ability is good, and the recognition effect can be improved effectively. The invention can be widely applied to the field of behavior recognition.

【技术实现步骤摘要】
一种无人机监控场景下的人体行为识别方法、系统及装置
本专利技术涉及行为识别
，尤其涉及一种无人机监控场景下的人体行为识别方法、系统及装置。
技术介绍
随着计算机科学与通信技术的不断发展，人们对于监控摄像等领域的处理水平不断提高，其中，应用于无人机平台监控场景下视频实时处理的技术研究有着重要的实际意义。目前，监控已成为一种“流行”，但是如果对监控产生的大量视频信息人为地去分析，将耗费大量的人力、物力和时间。这样也可能会造成处理不及时，分析不全面的问题。而智能视频监控系统的研究与应用，不但可以及时、准确地判断出监控视频中人体的各类行为，为相应的行为处理模块提供了数据基础，而且还节省了大量的人力等成本。目前国内外关于无人机平台监控场景下视频中人体行为分析技术存在着不少亟待解决的问题：1、对于无人机平台人体行为智能分析技术方面的研究较少，无法准确地智能响应处理各类事件；2、针对视频中的行为提取的特征不具有代表性，从而无法准确判断各类行为，包括人体的细微动作；3、基于特征提取的算法时间开销太大，难以实现实时处理；4、网络的泛化能力较低，从而导致学生行为识别准确率降低。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种能实时分析的无人机监控场景下的人体行为识别方法、系统及装置。本专利技术所采取的技术方案是：一种无人机监控场景下的人体行为识别方法，包括以下步骤：通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频；基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练；将实际监控视频进行处理后输入至训练后的卷积神经网络模型中，得到实际监控视频中的人体行为的分类类型。作为所述的一种无人机监控场景下的人体行为识别方法的进一步改进，所述的通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频，这一步骤具体包括：通过无人机监控摄像头对所需的监控地点进行视频拍摄，得到初步视频；根据初步视频对应的监控地点，对初步视频进行背景去除处理，得到二次处理视频；根据二次处理视频，得到能框住每一帧中人体行为的最小边界框；对二次处理视频中的空间信息、时间信息和深度信息进行规范化处理，得到规范化视频；将得到的规范化视频进行水平翻转处理形成翻转后的规范化视频，结合原本的规范化视频，得到样本视频。作为所述的一种无人机监控场景下的人体行为识别方法的进一步改进，所述的对二次处理视频进行空间规范化处理、时间规范化处理和深度信息规范化处理，得到规范化视频，这一步骤具体包括：将二次处理视频中的图像缩放至预设的尺寸，得到空间规范化视频；将所有空间规范化视频通过时间规范化公式处理至统一的视频长度，得到时间规范化视频；通过MiniMax算法将所有时间规范化视频的像素值规范化到[0,1]范围内，得到规范化视频。作为所述的一种无人机监控场景下的人体行为识别方法的进一步改进，所述的基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练，这一步骤具体包括：基于样本视频，对样本视频中人体行为进行分类并标注，得到行为类别，并创建卷积神经网络模型和训练测试集样本库；设定卷积神经网络模型中在分类器阶段的全连接层神经元使用随机Dropout方法，且将设定输出为0的神经元比例在每次网络更新时都进行随机变化；将训练测试集样本库的样本视频进行分段，得到分段视频，并将分段视频作为卷积神经网络模型输入；将标注的行为类别作为输出，通过误差反向传播算法训练卷积神经网络模型的连接参数。作为所述的一种无人机监控场景下的人体行为识别方法的进一步改进，所述的将训练测试集样本库的样本视频进行分段，得到分段视频，并将分段视频作为卷积神经网络模型输入，这一步骤具体包括：将帧数为NF的规范化视频以预设的步长LStride进行分段，每段包括预设的帧数LSeg，则分段数为Nseg＝1+(NF-LSeg)/LStride，并根据预设的采样率进行采样，形成得到第一视频段矩阵；以初步视频中每一帧的左手关节为中心，根据预设的帧大小截取并组成新视频，对新视频采取上进行分段处理，得到第二视频段矩阵；将第一视频段矩阵和第二视频段矩阵进行融合得到第三视频段矩阵，同时将第三视频段矩阵中的分段视频输入到卷积神经网络模型中。作为所述的一种无人机监控场景下的人体行为识别方法的进一步改进，所述的时间规范化公式为：其中，N和NF分别为规范化前后视频含有的帧数，则规范化后第j帧来自于规范化前视频中的第i帧，括号表示上取整。本专利技术所采用的另一技术方案是：一种无人机监控场景下的人体行为识别系统，包括：预处理单元，用于通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频；训练单元，用于基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练；应用识别单元，用于将实际监控视频进行处理后输入至训练后的卷积神经网络模型中，得到实际监控视频中的人体行为的分类类型。本专利技术所采用的再一个技术方案是：一种无人机监控场景下的人体行为识别装置，包括：存储器，用于存放程序；处理器，用于执行所述程序，所述程序使得所述处理器执行所述的无人机监控场景下的人体行为识别方法。本专利技术的有益效果是：本专利技术一种无人机监控场景下的人体行为识别方法、系统及装置通过训练后的卷积神经网络模型能够实时自动对现实无人机平台监控场景下人体的各类行为进行识别，网络泛化能力较好，有效提升识别效果。附图说明图1是本专利技术一种无人机监控场景下的人体行为识别方法的步骤流程图；图2是本专利技术一种无人机监控场景下的人体行为识别系统的模块方框图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：参考图1，本专利技术一种无人机监控场景下的人体行为识别方法，包括以下步骤：通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频；基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练；将实际监控视频进行处理后输入至训练后的卷积神经网络模型中，得到实际监控视频中的人体行为的分类类型。其中，实际监控视频进行处理的方法与训练时的处理方法相同。进一步作为优选的实施方式，所述的通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频，这一步骤具体包括：通过无人机监控摄像头对所需的监控地点进行视频拍摄，得到初步视频；根据初步视频对应的监控地点，对初步视频进行背景去除处理，得到二次处理视频；其中，监控摄像头拍摄的是每一处的图像信息，相对于运动目标，初步视频中背景的位置信息是固定不变的，根据该特点可去除背景信息；根据二次处理视频，得到能框住每一帧中人体行为的最小边界框；对二次处理视频中的空间信息、时间信息和深度信息进行规范化处理，得到规范化视频；将得到的规范化视频进行水平翻转处理形成翻转后的规范化视频，结合原本的规范化视频，得到样本视频。进一步作为优选的实施方式，所述的对二次处理视频进行空间规范化处理、时间规范化处理本文档来自技高网...

【技术保护点】
1.一种无人机监控场景下的人体行为识别方法，其特征在于，包括以下步骤：通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频；基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练；将实际监控视频进行处理后输入至训练后的卷积神经网络模型中，得到实际监控视频中的人体行为的分类类型。

【技术特征摘要】
1.一种无人机监控场景下的人体行为识别方法，其特征在于，包括以下步骤：通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频；基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练；将实际监控视频进行处理后输入至训练后的卷积神经网络模型中，得到实际监控视频中的人体行为的分类类型。2.根据权利要求1所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频，这一步骤具体包括：通过无人机监控摄像头对所需的监控地点进行视频拍摄，得到初步视频；根据初步视频对应的监控地点，对初步视频进行背景去除处理，得到二次处理视频；根据二次处理视频，得到能框住每一帧中人体行为的最小边界框；对二次处理视频中的空间信息、时间信息和深度信息进行规范化处理，得到规范化视频；将得到的规范化视频进行水平翻转处理形成翻转后的规范化视频，结合原本的规范化视频，得到样本视频。3.根据权利要求2所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的对二次处理视频进行空间规范化处理、时间规范化处理和深度信息规范化处理，得到规范化视频，这一步骤具体包括：将二次处理视频中的图像缩放至预设的尺寸，得到空间规范化视频；将所有空间规范化视频通过时间规范化公式处理至统一的视频长度，得到时间规范化视频；通过MiniMax算法将所有时间规范化视频的像素值规范化到[0,1]范围内，得到规范化视频。4.根据权利要求1所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练，这一步骤具体包括：基于样本视频，对样本视频中人体行为进行分类并标注，得到行为类别，并创建卷积神经网络模型和训练测试集样本库；设定卷积神经网络模型中在分类器阶段的全...

【专利技术属性】
技术研发人员：郝禄国，张晓龙，李伟儒，吴楚权，杨琳，葛海玉，
申请(专利权)人：广州海昇计算机科技有限公司，
类型：发明
国别省市：广东,44