本发明专利技术公开了一种基于深度学习的行为识别方法、装置、设备及存储介质,所述方法包括:通过在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息;提取所述步行行为信息中的当前静态图像信息和当前光流图像信息;通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果;通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别,得到动态行为识别结果;根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别;根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别,从而提高行为识别准确性。
Behavior Recognition Method, Device, Equipment and Storage Media Based on Deep Learning
【技术实现步骤摘要】
基于深度学习的行为识别方法、装置、设备及存储介质
本专利技术涉及计算机
,尤其涉及一种基于深度学习的行为识别方法、装置、设备及存储介质。
技术介绍
目前,交通管理的管理系统主要针对机动车违章违法的视频识别监测与执法,但还没有对行人违章违法的监控管理措施和设施进行有效的执法,随着智慧交通管理系统的专业化与精细化,公安交警对行人闯红灯等违章的现象将逐步采用专有技术进行针对性执法管理,但是在抓拍过程中对行人进行行为识别仍然出现误差较大的问题。
技术实现思路
本专利技术的主要目的在于提出一种基于深度学习的行为识别方法、装置、设备及存储介质,旨在提高行人行为识别的准确性。为实现上述目的,本专利技术提供一种基于深度学习的行为识别方法,所述基于深度学习的行为识别方法包括以下步骤:在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息;提取所述步行行为信息中的当前静态图像信息和当前光流图像信息;通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果;通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别,得到动态行为识别结果;根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。优选地,所述在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息之前,所述方法还包括:与红绿灯控制装置建立连接,在连接后实时获取所述红绿灯控制装置发送的当前红绿灯的运行信息;根据所述运行信息执行在红灯亮之前的预设时间范围内采集预设路段上行人的行为信息的步骤。优选地,所述提取所述步行行为信息中的当前静态图像信息和当前光流图像信息之前,所述方法还包括:获取所述行人的步行速度信息;将所述步行速度信息与预设速度阈值进行比较,根据比较结果得到所述行人中的异常步行速度信息;根据所述异常步行速度信息对应的目标行为信息对所述步行行为信息进行调整;相应的,所述提取所述步行行为信息中的当前静态图像信息和当前光流图像信息,包括:提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息。优选地,所述提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息,包括:提取调整后的步行行为信息中的每一帧的三基色图像,将所述三基色图像作为所述当前静态图像信息;提取调整后的步行行为信息中的每一个像素在时间维度上的偏移估计信息,将所述偏移估计信息作为所述当前光流图像信息。优选地,所述通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果之前,所述方法还包括:获取历史静态图像信息,提取所述历史静态图像信息中的静态特征信息,将所述静态特征信息生成多维静态向量信息,并将所述多维静态向量信息输入至卷积神经网络中进行训练,得到静态图像行为识别模型;所述通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别,得到动态行为识别结果之前,所述方法还包括:获取历史动态图像信息,提取所述历史动态图像信息中的动态特征信息,将所述动态特征信息生成多维动态向量信息,并将所述多维动态向量信息输入至卷积神经网络中进行训练,得到动态图像行为识别模型。优选地,根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别之后,所述方法还包括:将所述静态行为识别结果和动态行为识别结果进行融合,并计算融合结果的平均值;在所述平均值达到预设判定阈值时,将所述融合结果对应的行为结果作为目标行为结果;在所述目标行为结果属于异常行为信息时进行预警。优选地,所述在所述目标行为结果属于异常行为信息时进行预警之后,所述方法还包括:在所述目标行为结果属于异常行为信息时,获取所述目标行为结果对应的行人信息;对所述行人信息标上预设异常标签信息,并将标上预设异常标签信息的行人信息进行保存。此外,为实现上述目的,本专利技术还提出一种基于深度学习的行为识别装置,所述基于深度学习的行为识别装置包括:检测模块,用于在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息;提取模块,用于提取所述步行行为信息中的当前静态图像信息和当前光流图像信息;静态识别模块,用于通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果;动态识别模块,用于通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别,得到动态行为识别结果;识别模块,用于根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。此外,为实现上述目的,本专利技术还提出一种基于深度学习的行为识别设备,所述基于深度学习的行为识别设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的行为识别程序,所述基于深度学习的行为识别程序配置为实现如上所述的基于深度学习的行为识别方法的步骤。此外,为实现上述目的,本专利技术还提出一种存储介质,所述存储介质上存储有基于深度学习的行为识别程序,所述基于深度学习的行为识别程序被处理器执行时实现如上文所述的基于深度学习的行为识别方法的步骤。本专利技术提出的基于深度学习的行为识别方法,通过在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息;提取所述步行行为信息中的当前静态图像信息和当前光流图像信息;通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果;通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别,得到动态行为识别结果;根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别;根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别,从而通过深度学习对行人的行为信息进行识别,判断行人是否会出现闯红灯的行为进行提前预判,达到行为识别准确性的目的。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的设备结构示意图;图2为本专利技术基于深度学习的行为识别方法第一实施例的流程示意图;图3为本专利技术基于深度学习的行为识别方法一实施例的行人识别系统结构示意图;图4为本专利技术基于深度学习的行为识别方法一实施例的行人行为抓拍示意图;图5为本专利技术基于深度学习的行为识别方法第二实施例的流程示意图;图6为本专利技术基于深度学习的行为识别方法第三实施例的流程示意图;图7为本专利技术基于深度学习的行为识别装置第一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。参照图1,图1为本专利技术实施例方案涉及的硬件运行环境的基于深度学习的行为识别设备结构示意图。如图1所示,该设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的本文档来自技高网...
【技术保护点】
1.一种基于深度学习的行为识别方法,其特征在于,所述基于深度学习的行为识别方法包括:在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息;提取所述步行行为信息中的当前静态图像信息和当前光流图像信息;通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果;通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别,得到动态行为识别结果;根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。
【技术特征摘要】
1.一种基于深度学习的行为识别方法,其特征在于,所述基于深度学习的行为识别方法包括:在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息;提取所述步行行为信息中的当前静态图像信息和当前光流图像信息;通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果;通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别,得到动态行为识别结果;根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。2.如权利要求1所述的基于深度学习的行为识别方法,其特征在于,所述在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息之前,所述方法还包括:与红绿灯控制装置建立连接,在连接后实时获取所述红绿灯控制装置发送的当前红绿灯的运行信息;根据所述运行信息执行在红灯亮之前的预设时间范围内采集预设路段上行人的行为信息的步骤。3.如权利要求1所述的基于深度学习的行为识别方法,其特征在于,所述提取所述步行行为信息中的当前静态图像信息和当前光流图像信息之前,所述方法还包括:获取所述行人的步行速度信息;将所述步行速度信息与预设速度阈值进行比较,根据比较结果得到所述行人中的异常步行速度信息;根据所述异常步行速度信息对应的目标行为信息对所述步行行为信息进行调整;相应的,所述提取所述步行行为信息中的当前静态图像信息和当前光流图像信息,包括:提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息。4.如权利要求3所述的基于深度学习的行为识别方法,其特征在于,所述提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息,包括:提取调整后的步行行为信息中的每一帧的三基色图像,将所述三基色图像作为所述当前静态图像信息;提取调整后的步行行为信息中的每一个像素在时间维度上的偏移估计信息,将所述偏移估计信息作为所述当前光流图像信息。5.如权利要求1至4中任一项所述的基于深度学习的行为识别方法,其特征在于,所述通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别,得到静态行为识别结果之前,所述方法还包括:获取历史静态图像信息,提取所述历史静态图像信息中的静态特征信息,将所述静态特征信息生成多维静态向量信息,并将所述多维静态向量信息输入至卷积神经网络中进行训练,得到静态图像行为识别模型...
【专利技术属性】
技术研发人员:刘江锋,
申请(专利权)人:武汉纵横智慧城市股份有限公司,
类型:发明
国别省市:湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。