基于边缘计算的针对夜间红外视频的在线行为检测系统技术方案

本发明专利技术公开基于边缘计算的针对夜间红外视频的在线行为检测系统，涉及夜间红外视频处理领域，解决现有的基于边缘设备的行为检测系统的检测精度不足的问题；本发明专利技术包括网络红外摄像头

【技术实现步骤摘要】
基于边缘计算的针对夜间红外视频的在线行为检测系统


[0001]本专利技术涉及夜间红外视频处理领域，具体涉及基于边缘计算的针对夜间红外视频的在线行为检测系统
。

技术介绍

[0002]夜间近红外监控视频环境通常用于安保和监控场景，例如智能家居
、
商业安防
、
交通监控等
。
人体轻量化时序行为检测技术可以实时分析监控视频流中的人体行为，如行走
、
奔跑
、
跌倒等，及时发现异常行为并进行预警，有助于提高安全性和响应效率
。
而基于边缘设备的时序行为检测技术可以将算法部署在离视频源较近的边缘设备上进行处理和分析，避免了传输大量视频数据到云端的延迟和带宽压力
。
但是现有的行为检测系统虽然有采用边缘设备的思路，但由于检测模型不够轻量因此无法进行复杂的行为检测，而夜间条件下的红外监控视频成像质量差，干扰多，无法基于可见光分析方法对其应用分析，由于上述原因，因此现有的基于边缘设备的行为检测系统的检测精度并不足以满足用户的需要
。

技术实现思路

[0003]为了解决上述现有技术中存在的问题，本专利技术提供了基于边缘计算的针对夜间红外视频的在线行为检测系统，拟解决现有的基于边缘设备的行为检测系统的检测精度不足的问题
。
[0004]基于边缘计算的针对夜间红外视频的在线行为检测系统，包括网络红外摄像头
、
交换机
、
服务器
、/>边缘设备及终端；所述网络红外摄像头通过交换机接入到网络，并将捕捉到的视频数据上传至服务器；边缘设备通过以太网接口与交换机连接到网络中，边缘设备从服务器中获取视频数据或者通过访问网络红外摄像头获取实时视频数据；从边缘设备上发出指令，边缘设备执行指定任务并返回结果，结果在终端上显示；所述边缘设备中设置有行为检测模型，所述行为检测模型在边缘设备执行指定任务时将送入边缘设备的夜间红外视频进行处理实时检测行人的行为并反馈相关检测结果到终端中
。
[0005]优选的，所述行为检测模型包括分段分类模块
、
特征提取模块以及后处理模块；所述分段分类模块用于将输入的视频进行分段再从每段中提取一帧送入特征提取模块提取特征最后将提取的特征进行处理从而得到每个分段视频的行为结果预测，所述后处理模块用于按照时间维度对所有分段视频的行为结果预测进行汇总并通过交换机送入终端中进行实时显示
。
[0006]优选的，所述特征提取模块包括特征提取网络以及残差模块，所述残差模块内设有运动注意力模块
、
时空注意力模块以及时间段注意力模块，所述运动注意力模块用于通过计算两帧之间的差异得到注意力权重之后将运动注意力权重与原始特征进行融合来模拟光流特征效果以补足近红外视频的画面模糊带来的识别难度；所述时空注意力模块用于进行特征提取；所述时间段注意力模块用于在不同时间步之间建立关联和权重分配，使得模型能够更加聚焦于关键的时间步和特征
。
[0007]优选的，所述分段分类模块包括分段模块和分类模块，所述分段模块用于通过滑窗将输入的视频依次处理，并将滑窗内的视频分为多个视频片段再从每个视频片段中采样一帧送入特征提取模块；所述分类模块用于依据特征提取模块提取的特征对滑窗视频内的行为进行预测
。
[0008]优选的，所述分类模块包括全连接层
、
时序平均值池化层以及分类器，所述全连接层用于结合特征提取模块提取的特征生成与每个视频片段对应的预测结果，所述时序平均值池化层用于计算时间维度上特征的平均值，然后将滑窗视频内的多个预测结果压缩为一个固定长度的向量，所述分类器用于根据时序平均值池化层输出的向量进行最终的预测
。
[0009]优选的，所述网络红外摄像头包括主动式网络红外摄像头和主动式红外摄像头，所述主动式网络红外摄像头用于制作夜间红外视频行为检测数据集的数据捕捉设备和用于获取远程视频数据设备；所述主动式红外摄像头获取本地红外监控视频数据和用于系统功能测试
。
[0010]优选的，所述终端上设有与行为检测模型相匹配的操作界面，用户可通过操作界面查看待检测视频目录并选择相应视频进行行为检测，而后将行为检测结果实时显示在终端上
。
[0011]本专利技术的有益效果包括：
[0012]本专利技术基于轻量化时序行为检测技术针对边缘设备进行了优化，采用轻量级模型和算法，提高了资源利用效率，并能够在资源受限的环境下实现实时行为检测，夜间近红外监控视频环境下的特殊光照条件和图像质量要求较高性能的特征提取网络，本专利技术对这些特殊环境进行了优化，提高了对低光和红外图像的处理能力，增强了对人体行为的识别和检测能力
。
附图说明
[0013]图1为实施例1基于边缘计算的针对夜间红外视频的在线行为检测硬件结构图
。
[0014]图2为实施例1涉及的滑窗视频的最终预测结果
。
[0015]图3为实施例1涉及的所有滑窗视频预测结果的汇总记录
。
[0016]图4为实施例1涉及的行为检测模型结构示意图
。
具体实施方式
[0017]为使本申请实施例的目的
、
技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例
。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例
。
基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0018]实施例1[0019]下面结合附图1‑4对本专利技术的具体实施例做详细的说明；
[0020]基于边缘计算的针对夜间红外视频的在线行为检测系统，如图1所示，包括网络红外摄像头
、
交换机
、
服务器
、
边缘设备及终端；所述网络红外摄像头通过交换机接入到网络，
并将捕捉到的视频数据上传至服务器；边缘设备通过以太网接口与交换机连接到网络中，边缘设备从服务器中获取视频数据或者通过访问网络红外摄像头获取实时视频数据；从边缘设备上发出指令，边缘设备执行指定任务并返回结果，结果在终端上显示；所述边缘设备中设置有行为检测模型，所述行为检测模型在边缘设备执行指定任务时将送入边缘设备的夜间红外视频进行处理检测并反馈相关结果到终端中具体的：
[0021]所述网络红外摄像头采用主动式红外视频摄像头，本实施例采用的主动式红外摄像头分为两种，一种是网络主动式红外摄像头，该摄像头可通过以太网连入网络中，该摄像头主要用于制作夜间红外视频行为检测数据集的数据捕捉设备和用于获取远程视频数据设备<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于边缘计算的针对夜间红外视频的在线行为检测系统，其特征在于，包括网络红外摄像头
、
交换机
、
服务器
、
边缘设备及终端；所述网络红外摄像头通过交换机接入到网络，并将捕捉到的视频数据上传至服务器；边缘设备通过以太网接口与交换机连接到网络中，边缘设备从服务器中获取视频数据或者通过访问网络红外摄像头获取实时视频数据；从边缘设备上发出指令，边缘设备执行指定任务并返回结果，结果在终端上显示；所述边缘设备中设置有行为检测模型，所述行为检测模型在边缘设备执行指定任务时将送入边缘设备的夜间红外视频进行处理实时检测行人的行为并反馈相关检测结果到终端中
。2.
根据权利要求1所述的基于边缘计算的针对夜间红外视频的在线行为检测系统，其特征在于，所述行为检测模型包括分段分类模块
、
特征提取模块以及后处理模块；所述分段分类模块用于将输入的视频进行分段再从每段中提取一帧送入特征提取模块提取特征最后将提取的特征进行处理从而得到每个分段视频的行为结果预测，所述后处理模块用于按照时间维度对所有分段视频的行为结果预测进行汇总并通过交换机送入终端中进行实时显示
。3.
根据权利要求2所述的基于边缘计算的针对夜间红外视频的在线行为检测系统，其特征在于，所述特征提取模块包括特征提取网络以及残差模块，所述残差模块内设有运动注意力模块
、
时空注意力模块以及时间段注意力模块，所述运动注意力模块用于通过计算两帧之间的差异得到注意力权重之后将运动注意力权重与原始特征进行融合来模拟光流特征效果以补足近红外视频的画面模糊带来的识别难度；所述时空注意力模块用于进行...

【专利技术属性】
技术研发人员：王小刚，刘铭睿，周佳义，陈柯宇，宋瑞，魏阳，练泽伟，杜鑫，
申请(专利权)人：四川轻化工大学，
类型：发明
国别省市：