一种基于深度学习的视频监控系统技术方案

本发明专利技术公开了一种基于深度学习的视频监控系统，包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块以及分类结果统计模块；所述图像采集模块连接各监控源，采集各监控源的图像数据；所述图像预处理及筛选模块对采集到的图像进行处理并筛选；所述分组转发模块对处理过的图像数据进行统一编码并将其发送到两级分类模块；所述两级分类模块对图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；所述分类结果统计模块统计得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定。本发明专利技术能够有效的结合到现有视频监控系统，能够实现实时的生产区域安全信息的提取，达到预防和控制安全隐患的目的。

【技术实现步骤摘要】
一种基于深度学习的视频监控系统
本专利技术涉及视频监控领域，特别是涉及一种基于深度学习的视频监控系统。
技术介绍
安全生产是社会发展和建设的重要方针之一，生产必安全，安全为了生产。在实施增产节约的同时必须注意职工的安全健康和不可缺少的福利事业。在企业安全监控方面，现有的大部分电力公司都有完备的视频监控系统，并且能够覆盖主要安全节点的视频监控及录像，但是其实际情况仍然需要非常多的人力去主动巡视以及对监视器的日夜查看。而且，在目前的视频监控中，通常都是在各待监控区域分别安设一个摄像头，并在监控中心设置专门地显示窗口以供所有人查看，并在发现有异常时，由监看人员通知其相应的工作人员去现场查看。有可能出现并不能直接通知到相应工作人员地情况，另一方面，不同的紧急事件是需要不同地人分类别地查看，因此监控视频的处理和显示并没有针对性，也不够及时，这样会大大地减少了监控视频的可利用率和针对异常事件的处理效率。
技术实现思路
专利技术目的：根据上述不足，本专利技术提出了基于深度学习的视频监控系统，能够有效的结合到现有的企业视频监控系统，能够实现实时的生产区域安全信息的提取，达到预防和控制安全隐患的目的。技术方案：一种基于深度学习的视频监控系统，包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块以及分类结果统计模块；所述图像采集模块连接各监控源，采集各监控源的图像数据；所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值值，通过工程阈值筛选出异常的图像帧；所述分组转发模块对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目标的图像帧；所述第二级的异常目标检测以及生产区域的安全隐患检测通过卷积神经网络对预先采集的实际场景的样图训练，对无目标下的管道气体或者液体或者雾状颗粒漏出进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行有目标下的目标异常程度进行辨别；所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类结果判定采用时间连续性判定，即通过判断是否在设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化。所述图像采集模块采用添加输出功能的监控设备或者可执行图像数据提取的处理单元。所述图像预处理及筛选模块使用具备图像数据处理功能的监控设备或者可执行图像数据处理的处理单元。所述两级分类模块包括第一级神经网络和第二级神经网络；所述第一级神经网络由一个神经网络模型组成，所述神经网络模型选用RCNN、FastR-CNN、FasterR-CNN、FPN、YOLOv1、YOLOv2、SSD或RetinaNet；所述第二级神经网络使用卷积神经网络模型，根据实施场景的数目确定所述神经网络模型数量。所述分类结果统计模块的分类结果判定中所述设定时间根据不同的要求和不同的场景确定。还包括主控中心，所述主控中心包括用户管理模块、消息管理模块以及预警和显示模块；所述用户管理模块用于用户信息注册、认证和创建以及删除；所述用户管理模块包括用户信息更新模块和权限管理模块；所述用户信息更新模块用于注册新用户和修改用户信息，所述用户信息包括用户名、姓名、工号、工作组；所述权限管理模块用于对用户的所有等级进行权限划分，对不同工作组的权限等级进行划分；所述消息管理模块用于接收和传递各模块间事件消息；所述预警和显示模块用于接收分类结果并对相应的结果发送至终端做出警示并输出到显示设备。所述终端采用带有警示信息的提示灯或者带有警示信息的提示铃，所述显示设备为手机客户端或者网页端。有益效果：本专利技术基于深度学习的视频监控系统能够有效的结合到现有的企业视频监控系统，能够实现实时的生产区域安全信息的提取，达到预防和控制安全隐患的目的。附图说明图1为本专利技术基于深度学习的视频监控系统较佳实施例中总的结构示意图。图2为本专利技术基于深度学习的视频监控系统较佳实施例中部分结构示意图。具体实施方式下面结合附图和具体实施例，进一步阐明本专利技术。图1为本专利技术基于深度学习的视频监控系统较佳实施例中总的结构示意图。如图1所示，本专利技术的视频监控系统包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块、分类结果统计模块以及主控中心；所述图像采集模块连接本专利技术视频监控系统的监控源，用于采集各监控源的图像数据，可以使用添加了输出功能的监控设备或者可以执行图像数据的提取的处理单元；所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域(ROI)进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值值，通过工程阈值筛选出异常的图像帧，减少大部分干扰图像，可以使用具备图像数据处理功能的监控设备或者可以执行图像数据处理的处理单元；所述分组转发模块用于对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块，可以使用具备编码功能的监控设备或者可以执行编码处理的处理单元；所述编码包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；所述两级分类模块用于对所述分组转发模块发送的图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；可疑异常检测用于特定目标图像初筛选，得到特定目标的图像帧，在TensorFlow的环境下使用FastRCNN识别网络进行；在本专利技术中，通过对不同场景下的相应特征使用不同的图像检测算法进行筛选；第二级的异常目标检测以及生产区域的安全隐患检测通过卷积神经网络对预先采集的实际场景的样图训练，对无目标下的管道气体或者液体或者雾状颗粒漏出进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行有目标下的目标异常程度进行辨别；所述两级分类模块包括第一级神经网络和第二级神经网络；第一级神经网络主要由一个神经网络模型组成，可选用的神经网络有RCNN、FastR-CNN、FasterR-CNN、FPN、YOLOv1、YOLOv2、SSD、RetinaNet。第二级神经网络使用卷积神经网络模型，具体根据实施场景的数目有关，实际选用方案可以是小型的传统卷积神经网络如AlexNet、GoogleNet、VGGNet。所述分类结果统计模块用于统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出更加准确的分类结果判定，并将相应的结果数据保存到本地；分类结果判定采用时间连续性判定，即通过判断是否在设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化；在本专利技术中，所述设定时间根据不同的要求和不同的场景确定。所述主控中心管理所有模块的交互，包括用户本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视频监控系统，其特征在于：包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块以及分类结果统计模块；所述图像采集模块连接各监控源，采集各监控源的图像数据；所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值值，通过工程阈值筛选出异常的图像帧；所述分组转发模块对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目标的图像帧；所述第二级的异常目标检测以及生产区域的安全隐患检测通过卷积神经网络对预先采集的实际场景的样图训练，对无目标下的管道气体或者液体或者雾状颗粒漏出进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行有目标下的目标异常程度进行辨别；所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类结果判定采用时间连续性判定，即通过判断是否在设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化。...

【技术特征摘要】
1.一种基于深度学习的视频监控系统，其特征在于：包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块以及分类结果统计模块；所述图像采集模块连接各监控源，采集各监控源的图像数据；所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值值，通过工程阈值筛选出异常的图像帧；所述分组转发模块对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目标的图像帧；所述第二级的异常目标检测以及生产区域的安全隐患检测通过卷积神经网络对预先采集的实际场景的样图训练，对无目标下的管道气体或者液体或者雾状颗粒漏出进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行有目标下的目标异常程度进行辨别；所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类结果判定采用时间连续性判定，即通过判断是否在设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化。2.根据权利要求1所述的视频监控系统，其特征在于：所述图像采集模块采用添加输出...

【专利技术属性】
技术研发人员：马千里，张斌，胡栋，王俊，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32