一种用于视频监控的边缘计算与通信系统技术方案

本发明专利技术涉及安防监控技术领域，特别涉及一种视频监控通信系统。一种用于视频监控的边缘计算与通信系统，它包括：资源调度模块、数据存储模块、网络传输模块、视频解析模块、边缘计算模块以及图像处理模块；本发明专利技术结合边缘端深度学习应用框架，高效网络传输机制以及成熟的图形图像处理技术，将目标识别、目标跟踪、目标检测三大智能监控功能融于一体，对红外或可见光视频进行图像识别、跟踪以及动目标检测，并通过网络传输方式将目标分类、标注、位置等细节信息传输至客户端。本发明专利技术为用户提供丰富、简洁的使用接口，提供了高可靠、高灵敏度、远程监控的图像、识别以及跟踪解决方案。

An edge computing and communication system for video surveillance

The invention relates to the technical field of security monitoring, in particular to a video monitoring communication system. The edge computing and communication system for video monitoring includes: resource scheduling module, data storage module, network transmission module, video analysis module, edge computing module and image processing module; the invention combines the edge end deep learning application framework, efficient network transmission mechanism and mature graphics and image processing technology to identify, track and control the target The three intelligent monitoring functions of target detection are integrated to identify, track and detect infrared or visible video images, and transmit detailed information such as target classification, annotation and location to the client through network transmission. The invention provides a rich and simple use interface for users, and provides an image, recognition and tracking solution with high reliability, high sensitivity and remote monitoring.

【技术实现步骤摘要】
一种用于视频监控的边缘计算与通信系统
本专利技术涉及安防监控
，特别涉及一种智能视频监控通信系统。
技术介绍
随着深度学习技术的持续发展，人工智能已经应用在生产、生活的各个方面。特别是目标识别、目标跟踪、目标检测技术的日趋成熟，为安防监控技术带来了新的突破，基于网络相机的视频预警、目标计数、目标跟踪等场景的应用更是拉近了安防与人工智能的距离。但技术难度高、开发周期长、研发投入大，严重阻碍了人工智能进入生产、生活领域的进度。首先现有安防协议中并不支持人工智能算法协议，需要重新定义传统安防协议，同时需要开发新的应用逻辑框架以便支持人工智能算法的不同阶段、不同场景的数据与通信管理。设备管理上既要支持基于人工智能算法的智能化自主设备运行模式，也需要支持人工可随时干预控制模式。因此需要一种应用框架兼容传统视频监控通信，并支持新型基于人工智能与边缘计算的视频监控新通信与管理应用框架。
技术实现思路
本专利技术的目的是：针对现有技术的不足，提供一种将目标识别、目标跟踪、目标检测三大智能模块融于一体的边缘端边缘计算与通信系统。本专利技术的技术方案是：一种用于视频监控的边缘计算与通信系统，它包括：资源调度模块、数据存储模块、网络传输模块、视频解析模块、边缘计算模块以及图像处理模块。边缘计算模块包括：目标识别模块、目标跟踪模块以及目标检测模块；其中：目标识别模块基于深度学习，采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外Hog特征加权求和方式对图像中移动物体的类型、位置进行识别；目标识别模块支持识别目标分类包括行人、机动车、船舶、飞机以及等多种物体，识别类型可扩展；参数配置包括：目标识别阈值、目标识别种类；目标识别信息包括：目标区域标号、目标标号、目标类别、目标位置。目标跟踪模块基于深度学习，采用背景动态建模方式将目标特征从背景中分离，从而提取目标尺寸、位置；目标跟踪模块支持目标手动跟踪和目标自动跟踪两种状态，其中，目标手动跟踪参数配置包括：云台权限、目标区域标号、目标位置列表；自动跟踪参数配置包括：云台权限、目标区域标号、目标类型；目标手动跟踪信息包括：目标区域标号、时间戳、目标跟踪状态、目标位置。目标检测模块基于深度学习，采用背景动态建模方式将图像中的移动物体从背景中分离，从而实现对图像中是否出现移动物体的识别；目标检测模块的参数配置包括：目标区域坐标、目标最小过滤面积、目标最大过滤面积、目标帧差数、检测精度、目标重置系数、目标过滤方向；目标检测结果信息包括：目标区域标记、目标标号、目标坐标列表与数据存储模块、网络传输模块、视频解析模块、图像处理模块建立数据连接；网络传输模块与视频解析模块建立数据连接；视频解析模块与图像处理模块、边缘计算模块建立数据连接；边缘计算模块与图像处理模块建立数据连接；资源调度模块用于对数据存储模块、网络传输模块、视频解析模块、边缘计算模块以及图像处理模块进行触发。当资源调度模块触发网络传输模块时，网络传输模块激活网络相机的数据传输服务以及视频解析模块的指令传输服务，视频解析模块向资源调度模块注册视频更新事件，网络相机通过网络传输模块向视频解析模块发送视频数据，视频解析模块对视频数据进行解码，并将解码后的视频数据存入图像处理模块；当资源调度模块从客户端接收到目标识别、目标跟踪、目标检测的指令时，资源调度模块对边缘计算模块中的相应模块进行触发，目标识别模块、目标跟踪模块、目标检测模块从视频解析模块获取解码后的视频数据，分别对解码后的视频数据中的目标进行识别、跟踪、检测；图像处理模块将目标识别、跟踪、检测的结果信息叠加至原解码后的视频数据，并对叠加有结果信息的视频数据进行编码，编码完成后，图像处理模块对编码后的视频数据进行存储并触发资源调度模块中的图像更新事件，资源调度模块将编码后的视频数据送至客户端。在上述方案的基础上，进一步的，资源调度模块还用于开辟系统所需空间，读取/写入系统配置，注册/注销系统事件，开启事件监听和异常收集、诊断、响应机制，开放模块注册端口等待模块组件注册。资源调度模块包括：模块管理单元、第一事件管理单元、异常处理单元以及日志记录单元；模块管理单元用于对通信系统中其它模块的功能进行管理；第一事件管理单元用于根据事件对通信系统中其它模块进行调度；异常处理单元用于收集并处理通信系统中其它模块中异常事件；日志记录单元用于读取或写入通信系统中其它模块的各项参数。在上述方案的基础上，进一步的，数据存储模块包括：数据存储单元以及数据读取单元；数据存储单元与数据读取单元分别用于通信系统数据的存储与读取。在上述方案的基础上，进一步的，网络传输模块包括：数据传输单元以及指令传输单元；数据传输单元用于传输网络相机所发送的视频数据，指令传输单元用于传输通信系统所发出的各项指令。在上述方案的基础上，进一步的，视频解析模块包括：视频解码单元以及第二事件管理单元；视频解码单元用于对网络传输模块所传输的视频数据进行解码，并将解码后的视频数据存入图像处理模块；第二事件管理单元用于对本模块中的事件进行管理。在上述方案的基础上，进一步的，目标识别模块包括：识别算法配置单元、识别信息处理单元以及第三事件管理单元；识别算法配置单元用于对接收/发送目标识别算法，识别信息处理单元用于响应目标识别算法并对解码后的视频数据中的目标进行识别；第三事件管理单元用于对本模块中的事件进行管理。在上述方案的基础上，进一步的，目标跟踪模块包括：跟踪算法配置单元、跟踪信息处理单元以及第四事件管理单元；跟踪算法配置单元用于对接收/发送目标跟踪算法，跟踪信息处理单元用于响应目标跟踪算法并对解码后的视频数据中的目标进行跟踪；第四事件管理单元用于对本模块中的事件进行管理。在上述方案的基础上，进一步的，目标检测模块包括：检测算法配置单元、检测信息处理单元以及第五事件管理单元；检测算法配置单元用于对接收/发送目标检测算法，检测信息处理单元用于响应目标检测算法并对解码后的视频数据中的目标进行检测；第五事件管理单元用于对本模块中的事件进行管理。在上述方案的基础上，进一步的，图像处理模块包括：图像叠加单元、图像编码单元以及图像存储单元；图像叠加单元用于读取视频解析模块中解码后的视频数据，并将目标识别模块、目标跟踪模块、目标检测模块的目标识别、跟踪、检测的结果信息叠加至解码后的视频数据；图像编码单元对叠加有结果信息的视频数据进行编码转换为视频传输数据；图像存储单元用于对叠加有结果信息的视频数据进行存储。在上述方案的基础上，进一步的，边缘计算模块的数量为一个或一个以上。有益效果：本专利技术结合边缘端深度学习应用框架，高效网络传输机制以及成熟的图形图像处理技术，将目标识别、目标跟踪、目标检测三大智能监控功能融于一体，对红外或可见光视频进行图像识别、跟踪以及动目标检测，并通过网络传输方式将目标分类、标注、位置等细节信息传输至客户端。本专利技术为用户提供丰富、简洁的使用接口，提供了高可靠、高灵敏度、远程监控的图像、识别以及跟踪解决方案。附图说明图1为本专利技术实施例1的本文档来自技高网...

【技术保护点】
1.一种用于视频监控的边缘计算与通信系统，其特征在于：它包括：资源调度模块(1)、数据存储模块(2)、网络传输模块(3)、视频解析模块(4)、边缘计算模块以及图像处理模块(5)；/n所述边缘计算模块包括：目标识别模块(6)、目标跟踪模块(7)以及目标检测模块(8)；其中：所述目标识别模块(6)采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外Hog特征加权求和方式对图像中移动物体的类型、位置进行识别；所述目标跟踪模块(7)采用背景动态建模方式将目标特征从背景中分离，从而提取目标尺寸、位置；所述目标检测模块(8)采用背景动态建模方式将图像中的移动物体从背景中分离，从而实现对图像中是否出现移动物体的识别；/n所述资源调度模块(1)与所述数据存储模块(2)、所述网络传输模块(3)、所述视频解析模块(4)、所述图像处理模块(5)建立数据连接；所述网络传输模块(3)与所述视频解析模块(4)建立数据连接；所述视频解析模块(4)与所述图像处理模块(5)、所述边缘计算模块建立数据连接；所述边缘计算模块与所述图像处理模块(5)建立数据连接；所述资源调度模块(1)用于对所述数据存储模块(2)、所述网络传输模块(3)、所述视频解析模块(4)、所述边缘计算模块以及所述图像处理模块(5)进行触发；/n当所述资源调度模块(1)触发所述网络传输模块(3)时，所述网络传输模块(3)激活网络相机(10)的数据传输服务以及所述视频解析模块(4)的指令传输服务，所述视频解析模块(4)向所述资源调度模块(1)注册视频更新事件，所述网络相机(10)通过所述网络传输模块(3)向所述视频解析模块(4)发送视频数据，所述视频解析模块(4)对视频数据进行解码，并将解码后的视频数据存入所述图像处理模块(5)；当所述资源调度模块(1)从客户端(9)接收到目标识别、目标跟踪、目标检测的指令时，所述资源调度模块(1)对所述边缘计算模块中的相应模块进行触发，所述目标识别模块(6)、所述目标跟踪模块(7)、所述目标检测模块(8)从所述视频解析模块(4)获取解码后的视频数据，分别对解码后的视频数据中的目标进行识别、跟踪、检测；所述图像处理模块(5)将目标识别、跟踪、检测的结果信息叠加至原解码后的视频数据，并对叠加有结果信息的视频数据进行编码，编码完成后，所述图像处理模块(5)对编码后的视频数据进行存储并触发所述资源调度模块(1)中的图像更新事件，所述资源调度模块(1)将编码后的视频数据送至所述客户端(9)。/n...

【技术特征摘要】
1.一种用于视频监控的边缘计算与通信系统，其特征在于：它包括：资源调度模块(1)、数据存储模块(2)、网络传输模块(3)、视频解析模块(4)、边缘计算模块以及图像处理模块(5)；
所述边缘计算模块包括：目标识别模块(6)、目标跟踪模块(7)以及目标检测模块(8)；其中：所述目标识别模块(6)采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外Hog特征加权求和方式对图像中移动物体的类型、位置进行识别；所述目标跟踪模块(7)采用背景动态建模方式将目标特征从背景中分离，从而提取目标尺寸、位置；所述目标检测模块(8)采用背景动态建模方式将图像中的移动物体从背景中分离，从而实现对图像中是否出现移动物体的识别；
所述资源调度模块(1)与所述数据存储模块(2)、所述网络传输模块(3)、所述视频解析模块(4)、所述图像处理模块(5)建立数据连接；所述网络传输模块(3)与所述视频解析模块(4)建立数据连接；所述视频解析模块(4)与所述图像处理模块(5)、所述边缘计算模块建立数据连接；所述边缘计算模块与所述图像处理模块(5)建立数据连接；所述资源调度模块(1)用于对所述数据存储模块(2)、所述网络传输模块(3)、所述视频解析模块(4)、所述边缘计算模块以及所述图像处理模块(5)进行触发；
当所述资源调度模块(1)触发所述网络传输模块(3)时，所述网络传输模块(3)激活网络相机(10)的数据传输服务以及所述视频解析模块(4)的指令传输服务，所述视频解析模块(4)向所述资源调度模块(1)注册视频更新事件，所述网络相机(10)通过所述网络传输模块(3)向所述视频解析模块(4)发送视频数据，所述视频解析模块(4)对视频数据进行解码，并将解码后的视频数据存入所述图像处理模块(5)；当所述资源调度模块(1)从客户端(9)接收到目标识别、目标跟踪、目标检测的指令时，所述资源调度模块(1)对所述边缘计算模块中的相应模块进行触发，所述目标识别模块(6)、所述目标跟踪模块(7)、所述目标检测模块(8)从所述视频解析模块(4)获取解码后的视频数据，分别对解码后的视频数据中的目标进行识别、跟踪、检测；所述图像处理模块(5)将目标识别、跟踪、检测的结果信息叠加至原解码后的视频数据，并对叠加有结果信息的视频数据进行编码，编码完成后，所述图像处理模块(5)对编码后的视频数据进行存储并触发所述资源调度模块(1)中的图像更新事件，所述资源调度模块(1)将编码后的视频数据送至所述客户端(9)。


2.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述资源调度模块(1)包括：模块管理单元(1.1)、第一事件管理单元(1.2)、异常处理单元(1.3)以及日志记录单元(1.4)；所述模块管理单元(1.1)用于对所述通信系统中其它模块的功能进行管理；所述第一事件管理单元(1.2)用于根据事件对所述通信系统中其它模块进行调度；所述异常处理单元(1.3)用于收集并处理所述通信系统中其它模块中异常事件；所述日志记录单元(1.4)用于读取或写入所述通信系统中其它模块的各项参数。


3.如权利要求1所述的一种用于视频监控的边缘计算与通信系统，其特征在于：所述数据存储模块(2)包括：数据存...

【专利技术属性】
技术研发人员：韩杰，赵亚峰，郑智瑛，孙鹏，杨浩，
申请(专利权)人：利卓创新北京科技有限公司，
类型：发明
国别省市：北京;11