一种工业智能视频监控系统及多视频流自适应配置方法技术方案

本发明专利技术公开了一种工业智能视频监控系统及多视频流自适应配置方法。本发明专利技术根据多路视频流的不同优先级，考虑不同QoS要求下的多路视频流的视觉检测任务，有效地解决了视频流存在优先级差异的局限，使得高优先级的视频流可尽量被优先处理，保障工业智能视频监控的可靠性。性。性。

【技术实现步骤摘要】
一种工业智能视频监控系统及多视频流自适应配置方法


[0001]本专利技术涉及视觉处理领域，尤其涉及一种工业智能视频监控系统及多视频流自适应配置方法。

技术介绍

[0002]随着工业智能的不断发展，边缘赋能的工业物联网(IIoT)获得空前关注，边缘计算技术在工业物联网的渗透率不断提高，越来越多的感知终端、通信终端、执行终端和边缘设备被部署于工业现场。在大量感知终端中，工业摄像头以其提供信息的不可替代性和丰富性占据了至关重要的地位。基于工业摄像头网络的智能视频监控需要进行多路高维视频流的计算密集型视觉检测任务，对保障工厂执行效率和操作规范与安全具有重大支撑作用。
[0003]基于摄像头网络的智能视频监控要求多路高维视频流的视觉检测任务快速完成并准确响应，然而，多路视频流竞争边缘设备和摄像头网络之间的有限通信资源，导致视觉检测任务的完成时间推迟，并降低了检测精度，极大地影响了具有低时延、高精度要求的智能视频监控质量。因此，如何在通信资源和端到端时延的约束下尽可能提高视觉检测任务的精度，对工业智能视频监控的研究具有重要意义。
[0004]此外，由于工业现场需保障正常工业运行，边缘设备的可用计算资源和缓存空间随着时间呈现周期性或非周期性的变化。单个边缘设备的计算资源无法保证视觉检测任务的快速、精确的响应，因此，如何设计有效的边缘协作机制进行智能视频监控是凾待解决的关键问题。
[0005]经对现有文献检索发现，最相近似的实现方案为中国专利申请号为：202110515718.4，名称为：一种基于深度强化学习的全景视频边缘协作缓存替换方法，具体做法为：全景视频的每个视频帧划分成矩形平铺块，并以两种不同的视频分辨率存储于视频库中。边缘集群中的用户从根基站请求全景视频内容，根据边缘集群的缓存状态矩阵判断是否命中。若无缓存(即未命中)，则边缘集群通过基于深度强化学习的缓存替换或直接缓存该内容，从而使用户获取所请求的视频内容。但是，该方法中边缘协作机制仅实施缓存任务，未能充分利用边缘集群的有效算力。专利申请号为：201910378071.8，名称为：支持D2D通信的分层无线网络下的边缘协作缓存方法，具体做法为：根据内容请求查看本设备的本地缓存中是否包含请求内容，若包含，则命中所述请求内容；若不包含，则基于深度强化学习算法进行路由选择以命中所述请求内容。但是，该方法利用深度强化学习进行路由选择，需要大量样本进行训练，耗费时间较长，在实际运行时无法保证用户所请求内容的快速响应。专利申请号为：202010358386.9，名称为：一种基于边缘协作的任务卸载及资源分配联合优化方法，具体做法为：通过基于软件定义网络的集中式系统架构对网络设备资源进行管理，在用户最大容忍延迟和边缘服务器计算资源约束下，建立时延最小化的理论模型，并基于模拟退火思想的启发式算法进行求解。但是，该方法所采用的启发式迭代算法计算复杂度高，求解缓慢，无法满足用户的实时响应需求，不适用于工业智能视频监控的快速响
应需求。

技术实现思路

[0006]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种基于边缘协作的工业智能视频监控系统，以满足工业智能视频监控的快速、准确响应需求。
[0007]为实现上述目的，本专利技术的一种基于边缘协作的工业智能视频监控系统，所述基于边缘协作的工业智能视频监控系统包括：监控相机层、边缘计算层、工业本地云；
[0008]所述监控相机层包括若干监控节点，每个监控节点包括相机和第一通信模块，所述相机用于视频流的捕获；
[0009]所述边缘计算层包括若干边缘集群，每个边缘集群包括若干边缘设备，所述边缘设备包括接入设备、普通设备、第二通信模块，其中所述接入设备用于接收相机捕获的多路视频流并缓存特定时长T的视频块，并根据所述接入设备所属边缘集群的大小将视频块进行划分，并传输给所述普通设备；所述普通设备用于接收从接入设备传输过来的视频块划分，并对其进行处理，得到视觉检测任务结果；
[0010]所述工业本地云用于接收所述普通设备处理好的视觉检测任务结果，以进行后续的数据分析以及信息分发。
[0011]本专利技术的一种基于边缘协作的工业多视频流自适应配置方法，应用于上述的基于边缘协作的工业智能视频监控系统，包括以下步骤：
[0012]第一步：初始化系统参数，包括：相机的分辨率、每个边缘设备上的目标检测模型、边缘集群分组、边缘集群与相机的匹配关系；
[0013]第二步：系统开始运行，每个边缘集群内的边缘设备周期监测带宽变化，当带宽的变化超过设定阈值时，重配置程序启动；
[0014]第三步：重配置程序启动，进行边缘集群的重新分组；
[0015]第四步：根据第三步得到的边缘集群重新分组信息，重新计算边缘集群与相机的匹配关系；
[0016]第五步：根据第三步和第四步得到的边缘集群重新分组信息、边缘集群与相机的匹配关系信息，进行边缘设备的视频重配置，优化目标为：最小化多路异构QoS视频流的时延，同时最大化所有边缘设备上视觉检测任务的平均精度；
[0017]第六步：根据第五步得到的边缘设备的视频重配置信息，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息分发给连接至该边缘集群的所有相机；
[0018]第七步：每个相机根据接收到的视频重配置的视频分辨率信息进行重新配置；每个普通设备根据接收到的视频重配置的目标检测模型确认选项信息进行重新配置；
[0019]第八步：重配置程序结束，跳到下一步；
[0020]第九步：边缘集群协作进行视觉检测任务，并将视觉检测结果上传至工业本地云；
[0021]第十步：判断多路视频流是否仍在传输，若是，则返回第二步；若否，则系统运行终止。
[0022]优选的，第一步中，所述目标检测模型为可应用于目标检测模型的深度学习模型，包括通用的骨干网模型或针对于目标检测任务的卷积神经网络模型(CNN)。
[0023]优选的，第一步中，边缘集群分组将所有边缘设备划分为若干组，每组至少包含一个边缘设备，且任意两组之间无重复的边缘设备。
[0024]优选的，第二步中，所述重配置程序可分解为以下三个步骤：
[0025]2.1边缘集群重新分组；
[0026]2.2边缘集群与相机的匹配关系重新计算；
[0027]2.3边缘设备视频重配置。
[0028]优选的，第三步中，边缘集群重新分组问题采用最优组合竞胜标问题(WDP)求解，设：拍卖者(bidders)为S个边缘设备，记为商品(items)为剩余N
‑
S个边缘设备，记为设备，记为商品组合(bubbles)为商品的任意组合且效用函数为拍卖者i拍下商品组合后的减小时延：
[0029][0030]其中，为减小的处理时延，为增加的通信时延，形式如下：
[0031][0032]为第i个边缘设备采用第j个检测模型的处理时延，表示该商品组合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘协作的工业智能视频监控系统，其特征在于，所述基于边缘协作的工业智能视频监控系统包括：监控相机层、边缘计算层、工业本地云；所述监控相机层包括若干监控节点，每个监控节点包括相机和第一通信模块，所述相机用于视频流的捕获；所述边缘计算层包括若干边缘集群，每个边缘集群包括若干边缘设备，所述边缘设备包括接入设备、普通设备、第二通信模块，其中所述接入设备用于接收相机捕获的多路视频流并缓存特定时长T的视频块，并根据所述接入设备所属边缘集群的大小将视频块进行划分，并传输给所述普通设备；所述普通设备用于接收从接入设备传输过来的视频块划分，并对其进行处理，得到视觉检测任务结果；所述工业本地云用于接收所述普通设备处理好的视觉检测任务结果，以进行后续的数据分析以及信息分发。2.一种基于边缘协作的工业多视频流自适应配置方法，应用于如权利要求1所述的基于边缘协作的工业智能视频监控系统，其特征在于，包括以下步骤：第一步：初始化系统参数，包括：相机的分辨率、每个边缘设备上的目标检测模型、边缘集群分组、边缘集群与相机的匹配关系；第二步：系统开始运行，每个边缘集群内的边缘设备周期监测带宽变化，当带宽的变化超过设定阈值时，重配置程序启动；第三步：重配置程序启动，进行边缘集群的重新分组；第四步：根据第三步得到的边缘集群重新分组信息，重新计算边缘集群与相机的匹配关系；第五步：根据第三步和第四步得到的边缘集群重新分组信息、边缘集群与相机的匹配关系信息，进行边缘设备的视频重配置，优化目标为：最小化多路异构QoS视频流的时延，同时最大化所有边缘设备上视觉检测任务的平均精度；第六步：根据第五步得到的边缘设备的视频重配置信息，每个边缘集群的接入设备将视频重配置信息中的目标检测模型确认选项分发给所属边缘集群内的其他普通设备，将视频重配置信息中的视频分辨率信息分发给连接至该边缘集群的所有相机；第七步：每个相机根据接收到的视频重配置的视频分辨率信息进行重新配置；每个普通设备根据接收到的视频重配置的目标检测模型确认选项信息进行重新配置；第八步：重配置程序结束，跳到下一步；第九步：边缘集群协作进行视觉检测任务，并将视觉检测结果上传至工业本地云；第十步：判断多路视频流是否仍在传输，若是，则返回第二步；若否，则系统运行终止。3.根据权利要求2所述的一种基于边缘协作的工业多视频流自适应配置方法，其特征在于：第一步中，所述目标检测模型为可应用于目标检测模型的深度学习模型，包括通用的骨干网模型或针对于目标检测任务的卷积神经网络模型(CNN)。4.根据权利要求3所述的一种基于边缘协作的工业多视频流自适应配置方法，其特征在于：第一步中，边缘集群分组将所有边缘设备划分为若干组，每组至少包含一个边缘设备，...

【专利技术属性】
技术研发人员：许齐敏，涂静正，陈彩莲，关新平，张景龙，徐磊，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：