一种基于边缘计算的视频分析系统和方法技术方案

本发明专利技术公开了一种基于边缘计算的视频分析系统和方法，属于计算机视觉领域。视频分析系统包括多个视频分析装置、数据调度管理模块、大数据中心收集模块和终端设备模块；方法为：设备初始化之后，接口自适应匹配模块自动识别连接的接口设备，并为其分配地址；边缘计算模块接收来自上层视频分析装置的视频流，对实时画面进行取帧，使用优化后的深度学习算法获取帧目标特征，判断当前帧是否存在设定目标；配合数据调度管理模块，对边缘计算资源进行策略调整；将计算完成的信息上传至大数据中心收集模块，经其集中处理后向用户终端推送识别结果。本发明专利技术能够快速对现场做出反应，对工业视觉智能化提升有着较大意义。业视觉智能化提升有着较大意义。业视觉智能化提升有着较大意义。

【技术实现步骤摘要】
一种基于边缘计算的视频分析系统和方法


[0001]本专利技术属于视频目标、行为分析与计算机视觉人工智能领域，特别是涉及一种基于边缘计算的视频分析系统和方法。

技术介绍

[0002]随着城市化的发展，传统调取式监控方式已经无法满足人们日益增长的安全和效率需求，一方面，传统监管方式主要是对监管人员进行简单培训，然后依靠监管人员进行提醒和记录违规人员信息，最后通过调取监控摄像搜集证据。有着监督效率不稳定、受监管人员精力和主观意愿影响大等缺点；另一方面，随着人工智能的发展，视觉识别在现代监控技术中有一定运用，这种技术具有反应速度快、全时段无休、监测成本低等优点。但现有的视频检测技术较多在集中式服务器，这种方式不利于检测范围较广区域，这种区域网络节点数较多、网路有效长度较大，导致网络延迟较高，无法做到及时提醒，在检测速率和准确性方面难以满足复杂、开放场景下的需求。
[0003]因此，为了实现现代智能化视频检测分析、提高视频分析速度，本专利技术提出一种基于边缘计算的智能视频分析方法及装置。采用边缘端计算的方式降低从场景变化到得出结果的传输和计算延迟，边缘终端在现场完成对视频的解码、传输、采集、目标检测推理分析、编码、转发等操作，将结果直接传输至数据中心进行反馈记录，从结构上提升计算速度。
[0004]如今也出现了一些基于边缘终端的视频分析方法专利，例如，中国专利申请号为202210741957.6，申请公开日为2022年9月30日的专利申请文件公开了一种基于边缘终端的智能视频分析方法及系统。该方法包括获取视频数据，基于视频数据，获取待分析图像数据；构建AI模型，通过层间融合技术对所述AI模型进行优化,通过优化后的AI模型对所述待分析样本数据进行推理，得到目标分析结果，对所述目标分析结果进行后处理，得到目标特征信息，以实现智能视频分析。该方法的不足之处在于只是使用边缘终端对视频信息进行简单分析，未考虑到计算压力骤增的情况，一般来说边缘终端的计算能力有限，需要对硬件资源进行调度或增加硬件预算。在硬件预算固定的前提下，使用算法对资源进行调度无疑是更好的选择。很明显，该方法缺少灵活性，单点设备故障率较高，容易发生宕机现象。
[0005]再如，中国专利申请号为202010315164.9，申请公开日为2020年7月28日的专利申请文件公开了一种结合边缘计算与深度学习的智能终端视频分析算法。该方法结合边缘计算与深度学习的智能终端视频分析算法，在边缘端设备搭载运动目标检测模型，实时处理原始视频数据，分析视频中的运动目标，有效地降低网络的延迟问题。但该方法的不足之处在于为对算法采取分时处理，实时检测视频画面使得机器一直处于满负载运行，浪费了大量可调度资源，增加功耗并缩短了硬件使用寿命。应在做到实时监测目标不漏检的前提下，增加分时检测，增加硬件可调度资源量。
[0006]因此，亟需开发一种基于边缘计算的视频分析系统和方法，能够快速对现场做出反应。

技术实现思路

[0007]1.要解决的问题
[0008]针对现有视频分析系统设备故障率较高且响应速度不够的问题，本专利技术提供一种基于边缘计算的视频分析系统，能够提升企业智能化改造时间和经济成本，提升改造效率。
[0009]2.技术方案
[0010]为了解决上述问题，本专利技术所采用的技术方案如下：
[0011]一种基于边缘计算的视频分析系统，包括多个视频分析装置、数据调度管理模块、大数据中心收集模块和终端设备模块，所述视频分析装置的内部集成有依次连接的视频信息采集模块、接口自适应匹配模块和边缘计算模块；其中，接口自适应匹配模块可选RJ45接口适配器，能够自动识别对应接口所连设备，即自动识别视频信息采集模块设备接口并分配IP地址，视频信息采集模块获取视频数据传输至边缘计算模块，边缘计算模块可选边缘计算核心板，对视频数据进行计算处理，识别目标信息传输至数据调度管理模块，数据调度管理模块对各个边缘计算模块进行动态调整资源策略，根据目标信息的大小分配给相应的边缘计算模块计算目标信息的锚框，最终将计算后的目标信息上传至大数据中心收集模块，大数据中心收集模块筛选计算后的目标信息后将其传输至终端设备模块，以供查阅。
[0012]一种基于边缘计算的视频分析方法，包括多个视频分析装置、数据调度管理模块、大数据中心收集模块和终端设备模块，其中，视频分析装置的内部集成有依次连接的视频信息采集模块、接口自适应匹配模块和边缘计算模块；视频分析系统的视频分析方法步骤为：
[0013](1)首次通电后，接口自适应匹配模块进行设备初始化，即接口自适应匹配模块能够自动识别所连视频信息采集模块中的连接设备种类是摄像头、IP音柱或是其他RJ45接口设备，并为其分配好IP地址；接口统一使用RJ45接口，可随意对设备进行接口切换和数量的改变。所述接口自适应匹配模块介于视频信息采集模块和边缘计算模块之间，实时对两者之间的通信进行适应转换。
[0014](2)初始化完成后，视频信息采集模块实时采集现场视频，并对视频画面进行RTSP流媒体，以视频流的方式转发至边缘计算模块；
[0015](3)边缘计算模块为能够运行深度学习算法、使用网络进行通信的核心边缘计算板；边缘计算模块接收视频信息之后自动对视频流进行取帧处理(2帧/s)，使用深度学习算法，对所取帧图像进行轻度卷积计算，判断当前视频场景是否存在目标，若不存在，则停止本次卷积，进入微待机状态等待下一次计算；若存在，则继续进行深度卷积，定位目标位置，进一步计算目标类别并将结果传输至数据调度管理模块。其中，轻度卷积为对视频流每秒取两帧图像进行卷积运算，同时在卷积过程中选取二分之一图像大小的卷积核进行计算(卷积核越大计算压力越小，但准确度越低)，以此进行轻量化的卷积。深度卷积为对视频流全25帧画面进行实时卷积，同时卷积核大小为图像的四分之一。以此增加目标检测的准确度。
[0016]进一步地，所述深度学习算法包括SSD算法、YOLO系列算法、R
‑
CNN系列算法、SSP算法等基于Tensorflow或pytorch算法。
[0017](4)数据调度管理模块对各个边缘计算模块进行动态调整资源策略，根据边缘计算模块当前GPU和CPU的综合使用率计算综合压力值P，通过P取值进行权重和资源调度分
配，自动选择计算模型权重S，L并联合其余设备资源进行计算。即根据P值选择运行L权重或S权重的边缘计算模块对视频流进行计算，其中，L权重比S权重大，L权重的速度小于S权重的速度，L权重的计算准确率高于S权重；
[0018]若当前边缘计算模块对视频流计算压力P：P<p1，则采用精准模式，使用运行L权重的边缘计算模块；
[0019]若当前边缘计算模块对视频流计算压力P：p1<P<p2，则采用快速识别模式，使用运行S权重的边缘计算模块；
[0020]若某单个边缘计算模块场景中突然并入大量待检测目标，即P>p2，为防止宕机，视频信息采集模块将此点的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘计算的视频分析系统，其特征在于：包括多个视频分析装置、数据调度管理模块、大数据中心收集模块和终端设备模块，所述视频分析装置的内部集成有依次连接的视频信息采集模块、接口自适应匹配模块和边缘计算模块；其中，接口自适应匹配模块自动识别视频信息采集模块设备接口并分配IP地址，视频信息采集模块获取视频数据传输至边缘计算模块，边缘计算模块对视频数据进行计算处理，识别目标信息传输至数据调度管理模块，数据调度管理模块对各个边缘计算模块进行动态调整资源策略，根据目标信息的大小分配给相应的边缘计算模块计算目标信息的锚框，最终将计算后的目标信息上传至大数据中心收集模块，大数据中心收集模块筛选计算后的目标信息后将其传输至终端设备模块，以供查阅。2.一种根据权利要求1所述基于边缘计算的视频分析系统的视频分析方法，其特征在于：视频分析方法步骤为：(1)接口自适应匹配模块进行设备初始化，识别所连接口是摄像头、IP音柱或是其他RJ45接口设备，并为其分配好IP地址；(2)初始化完成后，视频信息采集模块实时采集现场视频，并以视频流的方式转发至边缘计算模块；(3)边缘计算模块对视频流进行取帧处理，使用深度学习算法，对所取帧图像进行轻度卷积计算，判断当前视频场景是否存在目标，若不存在，则停止本次卷积，进入微待机状态等待下一次计算；若存在，则继续进行深度卷积，定位目标位置，进一步计算目标类别并将结果传输至数据调度管理模块；(4)数据调度管理模块对各个边缘计算模块进行动态调整资源策略，根据边缘计算模块当前GPU和CPU的综合使用率计算综合压力值P，根据P值选择运行L权重或S权重的边缘计算模块对视频流进行计算，其中，L权重比S权重大，L权重的速度小于S权重的速度，L权重的计算准确率高于S权重；若P<p1，则采用精准模式，使用运行L权重的边缘计算模块；若p1<P<p2，则采用快速识别模式，使用运行S权重的边缘计算模块；若P>p2，为防止宕机，视频信息采集模块将此点的视频流同步转发至数据调度管理模块，数据调度管理模块对该视频流进行转发至其余运行L权重的边缘计算模块，并将该运行L权重的边缘计算模块的权重转为S，计算完成后，将计算结果通过数据调度管理模块返回转发至原边缘计算模块，原边缘计算模块对结果进行整合之后，完成后续操作，最终将有关目标信息上传至大数据中心收集模块供后续查看、管理；其中，p1、p2为设定阈值，p1<p2；(5)大数据中心收集模块对所有接收信息均采取保留态度，筛选信息后，将用户感兴趣信息传输至终端设备模块，供用户查阅，同时配合自研管理系统能够实时查看当前现场识别画面、现场对讲、历史违规信息查验、流量统计、数据自动导出和图像下载的功能。3.根据权利要求2所述的基于边缘计算的视频分析方法，其特征在于：所述视频信息采集模块包括摄像机和现场播放的IP音柱，彼此通过接口自适应匹配模块相连，可实现上下行全双工通信；其中，所述摄像机采用RTSP协议推流方式，视频采用H.265视频编码格式。4.根据权利要求2所述的基于边缘计算的视频分析方法，其特征在于：所述接口自适应匹配模块包含四个RJ45接口，与边缘计算模块相连，接口自适应匹配模块将使用可读介质
信息通过UDP通信协议向接口所连视频信息采集模块的设备发送校对信息，并根据设备回复信息确定设备类型并分配IP。5.根据权利要求2所述的基于边缘计算的视频分析方法，其特征在于：所述边缘计算模块板载有一块ARM架构64位CPU，一块Nvidia GPU用于CUDA加速，一块板载ROM，内存为4G，一块64G存储卡，用于运行深度学习算法。6.根据权利要求2所述的基于边缘计算的视频分析方法，其特征在于：步骤(3)中，所述微待机状态为保持最低功率和最小CPU、GPU资源运行。7.根据权利要求2所述的基于边缘计算的视频分析方法，其特征在于：步骤(4)中，计算综合压力值P的方法为：P＝Usage
cpu
*50％+Usage
gpu
*50％，Usage
cpu
为CPU使用率，Usage
gpu
为GPU使用率；Usage
cpu
＝(RunTime
cpu
/TotalTime
cpu
)*(Use_imf
cpu
/Cap
cpu
)，RunTime
cpu
为CPU执行时长，TotalTime
cpu
为CPU总时长，Use_imf
cpu
为CPU...

【专利技术属性】
技术研发人员：邰伟鹏，王震震，李伟，成健飞，唐正凯，王璐，周建平，
申请(专利权)人：安徽工大信息技术有限公司，
类型：发明
国别省市：