一种基于端边协同的多分组形式半中心化视频处理系统技术方案

本发明专利技术公开了一种基于端边协同的多分组形式半中心化视频处理系统，其系统架构分为端侧和边缘侧两部分：端侧包含两类设备，分别为视频采集设备和端侧计算设备；边缘侧以多分组形式为基础，将多个边缘节点分为三类，分别为Master节点、master节点和worker节点。此外，本系统中多分组形式的构建方式明显区别于现有技术中的中心化系统以及去中心化系统，因此本系统为半中心化系统。本发明专利技术具体涉及到边缘计算下多节点协同下多视频智能处理领域，相较于Dask、Ray等现有技术，本发明专利技术在执行视频处理任务时，具有任务分配效率高，可扩展性强，减少视频分析处理运算量以节约资源并减小耗时，适合部署于边缘设备，同时兼顾到了系统执行效率和安全性等优势。安全性等优势。安全性等优势。

【技术实现步骤摘要】
一种基于端边协同的多分组形式半中心化视频处理系统


[0001]本专利技术涉及一种基于端边协同的多分组形式半中心化视频处理系统，属于边缘计算下多节点协同下多视频智能处理领域。

技术介绍

[0002]随着监控摄像头的大规模部署以及无人机技术的快速发展，视频分析在交通检测、智能安防、智慧城市等方面具有重要作用。近年来，基于深度卷积神经网络的目标检测、识别以及跟踪等计算机视觉技术有了重大发展，智能视频处理技术也因此有了飞速的进步并大量应用于实际项目。
[0003]传统的视频处理系统多采用云计算架构，常常面临到传输延迟高，带宽占用大、隐私易泄露等问题。边缘计算能够在网络边缘存储和计算数据，将视频处理任务从云端下沉到终端及边缘设备上，能够有效解决上述问题。此外，由于需处理的视频数目通常较多，为了提高性能，基于分布式计算的系统被大量提出。
[0004]在上述分布式系统中，较为典型的是采用去中心化架构的Ray系统以及采用中心化架构的Dask系统，然而，在执行多视频处理任务时，它们面临任务分配时间长，可扩展性差；视频分析运算量大，占用资源高且耗时长，与边缘设备匹配性差；难以做到系统执行效率与安全性统筹兼顾等问题。

技术实现思路

[0005]本专利技术以多分组形式的半中心化架构为基础，提出了一种基于端边协同的多分组形式半中心化视频处理系统，具有任务分配效率高，可扩展性强，减少视频分析处理运算量以节约资源并减小耗时，适合部署于边缘设备，同时兼顾到了系统执行效率和安全性等优势。
[0006]为了实现上述目的，本专利技术采用的技术方案为：设计一种基于端边协同的多分组形式半中心化视频处理系统，本系统架构分为端侧和边缘侧两部分，如下所述。
[0007]1)端侧：端侧设备可分为两类，分别为视频采集设备和端侧计算设备，其数目均为多个。视频采集设备可直接采集所需视频等原始数据，端侧计算设备与视频采集设备一一相连，且端侧计算设备需从边缘侧接收用于视频原始数据预处理的程序并完成视频预处理工作。这两类端侧设备工作时，首先由视频采集设备完成原始视频数据的采集，由于所采集到的视频数据可能会存在视频图像模糊，颜色失真等问题，需要由端侧计算设备对原始视频数据进行预处理。此外，预处理还包括对上述视频图像数据进行图像尺寸和帧率进行修改并统一，以便满足后续视频编解码以及深度卷积神经网络的输入要求。视频预处理完毕后，端侧计算设备需将预处理后的视频数据上传至边缘侧。
[0008]2)边缘侧：本专利技术涉及的系统为多分组形式的半中心化架构，因此将大量边缘节点分为三类：Master(下文均简称为M)节点、master(下文均简称为m)节点以及worker(下文均简称为w)节点。M节点作为此半中心化架构的核心节点，在本系统中有且仅有1个，负责下
发深度神经网络模型(下文均简称模型)及程序，任务分配，接收上传的视频数据做总处理。m节点作为多分组形式的重要节点，可以存在多个且其数目将直接决定分组数目，其功能包括接收视频数据、模型和程序，下发模型及程序，任务分配，任务执行，视频处理以及上传视频数据。w节点作为本系统的主要执行节点，一般存在多个，其功能包括接收端侧预处理后的视频数据，接收下发的模型和程序，下发程序，任务执行以及上传视频数据。本系统中，多分组意味着M节点和所有m节点作为各个小组的组长，负责向本小组下属的多个w节点进行任务分配，因此总组数为m节点数目加1。此外，M节点不仅作为其中一个小组的组长，还要向其余组长(各个m节点)下发模型及程序并接收各小组组长上传的视频数据以完成最终的视频总处理，相比于中心化系统(如Dask)下M节点连接所有的w节点而言，本系统中M节点只需连接所有的m节点以及其本组的w节点；相比于所有w节点均处于平等地位的去中心化系统(如Ray)而言，本系统具有明显区别于w节点的M节点以及m节点，因此，本系统为半中心化系统。
[0009]下文将详细阐述M节点、m节点以及w节点的上述功能以及本系统中这三类节点之间的具体关系。
[0010]作为本系统的核心节点，M节点负责向各个m节点下发模型及程序并接收各个m节点处理后的视频；作为多分组下其中一个小组的组长，M节点负责向下属各个w节点下发模型及程序，分配任务并接收w节点任务执行后上传的视频数据。M节点得到m节点和w节点上传的视频数据后，将所有视频根据实际需求进行合并、裁剪等操作后得到最终输出结果
[0011]作为本系统多分组下的组长(除M节点)，m节点负责接收M节点下发的模型及程序，向下属各个w节点下发模型及程序，分配任务并接收w节点任务执行后上传的视频数据。此外，m节点可以向端侧计算设备下发预处理程序并接收端侧计算设备预处理后的视频数据，因此m节点本身也可以进行任务的执行。各个m节点在得到本组所有的任务执行输出视频后(包括m节点和w节点)，根据实际需求进行本组所有视频的合并、裁剪等处理工作后输出视频并上传至M节点。
[0012]作为本系统的主要任务执行节点，w节点负责接收M节点或m节点下发的模型及程序，向端侧计算设备下发预处理程序并接收端侧计算设备预处理后的视频数据，在执行任务后将输出的视频结果上传至M节点或m节点。
[0013]进一步地，所述部分1)中，端侧用于采集视频等原始数据的视频采集设备包括但不限于手机摄像头、监控摄像头、无人机，与上述设备所分别连接的端侧计算设备包括但不限于手机、树莓派、开发板Jetson系列。
[0014]进一步地，所述部分1)中，端侧计算设备进行原始视频数据预处理的方法包括但不限于降噪、压缩、图像增强、色彩校正、图像重采样、帧率转换。
[0015]进一步地，所述部分2)中，边缘侧内的边缘节点分为物理设备以及虚拟节点，包括但不限于微型数据中心、微型服务器、路由器、云服务提供商的边缘计算平台。
[0016]进一步地，所述部分2)中，边缘侧内的m节点及w节点执行的任务包括但不限于目标检测、目标识别、目标跟踪。
[0017]进一步地，执行的任务中，所使用的深度神经网络模型包括但不限于Alexnet、ResNet50、MobileNetV2、YOLOV4、SiamRPN++。
[0018]进一步地，所述端侧、边缘侧各设备、各节点均置于同一网络下，均通过IP、端口、
用户名、密钥进行连接。
[0019]进一步地，任务分配时，每个小组组长(m节点或M节点)定义一个任务队列，用put()方法将视频所在相对地址放入任务队列中，执行节点可通过get()方法获取任务内容。
[0020]进一步地，所述系统与现有技术在可扩展性对比上用可扩展性效率E来描述，其定义如下：
[0021][0022]其中，T
a
、T
b
、T1分别为某个任务在处理器(节点)数目为1时的可并行代码执行时间、串行执行时间及总时间，T
′
a
和T
p
分别为此任务在处理器(节点)数量为p时的并行执行时间和总时间，T
e
为系统任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端边协同的多分组形式半中心化视频处理系统，其特征在于，系统架构分为端侧和边缘侧两部分，如下所述：端侧：端侧设备可分为两类，分别为视频采集设备和端侧计算设备，其数目均为多个。视频采集设备可直接采集所需视频等原始数据，端侧计算设备与视频采集设备一一相连，且端侧计算设备需从边缘侧接收用于视频原始数据预处理的程序并完成视频预处理工作。这两类端侧设备工作时，首先由视频采集设备完成原始视频数据的采集，由于所采集到的视频数据可能会存在视频图像模糊，颜色失真等问题，需要由端侧计算设备对原始视频数据进行预处理。此外，预处理还包括对上述视频图像数据进行图像尺寸和帧率进行修改并统一，以便满足后续视频编解码以及深度卷积神经网络的输入要求。视频预处理完毕后，端侧计算设备需将预处理后的视频数据上传至边缘侧。边缘侧：本发明为多分组形式的半中心化架构，因此将大量边缘节点分为三类：Master(下文均简称为M)节点、master(下文均简称为m)节点以及worker(下文均简称为w)节点。M节点、m节点以及w节点的详细功能以及本系统中这三类节点之间的具体关系如下所述。(1)作为本系统的核心节点，M节点负责向各个m节点下发模型及程序并接收各个m节点处理后的视频；作为多分组下其中一个小组的组长，M节点负责向下属各个w节点下发模型及程序，分配任务并接收w节点任务执行后上传的视频数据。M节点得到m节点和w节点上传的视频数据后，将所有视频根据实际需求进行合并、裁剪等操作后得到最终输出结果。(2)作为本系统多分组下的组长(除M节点)，m节点负责接收M节点下发的模型及程序，向下属各个w节点下发模型及程序，分配任务并接收w节点任务执行后上传的视频数据。此外，m节点可以向端侧计算设备下发预处理程序并接收端侧计算设备预处理后的视频数据，因此m节点本身也可以进行任务的执行。各个m节点在得到本组所有的任务执行输出视频后(包括m节点和w节点)，根据实际需求进行本组所有视频的合并、裁剪等处理工作后输出视频并上传至M节点。(3)作为本系统的主要任务执行节点，w节点负责接收M节点或m节点下发的模型及程序，向端侧计算设备下发预处理程序并接收端侧计算设备预处理后的视频数据，在执行任务后将输出的视频结果上传至M节点或m节点。2.根据权利要求1所述的一种基于端边协同的多分组形式半中心化视频处理系统，其特征在于，所述的多分组形式为M节点和所有m节点作为各个小组的组长，负责向本小组下属的多个w节点进行任务分配，因此总组数为m节点数目加1。3.根据权利要求1所述的一种基于端边协同的多分组形式半中心化视频处理系统，其特征在于，所述的半中心化系统表现为：相比于现有技术中典型中心化系统(如Dask)下M节点连接所有的w节点而言，本系统中M节点只需连接所有的m节点以及其本组的w节点；相比于所有w节点均处于平等地位的去中心化系统(如Ray)而言，本系统具有明显区别于w节点的M节点以及m节点，因此，本系统为半中心化系统。4.根据权利要求1所述的一种基于端边协同的多分组形式半中心化视频处理系统，其特征在于，所述的端侧两类设备中，端侧用于采集视频等原始数据的视频采集设备包括但不限于手机摄像头、监控摄像头、无人机，与上述设备所分别连接的端侧计算设备包括但不限于手机、树莓派、开发板Jetson系列。5.根据权利要求1所述的一种基于端边协同的多分组形式半中心化视频处理系统，其
特征在于，所述的端侧计算设备进行原始视频数据预处理的方法包括但不限于降噪、压缩、图像增强、色彩校正、图像重采样、帧率转换。6.根据权利要求1所述的一种基于端边协同的多分组形式半中心化视频处理系统，其特征在于，所述的边缘侧中的边缘节点分为物理设备及虚拟节点，包括但不限于微型数据中心、微型服务器、路由器、云服务提供商的边缘计算平台。7.根据权利要求1...

【专利技术属性】
技术研发人员：孙博晗，彭晓晖，张星洲，
申请(专利权)人：郑州大学，
类型：发明
国别省市：