一种基于云边端架构的图像联合推理识别系统及方法技术方案

本发明专利技术涉及一种基于云边端架构的图像联合推理识别系统及方法，包括云平台层、通信网络层、边缘层、终端层；云平台层包括云计算中心、数据库、云端文件存储系统、镜像仓库；边缘层包括集成在目标图像识别场景中的各个设备，包括边缘设备、本地文件存储系统；终端层是目标图像识别场景中具有数据采集功能的终端设备，用于将监控采集的实时图像、视频通过有线或无线网络传输到边缘层，以待检测。本发明专利技术采用云边联合推理算法，攻克只将模型单边部署于云端或者边缘端的缺点，能更多更快的对多目标进行检测识别，充分利用云边资源，更适用于复杂的多目标图像识别与检测作业。杂的多目标图像识别与检测作业。杂的多目标图像识别与检测作业。

【技术实现步骤摘要】
一种基于云边端架构的图像联合推理识别系统及方法


[0001]本专利技术属于以边缘计算为基础，对待检测图像或者视频流数据进行人工智能处理、联合推理的交叉领域。具体涉及到基于人工智能模型，以云边端架构、联合推理算法为基础的图像联合推理系统及方法。

技术介绍

[0002]人工智能已经广泛运用于目标识别，并通过云计算与边缘计算技术扩展到海洋鱼类识别、病理图像识别、自动驾驶等多目标识别领域，但随着扩展场景变得更为复杂，对识别准确度、资源分配等提出更高要求。
[0003]目前，已有一些基于云端服务器或边缘端的目标识别系统，但应用于多目标检测的复杂场景时，有以下不足：第一，边缘端的目标识别系统以模型部署在边缘端，云端负责决策，边缘端负责数据处理与识别，但边缘设备资源受限，且部署模型轻量化，在面对多目标检测的复杂场景时，通常难以独立工作；第二，云端目标识别系统以模型部署在云服务器中，接收边缘端上传的数据，进行数据处理与识别，但云服务器通常远离工作场景，数据传输代价大，耗时长，不适用于多目标图像识别场景。

技术实现思路

[0004]本专利技术为解决上述的需求和现有技术的缺陷，提出了一种以云边端架构为基础的图像联合推理识别系统；
[0005]本专利技术以Kubeedge
‑
Sedna管理平台为基础，提供了一个稳定的云边端架构，云中心能有效管理大量的图像识别边缘设备，支持大规模部署和集中管理。
[0006]本专利技术还提出了一种联合推理算法，突破了边缘端资源有限情况下，将边缘端的高负载任务卸载至云端，提高动态资源分配效率与图像识别效率，降低部署成本。
[0007]术语解释：
[0008]Kubeedge
‑
Sedna管理平台：Kubeedge是一个开源的系统，支持边缘计算、将容器化应用程序编排功能扩展到边缘端的平台；Sedna是KubeEdge SIG AI孵化的边缘云协同AI项目，可对Kubeedge的功能扩展，提供跨云边协同训练和协同推理的功能。
[0009]本专利技术的技术方案为：
[0010]一种以云边端架构为基础的图像联合推理识别系统，包括云平台层、通信网络层、边缘层及终端层；
[0011]所述云平台层包括云计算中心、数据库、云端文件存储系统、镜像仓库；
[0012]所述云计算中心用于云端、边缘端人工智能图像识别模型的训练以及处理边缘端卸载到云计算中心的图像识别任务；所述数据库用于存储寻址目录地址；所述云端文件存储系统用于存储云端、边缘端人工智能图像识别模型以及该模型训练所用的训练集、测试集图像文件；所述镜像仓库用于存储云计算中心训练好的云端、边缘端人工智能图像识别模型生成的镜像文件；
[0013]所述通信网络层用于边缘层与云平台层之间的信息交互、数据上传、模型与镜像的下载；
[0014]所述边缘层包括集成在目标图像识别场景中的各个设备，包括边缘设备、本地文件存储系统；
[0015]所述边缘设备承载边缘端人工智能图像识别模型，用于处理目标图像识别场景中终端层上传来的监控数据，且通过联合推理算法计算该监控数据是否启用云端人工智能图像识别模型进行检测；所述本地文件存储系统用于存储历史以及最新版本的边缘端人工智能图像识别模型的镜像文件、可执行程序、终端层上传的图像数据集以及检测结果；
[0016]所述终端层是目标图像识别场景中具有数据采集功能的终端设备，用于将监控采集的实时图像、视频通过有线或无线网络传输到边缘层，以待检测；
[0017]其中，通过联合推理算法计算该监控数据是否启用云端人工智能图像识别模型进行检测，包括：获取当前边缘设备cpu剩余率、当前边缘设备内存剩余率、边缘设备与云计算中心网络连接之间网关的延迟、模型启动时间、当前该次作业数据大小，通过联合推理算法计算该监控数据是否启用云端人工智能图像识别模型进行检测。
[0018]根据本专利技术优选的，所述云计算中心部署开源的Kubeedge
‑
Sedna管理平台；
[0019]边缘设备通过Kubeedge
‑
Sedna管理平台的Join Token密钥与证书验证方式加入到所述云平台层中，所述云计算中心管控边缘设备；
[0020]所述云计算中心接收终端设备的接入，并指定终端设备所属边缘设备，所述云计算中心管控边缘设备。
[0021]根据本专利技术优选的，所述边缘设备为Nvidia Nx Xavier集成设备；终端设备包括摄像头或监控器。
[0022]根据本专利技术优选的，云计算中心、数据库、云端文件存储系统、镜像仓库均处于一个局域网中；边缘设备、本地文件存储系统、终端层处于一个局域网中。
[0023]一种以云边端架构为基础的图像联合推理识别方法，基于上述图像联合推理识别系统实现，包括：
[0024]步骤1：所述云计算中心根据不同的目标图像识别场景需求，分别训练出所需的云端、边缘端人工智能图像识别模型，并将这两个模型打包成为镜像，存入所述镜像仓库中；并将边缘端人工智能图像识别模型的镜像文件发送到所述本地文件存储系统中；
[0025]步骤2：所述云计算中心通过Yaml文件在所指定的边缘设备上启动Pod容器、运行目标图像识别服务、部署Sedna插件，Sedna插件中已有联合推理算法；
[0026]步骤3：边缘设备从所述本地文件存储系统拉取Pod容器运行所需镜像，Pod容器启动成功，并将Pod容器状态返回给所述云计算中心；
[0027]步骤4：边缘设备通过Yaml文件运行目标图像识别服务后，利用Sedna插件联合推理算法，在目标图像识别场景进行工作；
[0028]步骤5：所述终端设备通过ip地址与边缘设备进行连接，边缘设备通过所述终端设备传输来的实时图像获取目标图像识别数据；
[0029]步骤6：所述边缘设备读取待检测的目标图像识别数据，并同时获取当前边缘设备cpu剩余率、当前边缘设备内存剩余率、边缘设备与云计算中心网络连接之间网关的延迟、模型启动时间、当前该次作业数据大小，通过联合推理算法计算该监控数据是否启用云端
人工智能图像识别模型进行检测，并进行目标图像识别服务，得到目标图像识别结果。
[0030]根据本专利技术优选的，步骤1中，所述云计算中心根据不同的目标图像识别场景需求，分别训练出所需的云端、边缘端人工智能图像识别模型，具体包括：
[0031]步骤1.1：构建云端、边缘端人工智能图像识别模型；
[0032]云端人工智能图像识别模型包括主干神经网络CSP
‑
Darknet53、神经网络LeNet
‑
5、神经网络Darknet
‑
19；
[0033]边缘端人工智能图像识别模型采用CSP
‑
Darknet53神经网络架构；
[0034]步骤1.2：训练云端人工智能图像识别模型；
[0035]获取数据集；
[0036]对数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种以云边端架构为基础的图像联合推理识别系统，其特征在于，包括云平台层、通信网络层、边缘层及终端层；所述云平台层包括云计算中心、数据库、云端文件存储系统、镜像仓库；所述云计算中心用于云端、边缘端人工智能图像识别模型的训练以及处理边缘端卸载到云计算中心的图像识别任务；所述数据库用于存储寻址目录地址；所述云端文件存储系统用于存储云端、边缘端人工智能图像识别模型以及该模型训练所用的训练集、测试集图像文件；所述镜像仓库用于存储云计算中心训练好的云端、边缘端人工智能图像识别模型生成的镜像文件；所述通信网络层用于边缘层与云平台层之间的信息交互、数据上传、模型与镜像的下载；所述边缘层包括集成在目标图像识别场景中的各个设备，包括边缘设备、本地文件存储系统；所述边缘设备承载边缘端人工智能图像识别模型，用于处理目标图像识别场景中终端层上传来的监控数据，且通过联合推理算法计算该监控数据是否启用云端人工智能图像识别模型进行检测；所述本地文件存储系统用于存储历史以及最新版本的边缘端人工智能图像识别模型的镜像文件、可执行程序、终端层上传的图像数据集以及检测结果；所述终端层是目标图像识别场景中具有数据采集功能的终端设备，用于将监控采集的实时图像、视频通过有线或无线网络传输到边缘层，以待检测；其中，通过联合推理算法计算该监控数据是否启用云端人工智能图像识别模型进行检测，包括：获取当前边缘设备cpu剩余率、当前边缘设备内存剩余率、边缘设备与云计算中心网络连接之间网关的延迟、模型启动时间、当前该次作业数据大小，通过联合推理算法计算该监控数据是否启用云端人工智能图像识别模型进行检测。2.根据权利要求1所述的一种以云边端架构为基础的图像联合推理识别系统，其特征在于，所述云计算中心部署开源的Kubeedge
‑
Sedna管理平台；边缘设备通过Kubeedge
‑
Sedna管理平台的Join Token密钥与证书验证方式加入到所述云平台层中，所述云计算中心管控边缘设备；所述云计算中心接收终端设备的接入，并指定终端设备所属边缘设备，所述云计算中心管控边缘设备。3.根据权利要求1所述的一种以云边端架构为基础的图像联合推理识别系统，其特征在于，所述边缘设备为Nvidia Nx Xavier集成设备；终端设备包括摄像头或监控器。4.根据权利要求1所述的一种以云边端架构为基础的图像联合推理识别系统，其特征在于，云计算中心、数据库、云端文件存储系统、镜像仓库均处于一个局域网中；边缘设备、本地文件存储系统、终端层处于一个局域网中。5.一种以云边端架构为基础的图像联合推理识别方法，基于权利要求1
‑
4任一所述的上述图像联合推理识别系统实现，其特征在于，包括：步骤1：所述云计算中心根据不同的目标图像识别场景需求，分别训练出所需的云端、边缘端人工智能图像识别模型，并将这两个模型打包成为镜像，存入所述镜像仓库中；并将边缘端人工智能图像识别模型的镜像文件发送到所述本地文件存储系统中；步骤2：所述云计算中心通过Yaml文件在所指定的边缘设备上启动Pod容器、运行目标
图像识别服务、部署Sedna插件，Sedna插件中已有联合推理算法；步骤3：边缘设备从所述本地文件存储系统拉取Pod容器运行所需镜像，Pod容器启动成功，并将Pod容器状态返回给所述云计算中心；步骤4：边缘设备通过Yaml文件运行目标图像识别服务后，利用Sedna插件联合推理算法，在目标图像识别场景进行工作；步骤5：所述终端设备通过ip地址与边缘设备进行连接，边缘设备通过所述终端设备传输来的实时图像获取目标图像识别数据；步骤6：所述边缘设备读取待检测的目标图像识别数据，并同时获取当前边缘设备cpu剩余率、当前边缘设备内存剩余率、边缘设备与云计算中心网络连接之间网关的延迟、模型启动时间、当前该次作业数据大小，通过联合推理算法计算该监控数据是否启用云端人工智能图像识别模型进行检测，并进行目标图像识别服务，得到目标图像识别结果。6.根据...

【专利技术属性】
技术研发人员：陈静，肖恭翼，郭莹，李娜，孙浩，李文，张传福，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：