一种基于边缘云实现协同推理的方法及系统技术方案

本发明专利技术涉及云计算技术领域，具体为一种基于边缘云实现协同推理的方法包括以下步骤：对边缘端进行推理任务处理；采集边缘端数据调用模型进行推理，判断推理结果的精度；对云端进行推理任务处理；对外提供一个接口，接收边缘端传过来的数据，推理后返回推理结果；有益效果为：本发明专利技术提出的基于边缘云实现协同推理的方法及系统基于边缘云实现协同推理与单独的节点推理相比能够更好的管理各个节点的推理任务，同时降低了单独节点推理任务需求的算力，节约了硬件的成本，提高了推理的效率和推理结果的准确度。理结果的准确度。理结果的准确度。

【技术实现步骤摘要】
一种基于边缘云实现协同推理的方法及系统


[0001]本专利技术涉及云计算
，具体为一种基于边缘云实现协同推理的方法及系统。

技术介绍

[0002]边缘云是基于云计算技术的核心和边缘计算的能力，构筑在边缘基础设施之上的云计算平台。形成边缘位置的计算、网络、存储、安全等能力全面的弹性云平台，并与中心云和物联网终端形成“云边端三体协同”的端到端的技术架构，通过将网络转发、存储、计算，智能化数据分析等工作放在边缘处理，降低响应时延、减轻云端压力、降低带宽成本，并提供全网调度、算力分发等云服务。
[0003]现有技术中，边缘云计算技术具备六大特点：1.低延时：因边缘云计算就近提供计算和网络覆盖，数据的产生、处理和使用都发生在离数据源很近的范围内，接收并响应终端请求的时延极低。2.自组织：当网络出现问题甚至中断时，边缘云的节点可以实现本地自治和自恢复。3.可定义：边缘云服务及业务逻辑不是一成不变的，而是可以由用户修改、更新和定制。4.可调度：业务逻辑可以由中心云动态分发，具体在哪个边缘节点执行是可以调度的。5.高安全：能够提供与传统云计算一体化的安全防护能力。6.标准开放：提供标准化且开放的环境，具有和其他系统互联及互操作的能力。
[0004]但是，推理任务需要算力，边缘的算力较低不能推理太复杂的目标。

技术实现思路

[0005]本专利技术的目的在于提供一种基于边缘云实现协同推理的方法及系统，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于边缘云实现协同推理的方法，所述该方法包括以下步骤：
[0007]对边缘端进行推理任务处理；
[0008]采集边缘端数据调用模型进行推理，判断推理结果的精度；
[0009]对云端进行推理任务处理；
[0010]对外提供一个接口，接收边缘端传过来的数据，推理后返回推理结果。
[0011]优选的，对边缘端进行推理任务处理时包括连接云端节点、创建推理任务、删除推理任务、推理任务状态、管理模型、管理特征库。
[0012]优选的，连接云端节点，使用socket协议连接云端节点；
[0013]创建推理任务，接受推理任务使用的镜像、模型、模型地址、特征库文件、特征库文件地址、推理任务参数、云端推理任务的地址；
[0014]删除推理任务，删除指定的推理任务，同时删除推理任务管理的模型和特征库文件存储的目录，将删除的结果同步给云端节点；
[0015]推理任务状态，每间隔一段时间将推理任务的容器的运行状态和资源占用情况上
报给云端节点；
[0016]管理模型，覆盖指定目录的模型文件；
[0017]管理特征库，覆盖指定目录的特征库文件。
[0018]优选的，对云端进行推理任务处理时，包含创建推理任务、删除推理任务、推理任务状态、重建推理任务、管理模型、管理特征库、推理任务信息持久化。
[0019]优选的，创建推理任务接口，接受推理任务使用的镜像、模型、模型地址、特征库文件、特征库文件地址、推理任务参数；
[0020]删除推理任务接口，删除指定的推理任务，同时删除推理任务管理的模型和特征库文件存储的目录，同时使用与边缘端的长链接调用边缘端的推理任务控制组件删除推理任务的接口，删除成功后，持久化推理任务的信息；
[0021]推理任务状态，每隔一段时间统计云端推理任务的pod的运行状态和资源占用情况，接收边缘端上报的边缘端容器资源占用情况；
[0022]重建推理任务，监听推理任务的运行情况，发现推理任务运行异常后，重启推理任务的容器或者pod；
[0023]管理模型，覆盖指定目录的模型文件；
[0024]管理特征库，覆盖指定目录的特征库文件。
[0025]一种基于边缘云实现协同推理的系统，该系统由边缘端控制模块、边缘端处理模块、云端控制模块以及云端处理模块构成；
[0026]边缘端控制模块，用于对边缘端进行推理任务处理；
[0027]边缘端处理模块，用于采集边缘端数据调用模型进行推理，判断推理结果的精度；
[0028]云端控制模块，用于对云端进行推理任务处理；
[0029]云端处理模块，用于对外提供一个接口，接收边缘端传过来的数据，推理后返回推理结果。
[0030]优选的，所述边缘端处理模块中，对边缘端进行推理任务处理时包括连接云端节点、创建推理任务、删除推理任务、推理任务状态、管理模型、管理特征库。
[0031]优选的，连接云端节点，使用socket协议连接云端节点；
[0032]创建推理任务，接受推理任务使用的镜像、模型、模型地址、特征库文件、特征库文件地址、推理任务参数、云端推理任务的地址；
[0033]删除推理任务，删除指定的推理任务，同时删除推理任务管理的模型和特征库文件存储的目录，将删除的结果同步给云端节点；
[0034]推理任务状态，每间隔一段时间将推理任务的容器的运行状态和资源占用情况上报给云端节点；
[0035]管理模型，覆盖指定目录的模型文件；
[0036]管理特征库，覆盖指定目录的特征库文件。
[0037]优选的，所述云端处理模块中，对云端进行推理任务处理时，包含创建推理任务、删除推理任务、推理任务状态、重建推理任务、管理模型、管理特征库、推理任务信息持久化。
[0038]优选的，创建推理任务接口，接受推理任务使用的镜像、模型、模型地址、特征库文件、特征库文件地址、推理任务参数；
[0039]删除推理任务接口，删除指定的推理任务，同时删除推理任务管理的模型和特征库文件存储的目录，同时使用与边缘端的长链接调用边缘端的推理任务控制组件删除推理任务的接口，删除成功后，持久化推理任务的信息；
[0040]推理任务状态，每隔一段时间统计云端推理任务的pod的运行状态和资源占用情况，接收边缘端上报的边缘端容器资源占用情况；
[0041]重建推理任务，监听推理任务的运行情况，发现推理任务运行异常后，重启推理任务的容器或者pod；
[0042]管理模型，覆盖指定目录的模型文件；
[0043]管理特征库，覆盖指定目录的特征库文件。
[0044]与现有技术相比，本专利技术的有益效果是：
[0045]本专利技术提出的基于边缘云实现协同推理的方法及系统基于边缘云实现协同推理与单独的节点推理相比能够更好的管理各个节点的推理任务，同时降低了单独节点推理任务需求的算力，节约了硬件的成本，提高了推理的效率和推理结果的准确度。
附图说明
[0046]图1为本专利技术方法流程图。
具体实施方式
[0047]为了使本专利技术的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本专利技术实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本专利技术一部分实施例，而不是全部的实施例，仅仅用以解释本专利技术实施例，并不用于限定本专利技术实施例，本领域普本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘云实现协同推理的方法，其特征在于，所述该方法包括以下步骤：对边缘端进行推理任务处理；采集边缘端数据调用模型进行推理，判断推理结果的精度；对云端进行推理任务处理；对外提供一个接口，接收边缘端传过来的数据，推理后返回推理结果。2.根据权利要求1所述的一种基于边缘云实现协同推理的方法，其特征在于：对边缘端进行推理任务处理时包括连接云端节点、创建推理任务、删除推理任务、推理任务状态、管理模型、管理特征库。3.根据权利要求2所述的一种基于边缘云实现协同推理的方法，其特征在于：连接云端节点，使用socket协议连接云端节点；创建推理任务，接受推理任务使用的镜像、模型、模型地址、特征库文件、特征库文件地址、推理任务参数、云端推理任务的地址；删除推理任务，删除指定的推理任务，同时删除推理任务管理的模型和特征库文件存储的目录，将删除的结果同步给云端节点；推理任务状态，每间隔一段时间将推理任务的容器的运行状态和资源占用情况上报给云端节点；管理模型，覆盖指定目录的模型文件；管理特征库，覆盖指定目录的特征库文件。4.根据权利要求1所述的一种基于边缘云实现协同推理的方法，其特征在于：对云端进行推理任务处理时，包含创建推理任务、删除推理任务、推理任务状态、重建推理任务、管理模型、管理特征库、推理任务信息持久化。5.根据权利要求4所述的一种基于边缘云实现协同推理的方法，其特征在于：创建推理任务接口，接受推理任务使用的镜像、模型、模型地址、特征库文件、特征库文件地址、推理任务参数；删除推理任务接口，删除指定的推理任务，同时删除推理任务管理的模型和特征库文件存储的目录，同时使用与边缘端的长链接调用边缘端的推理任务控制组件删除推理任务的接口，删除成功后，持久化推理任务的信息；推理任务状态，每隔一段时间统计云端推理任务的pod的运行状态和资源占用情况，接收边缘端上报的边缘端容器资源占用情况；重建推理任务，监听推理任务的运行情况，发现推理任务运行异常后，重启推理任务的容器或者pod；管理模型，覆盖指定目录的模型文件；管理特征库，覆盖指定目录的特征库文件。6.一种如上述权利要求1
‑
5任意一项所述的基于边缘云实现协同推理的系统，其特征在于：该系统由边缘端控制...

【专利技术属性】
技术研发人员：张辉，江燕，董玉全，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：