一种面向工业机器人数据处理的边云协同流程编排系统技术方案

本发明专利技术公开了一种面向工业机器人数据处理的边云协同流程编排系统，系统涉及数据的流式处理和边云协同的工业机器人数据处理流程部署方法，以及二者在同一底层运行和通信机制之上同时实现的方案，将边缘节点和云服务器纳入一个统一的管理系统，提高了边云协同系统的管理的方便性，在边缘端进行数据的预处理，避免占用网络带宽资源将大量无效的原始数据上传到云端，并使数据的流式处理和边云协同在一套完整的底层运行和通信机制之上同时被实现，进而实现将边端设备纳入云端统一管理、边云协同的自动化部署数据处理流程、高效的边云、算子间流式数据传输这三个有益效果。

【技术实现步骤摘要】
一种面向工业机器人数据处理的边云协同流程编排系统
本专利技术涉及工业互联网中工业机器人的数据处理领域，尤其涉及一种面向工业机器人数据处理的边云协同流程编排系统。
技术介绍
从工业机器人数据的采集，到通过采集的数据进行模型的训练和相应的预测，需要机器人工厂和云平台合作组成边云协同的业务流程，在此协同系统中，机器人工厂靠近机器人的计算设备为边缘端，云平台为云端。边缘端负责机器人数据的采集、预处理、上云等步骤，云端负责接收数据、模型训练、在线预测等步骤，边缘端与云端串行合作，形成工业机器人数据处理、故障预测的完整流程。一个完整的数据处理流程包含了多个数据采集处理的多个步骤，对于流程中的每个步骤，在进行算法设计开发、统一输入输出接口之后，都能抽象出规范的数据处理模块，通过对这些模块的复用，能够大大简化部署一套从机器人工厂到云平台的边云协同工作的数据处理流程。边云协同是指云服务器端和边缘设备端的协同，包括资源协同、应用协同、数据协同、智能协同等多种协同。边云协同的技术需要将边端与云端纳入统一的管理体系中，将边端与云端之间的差异透明化，同时还应提供数据通信组件使边云之间的数据通路畅通无阻。Kubernetes是来一个开源的容器集群管理系统，用于自动部署、扩展和管理容器化应用程序，近年来，将一个庞大的功能程序解耦为多个功能相对独立的微程序，之后将其分别封装为docker容器，并通过kubernetes平台自动部署已经成为新兴的热点技术。相应的，将一个完整的数据处理流程划分为多个独立的功能模块，将每个模块独立部署，应用此种方法可以自动化容器的部署和复制、随时扩展或收缩流程中一部分模块的规模，并且可以很容易地升级应用程序容器的新版本。Kubeedge是华为开源的注重于边缘计算的容器管理平台，可将云服务器容器化应用编排和管理扩展到边缘端设备。Kubeedge为适应边缘端资源有限等特点，对Kubernetes的组件进行大幅重构和优化，为边缘端网络和应用程序提供核心基础架构支持，支持在云端和边缘端部署应用并同步双边元数据。同时，kubeedge百分百兼容kubernetesAPI，可以使用kubernetesAPI原语管理边缘节点和设备。目前的流程编排技术聚焦于通过可视化编排界面或者根据一个流程配置清单建立一个流程，但并未考虑边云协同的需求以及对于流式数据处理的支持。而边云协同方向现有技术没有考虑为边云之间的通信提供一个统一的入口，需要边和云之间的组件相互配合，增加了边云组件的复杂性，此外现有技术也未考虑对于流式数据处理的支持，不符合工业互联网背景下边端采集到的流式数据处理的模式。
技术实现思路
为了解决目前包级别一致性更新方案的一些弊端，我们提出一种面向工业机器人数据处理的边云协同流程编排系统，具体地，系统包括数据的流式处理和边云协同的工业机器人数据处理流程部署方法，二者在同一底层运行和通信机制之上同时实现，所述底层运行和通信机制包括边端和云端，包括算子传输数据的网络代理组件、边端和云端之间的网络代理组件，由在边端运行的边端和云端之间的网络代理组件主动连接公网上的在云端运行的边端和云端之间的网络代理组件，设置算子传输数据的网络代理组件负责与上下游的算子连接进行数据的收发和缓存，在接收到数据时通过远程过程调用的形式交付算子进行业务逻辑处理，所述算子传输数据的网络代理组件和算子容器一一对应，在同一个pod，并将数据和对应的路由信息交给边端和云端之间的网络代理组件进行分发，所述数据的流式处理流程过程为，每一个算子代表对单条数据的处理过程，算子保持运行，不断地逐条处理到来的数据；所述边云协同的工业机器人数据处理流程部署方法架构由云端控制平面、云端部署平面和边端部署平面三部分组成，通过所述云端控制平面实现外部流程编排的输入，并通过所述边缘部署平面实现对本地计算资源的管理。所述算子传输数据的网络代理组件包括输入单元、缓冲区、窗口聚集机制、输入队列、算子调用单元、输出队列，采用ZMQ作为算子传输数据的网络代理组件之间、算子传输数据的网络代理组件与边端和云端之间的网络代理组件之间以及边端和云端之间的网络代理组件之间进行网络通信的工具库，算子传输数据的网络代理组件对算子的远程过程调用采用的gRPC协议；其机制具体为：输入单元通过ZMQ套接字从上游算子接收数据放入缓冲区，并根据配置的窗口聚集机制预处理成数据集合，再将数据集合整体放入输入队列，算子调用单元从输入队列中不断获取数据集合，并通过gRPC协议交付算子进行处理并获得结果，并将结果放入输出队列，输出单元从输出队列中获取结果并置入缓冲区，由ZMQ套接字从缓冲区中读取并发送给下游算子。所述边端和云端之间的网络代理组件的逻辑结构为：所述在边端运行的边端和云端之间的网络代理组件一侧与同端算子的输出单元和输入单元连接，另一侧则与所述在云端运行的边端和云端之间的网络代理组件进行连接，数据则通过分发器根据数据所带的路由信息进行选择性得向算子分发或向云端分发，所述在云端运行的边端和云端之间的网络代理组件一侧与算子连接，另一侧则通过暴露公网端口，由所述在边端运行的边端和云端之间的网络代理组件主动进行连接，通过设置二级路由信息，作为每条数据的头部内容。所述二级路由信息的实现方式为：第一级路由用于指定目的算子，第二级路由用于指定目的边端，所述第一级路由存在于算子和所述边端和云端之间的网络代理组件之间，算子A的所述算子传输数据的网络代理组件输出单元发送的数据路由信息发送到特定的云端的算子B，分发器检查目的地为云端于是交给云端连接进行发送，所述算子B的所述算子传输数据的网络代理组件输入单元在其所述边端和云端之间的网络代理组件中注册的监听路由地址，因此在云端运行的边端和云端之间的网络代理组件在检查数据目的地为本机后，将数据正确地发送给所述算子B；在存在多个边端时，则应用第二级路由，多个边端在连接云端时，分别注册为多个的路由，当所述算子B的所述算子传输数据的网络代理组件发送路由信息为指向算子C时，其所述在云端运行的边端和云端之间的网络代理组件分发器检查后发现其目的地为所述，则增加第二级路由信息，于是交付边缘连接进行发送时可以正确地发往所述算子C所在边端，所述算子C所在边端的分发器丢弃第二级路由信息，检查第一级路由信息，便可知应当发往注册了监听路由的算子C，于是完成了整个流传输的过程。所述云端控制平面的运行逻辑架构包括：可视化流程编排步骤，提供可视化拖拽式编排的界面作为前端，所述界面分为编排区和组件区两个区域，用户通过将组件区提供的不同功能的数据处理镜像的组件拖拽进编排区后，数据发送至流程解析步骤；所述流程解析步骤设置后端接收所述前端发送的流程配置文件，解析配置文件生成各个算子的configmap、deployment和service所需的信息，并将存储数据处理流程中不同功能的数据处理模块发送至算子仓库模块，将流程相关配置信息存储于数据库模块；所述算子部署的位置即云端或指定的边端，由控制部署步骤将完整的机器人数据处理流程划分为部署到边端和云端的两部分，并将数据发送至所述云本文档来自技高网...

【技术保护点】
1.一种面向工业机器人数据处理的边云协同流程编排系统，其特征在于：系统包括数据的流式处理和边云协同的工业机器人数据处理流程部署方法，二者在同一底层运行和通信机制之上同时实现，所述底层运行和通信机制包括边端和云端，包括算子传输数据的网络代理组件、边端和云端之间的网络代理组件，由在边端运行的边端和云端之间的网络代理组件主动连接公网上的在云端运行的边端和云端之间的网络代理组件，设置算子传输数据的网络代理组件负责与上下游的算子连接进行数据的收发和缓存，在接收到数据时通过远程过程调用的形式交付算子进行业务逻辑处理，所述算子传输数据的网络代理组件和算子容器一一对应，在同一个pod，并将数据和对应的路由信息交给边端和云端之间的网络代理组件进行分发，/n所述数据的流式处理流程过程为，每一个算子代表对单条数据的处理过程，算子保持运行，不断地逐条处理到来的数据；所述边云协同的工业机器人数据处理流程部署方法架构由云端控制平面、云端部署平面和边端部署平面三部分组成，通过所述云端控制平面实现外部流程编排的输入，并通过所述边缘部署平面实现对本地计算资源的管理。/n

【技术特征摘要】
1.一种面向工业机器人数据处理的边云协同流程编排系统，其特征在于：系统包括数据的流式处理和边云协同的工业机器人数据处理流程部署方法，二者在同一底层运行和通信机制之上同时实现，所述底层运行和通信机制包括边端和云端，包括算子传输数据的网络代理组件、边端和云端之间的网络代理组件，由在边端运行的边端和云端之间的网络代理组件主动连接公网上的在云端运行的边端和云端之间的网络代理组件，设置算子传输数据的网络代理组件负责与上下游的算子连接进行数据的收发和缓存，在接收到数据时通过远程过程调用的形式交付算子进行业务逻辑处理，所述算子传输数据的网络代理组件和算子容器一一对应，在同一个pod，并将数据和对应的路由信息交给边端和云端之间的网络代理组件进行分发，
所述数据的流式处理流程过程为，每一个算子代表对单条数据的处理过程，算子保持运行，不断地逐条处理到来的数据；所述边云协同的工业机器人数据处理流程部署方法架构由云端控制平面、云端部署平面和边端部署平面三部分组成，通过所述云端控制平面实现外部流程编排的输入，并通过所述边缘部署平面实现对本地计算资源的管理。


2.如权利要求1所述的一种面向工业机器人数据处理的边云协同流程编排系统，其特征在于：所述算子传输数据的网络代理组件包括输入单元、缓冲区、窗口聚集机制、输入队列、算子调用单元、输出队列，采用ZMQ作为算子传输数据的网络代理组件之间、算子传输数据的网络代理组件与边端和云端之间的网络代理组件之间以及边端和云端之间的网络代理组件之间进行网络通信的工具库，算子传输数据的网络代理组件对算子的远程过程调用采用的gRPC协议；其机制具体为：输入单元通过ZMQ套接字从上游算子接收数据放入缓冲区，并根据配置的窗口聚集机制预处理成数据集合，再将数据集合整体放入输入队列，算子调用单元从输入队列中不断获取数据集合，并通过gRPC协议交付算子进行处理并获得结果，并将结果放入输出队列，输出单元从输出队列中获取结果并置入缓冲区，由ZMQ套接字从缓冲区中读取并发送给下游算子。


3.如权利要求2所述的一种面向工业机器人数据处理的边云协同流程编排系统，其特征在于：所述边端和云端之间的网络代理组件的逻辑结构为：所述在边端运行的边端和云端之间的网络代理组件一侧与同端算子的输出单元和输入单元连接，另一侧则与所述在云端运行的边端和云端之间的网络代理组件进行连接，数据则通过分发器根据数据所带的路由信息进行选择性得向算子分发或向云端分发，所述在云端运行的边端和云端之间的网络代理组件一侧与算子连接，另一侧则通过暴露公网端口，由所述在边端运行的边端和云端之间的网络代理组件主动进行连接，通过设置二级路由信息，作为每条数据的头部内容。


4.如权利要求3所述的一种面向工业机器人数据处理的边云协同流程编排系统，其特征在于：所述二级路由信息的实现方式为：第一级路由用于指定目的算子，第二级路由用于指定目的边端，所述第一级路由存在于算子和所述边端和云端之间的网络代理组件之间，算子A的所述算子传输数据的网络代理组件输出单元发送的数据路由信息发送到特定的云端的算子B，分发器检查目的地为云端于是交给云端连接进行发送，所述算子B的所述算子传输数据的网络代理组件输入单元在其所述边端和云端之间的网络代理组件中注册的监听路由地址，因此在云端运行的边端和云端之间的网络代理组件在检查数据目的地为本机后，将数据正确地发送给所述算子B；在存在多个边端时，则应用第二级路由，多个边端在连接云端时，分别注册为多个的路由，当所述算子B的所述算子传输数据的网络代理组件发送路由信息为指向算子C时，其所述在云端运行的边端和云端之间的网络代理组件分发器检查后发现其目的地为所述，则增加第二级路由信息，于是交付边缘连接进行发送时可以正确地发往所述算子C所在边端，所述算子C所在边端的分发器...

【专利技术属性】
技术研发人员：沃天宇，王剑巍，郭晓辉，胡俊涛，祁一凡，刘品，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11