基于云、雾、边缘协同的云机器人实时监测与控制方法技术

本发明专利技术公开了一种基于云、雾、边缘协同的云机器人实时监测与控制方法，该方法包括下述步骤：在边缘端实现对机器人物理对象的数据信息进行特征提取，在雾端构建机器人的数字孪生体组件，在雾端搭建数字孪生体组件的组态实施工具，在云端部署云机器人的智能调度和控制方法，在云端构建云机器人的特征数据库模块以及本体知识库，实现云端、雾端、边缘端协同系统间的数据感知与交互，构建云机器人的自适应动态网络驱动机制，实现云机器人的实时监测与控制。本发明专利技术实现在任务复杂程度与应用场景的不同环境下对云机器人的实时监测与控制，解决在智能制造环境下机器人与云端交互的通信鲁棒性以及面对不同计算负载分配机制的实时敏感程度的问题。程度的问题。程度的问题。

【技术实现步骤摘要】
基于云、雾、边缘协同的云机器人实时监测与控制方法


[0001]本专利技术涉及云机器人控制
，具体涉及一种基于云、雾、边缘协同的云机器人实时监测与控制方法。

技术介绍

[0002]云、雾、边缘协同是云计算、雾计算与边缘计算的互补协同，云、雾、边缘协同架构包括数据协同、业务应用协同、服务调用协同和运营管理协同。数字孪生体是将利用数字化技术或者计算机结构化语言在虚拟环境当中用数据信息去表达出的与实际对象完全一致的数字映射系统。
[0003]2010年，卡耐基梅隆大学的J.Kuffner教授提出了“云机器人”的概念。“云”的加入彻底地改变了原有的拓扑结构和交互机制，机器人与云端交互的引入极大地提升了任务调度的灵活性和可拓展性，当机器人节点的运算或储存不适宜在本地执行，通过云端提供的接口，机器人可以将任务上传至云端完成，从而突破了机器人的资源限制。
[0004]然而，实现云机器人的应用以及对云机器人的实时监测与控制仍然面临一些技术瓶颈。在智能制造环境中，不同任务的机器人群由于在工作环境、通信信号强度、网络鲁棒性、信噪比等方面存在较大差异，通信质量往往具有时变的特性。对于机器人群间的协同工作，以及机器人与其它智能设备、智能产品的协作，如何克服机器人与云端交互的通信鲁棒性是保证机器人任务顺利完成的重要支撑；同时，云机器人的特征之一是对运算、储存任务的柔性处理。理论上，所有任务都可以上传到云端进行处理，从而最大程度上释放底层机器人的负载压力。然而，如果不加区分的将任务上传而不选择本地执行，就可能造成严重的延时现象。所以由于不同计算负载分配机制产生对机器人与云端交互的实时敏感程度问题也亟需解决。
[0005]现有的云机器人的研究大多仅在边缘端或云端单一平台实现，单一边缘端机器人难以实现对海量机器人实时运行数据和对复杂通信情况的任务运行诊断，缺乏对资源的统一调度，没有对机器人的数字信息模型进行建模，即构建数字孪生体组件，没有办法预知最佳推荐方案的执行反馈；另一方面，缺乏与机器人物理设备特定关系的实体服务，缺少由于数据传输受阻难以对被监测的机器人物理对象实时反馈，局限于特定领域的算法研究和云端架构设计。
[0006]对于采用基于SOA(软件即服务)来实现的云机器人服务框架，整体架构缺少对机器人的数字孪生体组件的考虑以及并没有接触到机器人控制器层、运动内核层、主站层、驱动器层方面，缺乏对机器人底层核心控制系统的研究。在资源层局限于资源注册和资源管理，缺少对云机器人与其他智能设备、智能产品的协作过程的资源调度过程，以及机器人的数字孪生体组件的资源调度和管理。并没有解决在智能制造环境下面对复杂环境SOA接口层存在通信鲁棒性问题，这也是由于SOA接口层是为服务提供方实现服务，而服务消费方远程调用服务，在服务提供和调用过程中本身会存在由于网络鲁棒性、信噪比干扰从而产生实时敏感问题。

技术实现思路

[0007]为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于云、雾、边缘协同的云机器人实时监测与控制方法，面对小批量多品种加工场景，主要针对在智能制造环境下工业机器人与云端交互的通信鲁棒性以及面对不同计算负载分配机制的实时敏感程度的问题，本专利技术在边缘端实现对机器人物理对象的运维数据、传感数据、制造过程中的生产信息数据进行特征提取，在雾端根据机器人物理对象的网格模型、运动学系统等数据构建机器人的数字孪生体组件以及数字孪生体组件的组态实施工具，在云端实现高复杂度的云机器人的智能调度和控制方法，以及云端、雾端、边缘端协同系统间的数据感知与交互，提供云机器人的自适应动态网络驱动机制，并构建云机器人由边缘端提取的特征数据库与机器人本体知识库，充分发挥云、雾、边缘协同系统的性能优势，实现在任务复杂程度与应用场景的不同环境下对云机器人的实时监测与控制，实现面对网络鲁棒性、不同信噪比情况下云机器人对任务的实时性要求，有助于选择合理的任务调度机制，优化机器人与其他智能设备、智能产品间的协作，从而解决在智能制造环境下机器人与云端交互的通信鲁棒性以及面对不同计算负载分配机制的实时敏感程度的问题。
[0008]为了达到上述目的，本专利技术采用以下技术方案：
[0009]本专利技术提供一种基于云、雾、边缘协同的云机器人实时监测与控制方法，包括下述步骤：
[0010]边缘端获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，在控制器层部署gRPC协议的服务响应端；
[0011]在雾端构建机器人的数字孪生体组件，采用基于XML框架的Collada格式文件构建机器人的数字孪生体组件，数字孪生体组件的存储能力由OSS提供，通过XML元素定义方式存储数字孪生体组件的结构数据，通过标识符的方式描述各个库数据间的引用关系以及与其他数字孪生体组件的组合层次关系；
[0012]在雾端搭建数字孪生体组件的组态实施工具，当云端的云机器人对数字孪生体组件进行更新时，组态实施工具对组件的修改、删除操作进行验证，并记录该服务请求事件，验证通过后对组件的数字映射的信息模型进行更新；
[0013]云端部署云机器人的智能调度和控制方法，向雾端的数字孪生体组件的组态实施工具发送获取组件的数字映射的信息模型请求，通过云端发送的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址，云端将Collada文件的加载类导入到需要应用到云端部署的智能调度和控制方法当中，利用该类的load方法索引到数字孪生体组件的下载地址，下载数字孪生体组件的信息模型并导入到云端环境，通过该类下的load方法遍历该数字孪生体组件下的所有标签数据，对满足网格模型数据判断的子类标签利用渲染器方法进行渲染；
[0014]在云端构建云机器人的特征数据库模块及本体知识库，云端和边缘端之间以gRPC协议交互，云端与雾端之间交互通过jQuery的AJAX方法；
[0015]基于云端后台服务器与云机器人的特征数据库模块以及本体知识库的数据感知与交互、云端与边缘端机器人控制器节点的数据感知与交互作为驱动通信基础，以网络时变或者不同计算负载机制作为机制响应决策，构建云机器人的自适应动态网络驱动机制，
通过机器学习方法对云机器人的特征数据库模块以及本体知识库不断更新，对网络时变产生的同步误差不断迭代演变，实现云机器人的实时监测与控制。
[0016]作为优选的技术方案，数字孪生体组件的结构数据包括：视觉场景库、几何结构库、模型功能库、模型材料库、运动学模型、运动学系统库、运动学场景、物理场景和物理模型；
[0017]几何模型库中的网格数据复制由三维建模软件生成的网格数据。
[0018]作为优选的技术方案，数字孪生体组件将机器人的信息模型划分为带有可配置冗余级别的数据和校验块，云端在读取对象时，将元素定义方式存储的数据重建出完整对象。
[0019]作为优选的技术方案，组态实施工具采用云原生架构设计，组态实施工具将数字孪生体组件上传到云端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，包括下述步骤：边缘端获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，在控制器层部署gRPC协议的服务响应端；在雾端构建机器人的数字孪生体组件，采用基于XML框架的Collada格式文件构建机器人的数字孪生体组件，数字孪生体组件的存储能力由OSS提供，通过XML元素定义方式存储数字孪生体组件的结构数据，通过标识符的方式描述各个库数据间的引用关系以及与其他数字孪生体组件的组合层次关系；在雾端搭建数字孪生体组件的组态实施工具，当云端的云机器人对数字孪生体组件进行更新时，组态实施工具对组件的修改、删除操作进行验证，并记录该服务请求事件，验证通过后对组件的数字映射的信息模型进行更新；云端部署云机器人的智能调度和控制方法，向雾端的数字孪生体组件的组态实施工具发送获取组件的数字映射的信息模型请求，通过云端发送的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址，云端将Collada文件的加载类导入到需要应用到云端部署的智能调度和控制方法当中，利用该类的load方法索引到数字孪生体组件的下载地址，下载数字孪生体组件的信息模型并导入到云端环境，通过该类下的load方法遍历该数字孪生体组件下的所有标签数据，对满足网格模型数据判断的子类标签利用渲染器方法进行渲染；在云端构建云机器人的特征数据库模块及本体知识库，云端和边缘端之间以gRPC协议交互，云端与雾端之间交互通过jQuery的AJAX方法；基于云端后台服务器与云机器人的特征数据库模块以及本体知识库的数据感知与交互、云端与边缘端机器人控制器节点的数据感知与交互作为驱动通信基础，以网络时变或者不同计算负载机制作为机制响应决策，构建云机器人的自适应动态网络驱动机制，通过机器学习方法对云机器人的特征数据库模块以及本体知识库不断更新，对网络时变产生的同步误差不断迭代演变，实现云机器人的实时监测与控制。2.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，数字孪生体组件的结构数据包括：视觉场景库、几何结构库、模型功能库、模型材料库、运动学模型、运动学系统库、运动学场景、物理场景和物理模型；几何模型库中的网格数据复制由三维建模软件生成的网格数据。3.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，数字孪生体组件将机器人的信息模型划分为带有可配置冗余级别的数据和校验块，云端在读取对象时，将元素定义方式存储的数据重建出完整对象。4.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，组态实施工具采用云原生架构设计，组态实施工具将数字孪生体组件上传到云端服务器上的数字孪生体组件仓库。5.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，云端云机器人调用数字孪生体组件时，通过API接口向组态实施工具发送获取组件的数字映射的信息模型请求，并发送所需获取的机器人设备IP端口，组态实施工具验证机
器人设备IP端口，返回相应数字孪生体组件的下载地址，通过Collada文件的加载类的load方法自...

【专利技术属性】
技术研发人员：张春华，康鹏飞，李迪，王世勇，程铭浩，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：