一种基于NATS的云边场景的文件同步系统技术方案

本发明专利技术公开了一种基于NATS的云边场景的文件同步系统，属于数据传输技术领域，本发明专利技术要解决的技术问题为如何在保证数据传输功能、安全的前提下，足够的灵活与通用的实现云边场景的文件同步，采用的技术方案为：该系统包括管理调度引擎、传输交换引擎及代理执行引擎；其中，管理调度引擎作为管理的底座，用于提供对运行节点与任务的跟踪与监控能力，并提供统一的纳管与监控出口；传输交换引擎作为通信的基础，为多副本、高可用服务，用于提供组件间的信息通信及数据交换，同时还提供任务关联元信息任务转态的存储能力；代理执行引擎用于通过中心交换引擎接收管理调度引擎下发的数据传输任务，并执行数据传输任务。并执行数据传输任务。并执行数据传输任务。

【技术实现步骤摘要】
一种基于NATS的云边场景的文件同步系统


[0001]本专利技术涉及数据传输
，具体地说是一种基于NATS的云边场景的文件同步系统。

技术介绍

[0002]NATS是一种面向现代分布式系统的一种连接技术，提供了消息驱动的分布式系统中常见的寻址、发现、交换信息等模型，同时NATS也保持了其灵活性和简洁性，它几乎可以部署到现在常见的任意工作环境，大到常见的云平台编排系统(基于容器或者虚拟化)，小到边缘设备端。NATS本身不依赖任何其他组件，相较于其他的消息队列产品更加适用于资源受限场景，比如物联网、边缘端，兼顾安全的同时，NATS高效、敏捷、弹性部署的能力，为现代企业系统提供了一种良好的消息传输系统的解决方案，成为现代企业系统中的通信基石。
[0003]随着网络、业务场景的越发复杂，大到云中心系统，小到各种边缘端设备，应用部署场景的多样性、业务逻辑的复杂性，对文件数据交换提出了很大的挑战。故如何在保证功能、安全的前提下，提供足够的灵活性与通用性是业务中亟待解决的问题。现有的数据传输方案普遍存在无法横向扩展、统一管理的缺陷，同时对多租户支持有限。

技术实现思路

[0004]本专利技术的技术任务是提供一种基于NATS的云边场景的文件同步系统，来解决如何在保证数据传输功能、安全的前提下，足够的灵活与通用的实现云边场景的文件同步的问题。
[0005]本专利技术的技术任务是按以下方式实现的，一种基于NATS的云边场景的文件同步系统，该系统包括管理调度引擎、传输交换引擎及代理执行引擎；
[0006]其中，管理调度引擎作为管理的底座，用于提供对运行节点与任务的跟踪与监控能力，并提供统一的纳管与监控出口；
[0007]传输交换引擎作为通信的基础，为多副本、高可用服务，用于提供组件间的信息通信及数据交换，同时还提供任务关联元信息任务转态的存储能力；
[0008]代理执行引擎用于通过中心交换引擎接收管理调度引擎下发的数据传输任务，并执行数据传输任务。
[0009]作为优选，所述传输交换引擎包括中心传输交换引擎和本地传输交换引擎；
[0010]其中，中心传输交换引擎用于提供调度管理引擎对代理执行引擎节点间的控制与监控能力，并提供跨网络域间数据的通道能力；中心传输交换引擎具体功能如下：
[0011]①
、跨局域网跨网络的数据交换工作，打通不同网络间的隔离性；
[0012]②
、提供调度管理引擎对代理执行引擎的监控及调度；
[0013]③
、所有的任务信息、控制信息、监控信息均通过中心交换传输引擎进行分发传递；
[0014]本地传输交换引擎用于进行所有代理执行引擎实例内代理执行引擎节点任务的数据交换，提升了局部数据交换的性能，同时提升了安全性和可控性。
[0015]作为优选，所述代理执行引擎和传输交换引擎作为无状态服务，用于提供灵活的横向扩展能力；管理调度引擎通过内建逻辑对所有注册的代理执行引擎进行管理并对内部任务进行监控与调度。
[0016]作为优选，该系统利用NATS提供的多租户能力，使得一个租户拥有多个代理执行引擎实例，一个代理执行引擎实例包括若干代理执行引擎节点；
[0017]对同一租户的不同代理执行引擎实例，不同代理执行引擎实例下的不同代理执行引擎节点定义唯一的可定位的id。
[0018]更优地，一个数据传输任务包括INPUT、EXCHANGE及OUTPUT三个基本元素，INPUT和OUTPUT不同的定义与实现会影响代理执行引擎调用的最终Driver(Plugin)的类型；Exchange会影响数据的交换流转方式；
[0019]对于一个数据传输任务的INPUT/OUTPUT任务，INPUT/OUTPUT任务包含的源端和/或目的端均显示指定选择器selector显示的锚定任务的执行代理执行引擎节点；
[0020]选择器selector用于将任务与代理绑定；
[0021]选择器Selector属性非必须；
[0022]对于未显示提供选择器selector的任务来说，管理调度引擎根据租户选择代理执行引擎节点的资源负载情况结合任务类型自动对任务进行调度。
[0023]更优地，根据INPUT、EXCHANGE及OUTPUT三个基本元素运行场景的不同分别展现三类任务，具体如下：
[0024]①
、同实例同节点的数据传输任务：不涉及代理执行引擎节点间的数据交换，使用内部通信方式进行数据交换；
[0025]②
、同实例间不同节点间的数据传输任务：通常出现在同一个网络环境下，不同代理执行引擎节点间的通信，使用代理执行引擎自带的本地传输引擎进行数据交换，减少对中心网络的负载压力，同时简化交互逻辑与网络复杂性；
[0026]③
、不同实例的不同节点间的传输任务：涉及跨网络的跨节点通信，借助中心交换传输引擎提供的数据传输通道进行传输，提供数据桥梁，打通网络壁垒。
[0027]更优地，所述代理执行引擎是所有任务执行的最终模块，任何一个数据传输任务均看作是逻辑、数据的组合与抽象，数据划分为不变的恒定信息以及根据内部运行逻辑迁移的可变状态；其中，恒定信息称为元信息，迁移为状态机信息；
[0028]代理执行引擎作为无状态服务接收管理调度引擎下发的数据传输任务指令，并执行相关命令，数据传输任务指令除了必要基本的定位信息外，所有必要的任务关联元信息以及运行状态信息均使用中心传输交换引擎提供的KV存储进行管理。
[0029]更优地，数据传输任务构建过程具体如下：
[0030](1)、用户通过调度管理引擎发起任务构建请求；
[0031](2)、任务管理引擎判断租户是否存在可用代理执行引擎：
[0032]①
、若不存在可用代理执行引擎，则请求失败；
[0033]②
、若存在可用代理执行引擎，则执行步骤(3)；
[0034](3)、判断数据传输任务是否为代理执行引擎节点绑定任务，即数据传输任务的
INPUT及OUTPUT是否需要特定代理节点运行：
[0035]①
、若代理执行引擎节点不满足请求条件，则请求失败；
[0036]②
、若代理执行引擎节点满足请求调节，则执行步骤(4)；
[0037](4)、在中心交换引擎的KV侧构建数据传输任务关联元信息并初始化数据传输任务状态机信息；
[0038](5)、调度管理引擎向相关的代理执行引擎发送数据传输任务构建指令；
[0039](6)、代理执行引擎接收响应指令后，根据数据传输任务的细节调用不同的driver(plugin)；其中，代理执行引擎所需的任务执行信息通过任务跟踪id从中心传输交换引擎的kv层获取，相关任务状态通过kv层统一更新存储。
[0040]更优地，任务状态的约束具体如下：
[0041]①
、所有任务存在且仅存在约束下的设定状态；
[0042]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NATS的云边场景的文件同步系统，其特征在于，该系统包括管理调度引擎、传输交换引擎及代理执行引擎；其中，管理调度引擎作为管理的底座，用于提供对运行节点与任务的跟踪与监控能力，并提供统一的纳管与监控出口；传输交换引擎作为通信的基础，为多副本、高可用服务，用于提供组件间的信息通信及数据交换，同时还提供任务关联元信息任务转态的存储能力；代理执行引擎用于通过中心交换引擎接收管理调度引擎下发的数据传输任务，并执行数据传输任务。2.根据权利要求1所述的基于NATS的云边场景的文件同步系统，其特征在于，所述传输交换引擎包括中心传输交换引擎和本地传输交换引擎；其中，中心传输交换引擎用于提供调度管理引擎对代理执行引擎节点间的控制与监控能力，并提供跨网络域间数据的通道能力；中心传输交换引擎具体功能如下：
①
、跨局域网跨网络的数据交换工作，打通不同网络间的隔离性；
②
、提供调度管理引擎对代理执行引擎的监控及调度；
③
、所有的任务信息、控制信息、监控信息均通过中心交换传输引擎进行分发传递；本地传输交换引擎用于进行所有代理执行引擎实例内代理执行引擎节点任务的数据交换。3.根据权利要求1所述的基于NATS的云边场景的文件同步系统，其特征在于，所述代理执行引擎和传输交换引擎作为无状态服务，用于提供灵活的横向扩展能力；管理调度引擎通过内建逻辑对所有注册的代理执行引擎进行管理并对内部任务进行监控与调度。4.根据权利要求1所述的基于NATS的云边场景的文件同步系统，其特征在于，该系统利用NATS提供的多租户能力，使得一个租户拥有多个代理执行引擎实例，一个代理执行引擎实例包括若干代理执行引擎节点；对同一租户的不同代理执行引擎实例，不同代理执行引擎实例下的不同代理执行引擎节点定义唯一的可定位的id。5.根据权利要求1
‑
4中任一项所述的基于NATS的云边场景的文件同步系统，其特征在于，一个数据传输任务包括INPUT、EXCHANGE及OUTPUT三个基本元素，INPUT和OUTPUT不同的定义与实现会影响代理执行引擎调用的最终Driver的类型；Exchange会影响数据的交换流转方式；对于一个数据传输任务的INPUT/OUTPUT任务，INPUT/OUTPUT任务包含的源端和/或目的端均显示指定选择器selector显示的锚定任务的执行代理执行引擎节点；选择器selector用于将任务与代理绑定；选择器Selector属性非必须；对于未显示提供选择器selector的任务来说，管理调度引擎根据租户选择代理执行引擎节点的资源负载情况结合任务类型自动对任务进行调度。6.根据权利要求5所述的基于NATS的云边场景的文件同步系统，其特征在于，根据INPUT、EXCHANGE及OUTPUT三个基本元素运行场景的不同分别展现三类任务，具体如下：
①
、同实例同节点的数据传输任务：不涉及代理执行引擎节点...

【专利技术属性】
技术研发人员：张明，尹萍，唐晓东，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：