System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种分布式文件同步方法的模型技术_技高网

一种分布式文件同步方法的模型技术

技术编号:39953860 阅读:3 留言:0更新日期:2024-01-08 23:30
本发明专利技术涉及数据传输技术领域,具体为一种分布式文件同步方法的模型,模型包括由中心侧Scheduler调度引擎、Exchange交换引擎、Agent代理引擎以及Executor执行单元;Scheduler,负责控制以及元信息管理;Exchange,负责通信;Agent,负责接收指令;Executor,负责执行;有益效果为:本发明专利技术提出的分布式文件同步方法的模型,通过将系统定义为Scheduler调度引擎,Agent代理引擎,Executor执行单元,Exchange交换引擎,并在其之上定义了一系列的约束模型(可选必选属性,任务语义模型)用于任务的描述、调度逻辑,从而实现了一种可伸缩、高可用、可扩展的分布式文件同步的方案。

【技术实现步骤摘要】

本专利技术涉及数据传输,具体为一种分布式文件同步方法的模型


技术介绍

1、随着网络、业务场景的越发复杂,大到云中心系统,小到各种边缘端设备,应用部署场景的多样性、业务逻辑的复杂性,对文件数据交换提出了很大的挑战。

2、现有技术中,现有的文件同步方案基本都是点对点,端对端的模式,当任务中任何端点出现问题时,便会导致整个同步任务无法有效进行,和多数单点应用一样,由于缺少统一的管理者,状态信息本地化、零星化的问题,会随着同步任务增多,负载压力增大,加速暴漏单点应用无法横向扩展的缺点。于此同时大而全的单体应用模型,对于部分存储资源、运行资源有限的环境,很难根据功能需求对应用进行裁剪,造成了一定程度的资源浪费的同时,也大大限制了使用场景。


技术实现思路

1、本专利技术的目的在于提供一种分布式文件同步方法的模型,以解决上述
技术介绍
中提出的问题。

2、为实现上述目的,本专利技术提供如下技术方案:一种分布式文件同步方法的模型,所述模型包括由中心侧scheduler调度引擎、exchange交换引擎、agent代理引擎以及executor执行单元;

3、scheduler,负责控制以及元信息管理;

4、exchange,负责通信;

5、agent,负责接收指令;

6、executor,负责执行。

7、优选的,scheduler负责接收响应用户请求,响应用户请求包括任务的管理请求、监控请求、管理系统元信息、状态元信息,数据元信息、监控系统状态,并根据定义的逻辑约束。

8、优选的,scheduler通过exchange交换系统与后端agent进行通信,agent根据相关指令调用对应的executor,执行相关动作。

9、优选的,agent包括:capabilities、labels以及proxyid三大基本属性;

10、capabilities代表当前agent的能力集合,即agent所支持的executor类型集,每个capability对应一个特定的executor,capabilities与executor的模式,为裁剪单个agent的功能提供了可能,为任务在整个系统内的分发调度提供了最基本的指标依据;

11、labels为一组自定义key-value键值对组合,它是可选的非必须的,为用户自定义定制agent提供了灵活的能力,配合任务相关属性,增强了任务调度、分发的能力;

12、proxyid是每个租户特定实例下任务的唯一标识,在同一个租户实例内,不允许重复,提供了任务到instance内agent任务的精准分发能力,proxyid由scheduler统一分配,伴随整个生命周期进行管理。

13、优选的,executor执行的最基本单元是子任务,子任务由agent代理响应并调用对应的executor执行。

14、优选的,exchange语义定义输入任务与输出任务数据交换的相关配置属性,exchange不对实现方式进行约束,数据通道既是常见的消息中间件,也是tcp构建的私有协议,亦或者是进程间、进程内通信。

15、与现有技术相比,本专利技术的有益效果是:

16、本专利技术提出的分布式文件同步方法的模型,通过将系统定义为scheduler调度引擎,agent代理引擎,executor执行单元,exchange交换引擎,并在其之上定义了一系列的约束模型(可选必选属性,任务语义模型)用于任务的描述、调度逻辑,从而实现了一种可伸缩、高可用、可扩展的分布式文件同步的方案。

本文档来自技高网...

【技术保护点】

1.一种分布式文件同步方法的模型,其特征在于:所述模型包括由中心侧Scheduler调度引擎、Exchange交换引擎、Agent代理引擎以及Executor执行单元;

2.根据权利要求1所述的一种分布式文件同步方法的模型,其特征在于:Scheduler负责接收响应用户请求,响应用户请求包括任务的管理请求、监控请求、管理系统元信息、状态元信息,数据元信息、监控系统状态,并根据定义的逻辑约束。

3.根据权利要求1所述的一种分布式文件同步方法的模型,其特征在于:,Scheduler通过Exchange交换系统与后端Agent进行通信,Agent根据相关指令调用对应的Executor,执行相关动作。

4.根据权利要求1所述的一种分布式文件同步方法的模型,其特征在于:Agent包括:Capabilities、Labels以及ProxyID三大基本属性;

5.根据权利要求1所述的一种分布式文件同步方法的模型,其特征在于:Executor执行的最基本单元是子任务,子任务由Agent代理响应并调用对应的Executor执行。

6.根据权利要求1所述的一种分布式文件同步方法的模型,其特征在于:Exchange语义定义输入任务与输出任务数据交换的相关配置属性,Exchange不对实现方式进行约束,数据通道既是常见的消息中间件,也是TCP构建的私有协议,亦或者是进程间、进程内通信。

...

【技术特征摘要】

1.一种分布式文件同步方法的模型,其特征在于:所述模型包括由中心侧scheduler调度引擎、exchange交换引擎、agent代理引擎以及executor执行单元;

2.根据权利要求1所述的一种分布式文件同步方法的模型,其特征在于:scheduler负责接收响应用户请求,响应用户请求包括任务的管理请求、监控请求、管理系统元信息、状态元信息,数据元信息、监控系统状态,并根据定义的逻辑约束。

3.根据权利要求1所述的一种分布式文件同步方法的模型,其特征在于:,scheduler通过exchange交换系统与后端agent进行通信,agent根据相关指令调用对应的executor,执行相关动...

【专利技术属性】
技术研发人员:张明邓光超尹萍
申请(专利权)人:浪潮云信息技术股份公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1