System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及协同计算,具体是一种分布式对等多容器集群系统。
技术介绍
1、近年来,云计算技术由固定端中心云体系逐步向中心云、机动边缘云协同融合体系发展,云边协同体系充分利用边缘云的算力与灵活机动性,缓解中心云海量数据处理压力的同时,提升边缘的端应用响应速度。航天领域中云边协同体系已经成为了应对高实时性和高计算需求的关键技术。边缘云在这一体系中扮演着至关重要的角色,主要通过提供接近数据源的计算能力,缓解中心云在处理海量数据时的压力,同时提高任务响应速度。航天任务,特别是对实时数据处理和低延迟要求极高的任务,已经逐步向这种云边协同架构转型。在这种架构下,边缘计算节点能够自主进行数据分析和初步处理,仅将需要更高计算能力的任务上传至中心云进行处理,避免了数据传输的瓶颈,提升了任务的实时性和系统的稳定性。
2、由于航天任务的特殊性,节点往往位于网络环境不稳定或受限的场景中,传统的中心化架构在遇到节点故障或断连时,缺乏足够的容错机制和自恢复能力,导致系统可能出现任务中断或资源调度失效的情况。现有的节点多依赖中心云进行调度,这使得在节点发生故障时,系统的整体稳定性和任务连续性难以保证,尤其是在高实时性和高可靠性要求下。此外,航天云计算的多集群架构下,跨节点的任务调度和资源共享也面临困难,节点无法充分自主处理任务,导致系统对网络和云端的过度依赖,进而影响了系统的抗毁能力。当出现节点损毁或系统故障时,任务的迁移和资源重调度的效率较低,系统难以在故障发生后迅速恢复,影响整体运行效率和任务处理的稳定性。因此,提升节点的自治能力、加强任务
技术实现思路
1、本专利技术提供了一种分布式对等多容器集群系统,以解决上述
技术介绍
中提出的问题。
2、为实现上述目的,本专利技术提供如下技术方案:
3、一种分布式对等多容器集群系统,包括:
4、基础资源层,由多个节点的基础硬件资源构成,基础硬件资源包括计算服务器、存储服务器、网络设备、安全设备、智能加速硬件;
5、操作系统层,由多个节点对应的机动边构成,为容器应用负载提供资源和服务运行支撑;
6、云管层,由多个容器云管平台构成,按照高可用部署架构分布运行在各节点之上,实现集群资源和应用的统一协同调度;
7、数据同步模块,采用分布式一致性协议保证各个容器云管平台间的元数据的一致性;
8、应用调度模块,接收应用部署请求,将目标应用以及分发策略下发至对应的目标节点或节点集群,完成目标应用的调度。
9、优选地,所述数据同步模块的数据同步过程包括如下步骤:
10、s1、数据变更触发:当某个云管平台的元数据发生变更时,由leader节点记录操作日志并将变更广播到所有follower节点;
11、s2、数据复制:follower节点会验证并写入本地日志并向leader节点确认,leader节点收到多数节点的确认后,提交变更并通知其他节点完成更新;
12、s3、冲突解决:对于可能存在的写冲突,可以采用版本号管理或最后写入优先策略解决冲突;
13、s4、故障恢复:若某节点因故障未及时同步,待恢复后通过读取最新的变更日志完成数据变更。
14、优选地,所述leader节点由所有节点选举产生,若当前的leader节点出现故障,将通过重新选举选出新的leader并恢复数据同步。
15、优选地,数据同步模块对元数据进行分片存储:
16、按资源类型或地理位置划分为多个分片,每个分片由特定的节点组负责管理,避免单一节点承载过多数据;
17、资源类型包括计算资源、存储资源、网络资源,地理位置包括不同的区域或数据中心。
18、优选地,数据同步模块采用动态负载均衡策略对元数据进行分配,动态负载均衡策略包括:
19、通过动态分片调整结合一致性哈希算法,将负载较高的分片重新分配到其他节点;
20、通过监控节点负载情况,动态调整虚拟节点数量或迁移热点数据;
21、通过请求路由优化技术,将数据请求定向到对应分片,减少跨分片通信的开销。
22、优选地,所述一致性哈希算法包括:
23、将整个哈希空间抽象为一个环状结构,通过哈希函数将每个物理节点及其多个虚拟节点均匀映射到环状结构上;
24、元数据的唯一标识经过哈希函数计算后,分配到环状结构上第一个大于等于其哈希值的虚拟节点对应的物理节点;
25、当节点加入或移除时,只需调整少量虚拟节点及其对应的数据分片,确保数据迁移成本最低。
26、优选地,所述应用调度模块包括多个联邦组件,所述多个联邦组件包括请求组件api-server、执行组件controller-manager以及调度组件scheduler;
27、所述应用调度模块的调度过程包括如下步骤:
28、s1、资源注册与发现:每个节点或节点集群向请求组件api-server上报并注册自身的资源信息,资源信息会被存储至数据库中,数据库中详细记录资源和节点或集群的对应关系;
29、s2、资源绑定与调度:使用模板创建资源对象和分发策略,执行组件controller-manager将资源对象与分发策略绑定,生成绑定关系,绑定关系包换资源信息和对应节点或节点集群信息,所有绑定关系存储至数据库中;
30、s3、调度组件scheduler根据分发策略和对应节点或节点集群资源可用状态,计算资源的最佳分发方案并下发调度命令;
31、s4、对应节点或节点集群收到调度命令,将会独立执行资源部署操作,同时将状态同步回执行组件controller-manager,并存储至数据库中。
32、优选地,步骤s3具体包括:
33、s31、接收分发策略,将对应的绑定关系加入工作队列,每秒从队列中取出一个绑定关系进行处理,循环处理工作队列,直到工作队列处理结束;
34、s32、根据绑定关系中的注解中分发策略的名称,获取分发策略的分布规则;
35、s33、比对新旧分布规则,判断是否需要进行调度并计算出节点或节点集群分配副本数量;
36、s34、通过过滤插件判断节点或节点集群是否匹配条件,得到匹配节点或匹配集群;通过评分插件计算匹配节点或匹配集群的得分,得到匹配节点或匹配集群的优先级;
37、s35、根据拓扑分布约束规则,得到最终的下发成员集群;
38、s36、采用复制和/或切分的副本调度策略,向下发成员集群发配副本;
39、s37、更新绑定关系中的集群字段,设置为计算出的下发成员集群分配副本数量结果。
40、优选地,所述过滤插件通过节点过滤接口,将不满足分发策略的节点或节点集群过滤掉;
41、所本文档来自技高网...
【技术保护点】
1.一种分布式对等多容器集群系统,其特征在于,包括:
2.根据权利要求1所述的分布式对等多容器集群系统,其特征在于,所述数据同步模块的数据同步过程包括如下步骤:
3.根据权利要求2所述的分布式对等多容器集群系统,其特征在于,所述Leader节点由所有节点选举产生,若当前的Leader节点出现故障,将通过重新选举选出新的Leader并恢复数据同步。
4.根据权利要求3所述的分布式对等多容器集群系统,其特征在于,数据同步模块对元数据进行分片存储:
5.根据权利要求4所述的分布式对等多容器集群系统,其特征在于,数据同步模块采用动态负载均衡策略对元数据进行分配,动态负载均衡策略包括:
6.根据权利要求5所述的分布式对等多容器集群系统,其特征在于,所述一致性哈希算法包括:
7.根据权利要求1所述的分布式对等多容器集群系统,其特征在于,所述应用调度模块包括多个联邦组件,所述多个联邦组件包括请求组件API-Server、执行组件Controller-Manager以及调度组件Scheduler;
8.根据权利要
9.根据权利要求8所述的分布式对等多容器集群系统,其特征在于,所述过滤插件通过节点过滤接口,将不满足分发策略的节点或节点集群过滤掉;
10.根据权利要求8所述的分布式对等多容器集群系统,其特征在于,所述复制的副本调度策略包括每个下发成员集群部署与模板相同的资源副本数量;
...【技术特征摘要】
1.一种分布式对等多容器集群系统,其特征在于,包括:
2.根据权利要求1所述的分布式对等多容器集群系统,其特征在于,所述数据同步模块的数据同步过程包括如下步骤:
3.根据权利要求2所述的分布式对等多容器集群系统,其特征在于,所述leader节点由所有节点选举产生,若当前的leader节点出现故障,将通过重新选举选出新的leader并恢复数据同步。
4.根据权利要求3所述的分布式对等多容器集群系统,其特征在于,数据同步模块对元数据进行分片存储:
5.根据权利要求4所述的分布式对等多容器集群系统,其特征在于,数据同步模块采用动态负载均衡策略对元数据进行分配,动态负载均衡策略包括:
6.根据权利要求5所述的分布式对等...
【专利技术属性】
技术研发人员:范斐,刘岩,陈杨,袁泉,王黎明,唐沛蓉,沈玥,
申请(专利权)人:中国人民解放军六三九二一部队,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。