【技术实现步骤摘要】
本申请涉及分布式，尤其是涉及一种分布式系统的数据调度方法及装置。
技术介绍
1、在分布式系统中，需要保证各个计算节点的负载均衡，才能最大化分布式系统的处理效能。为了实现负载均衡，现有的分布式系统的中间件充当任务存储的持久化队列，由计算节点在完成前一个任务之后，立即再次主动从任务队列拉取任务来实现各个节点的负载均衡和资源利用最大化，降低算法服务的空置时间。
2、然而，这种由节点主动拉取任务的模式在复杂请求场景下，对任务管理和中间件性能提出了更多的挑战：比如在任务高峰时段，各个节点相互竞争任务，出现资源竞争和全局资源失调问题，而在任务低谷期，各个节点在拉取空任务队列上浪费大量资源，造成大量的通信资源浪费，还会导致负载倾斜、资源利用率大幅度波动、分布节点管理脱节的问题，同时增加了中间件的运行压力，中间件的容灾和运维也需要额外的复杂配置。
技术实现思路
1、有鉴于此，本申请的目的在于提供一种分布式系统的数据调度方法及装置，以解决现有技术中由节点主动拉取任务导致的任务管理以及资源利用不合...
【技术保护点】
1.一种分布式系统的数据调度方法，其特征在于，所述分布式系统包括中间件和至少两个计算节点；所述中间件中配置有至少两个标识，所述标识与所述计算节点之间存在唯一映射关系，标识中包括状态参数，所述状态参数用于表征对应计算节点的状态信息；所述数据调度方法包括：
2.根据权利要求1所述的数据调度方法，其特征在于，所述分布式系统包括多层级构筑的调度结构，所述调度结构最下层包括至少一个计算结构，所述至少两个计算节点被配置于至少一个计算结构中；所述中间件中的标识为多层级结构，所述调度结构的层级与标识的层级存在唯一映射关系。
3.根据权利要求2所述的数据调度方法...
【技术特征摘要】
1.一种分布式系统的数据调度方法，其特征在于，所述分布式系统包括中间件和至少两个计算节点；所述中间件中配置有至少两个标识，所述标识与所述计算节点之间存在唯一映射关系，标识中包括状态参数，所述状态参数用于表征对应计算节点的状态信息；所述数据调度方法包括：
2.根据权利要求1所述的数据调度方法，其特征在于，所述分布式系统包括多层级构筑的调度结构，所述调度结构最下层包括至少一个计算结构，所述至少两个计算节点被配置于至少一个计算结构中；所述中间件中的标识为多层级结构，所述调度结构的层级与标识的层级存在唯一映射关系。
3.根据权利要求2所述的数据调度方法，其特征在于，所述调度结构和所述标识的多层级结构为树形结构；状态参数包括以下各项中的至少一项：对应计算结构中已被任务占用的计算节点数量、未被任务占用的计算节点数量、已被任务占用的计算节点比例、未被任务占用的计算节点比例以及计算节点的计算性能。
4.根据权利要求2所述的数据调度方法，其特征在于，根据所述状态信息确定用于执行至少一个待处理...
【专利技术属性】
技术研发人员：金泽宇，孙殿竣，保岭烨，
申请(专利权)人：上海稀宇科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。