【技术实现步骤摘要】
一种系统数据资源的动态调度方法、装置及电子设备
[0001]本申请涉及信息数据传输
，具体而言，涉及一种系统数据资源的动态调度方法、装置及电子设备。
技术介绍
[0002]终端应用的后台由于需要处理大量的数据信息，后台服务器本身往往需要多台机器相互组合搭配来提升后台的整体性能，以此满足终端应用用户的日常使用需要。但多台机器并存的同时也将带来诸如集群节点极多导致的节点异常频发、服务集群中各节点服务能力不均而导致数据处理效率低等一系列的问题。
[0003]目前，针对上述问题，现有的资源调度方法一般关注的是系统数据资源本身，即服务器集群中各个数据处理节点的网络带宽、处理资源CPU占用、内存等，并分别为这些指标参数设置阈值，将待分配的请求数据优先传输至指标参数未达到阈值的数据处理节点，以此缓解系统数据资源的使用压力，减少故障发生的概率。然而，在实际业务数据处理过程中，在链路状态波动、节点已经发生异常、调度频率变化等多方面的影响下，即使指标参数不发生变化，同一数据处理节点的实际数据处理能力也不相同，导致现有的根据预先设置...
【技术保护点】
【技术特征摘要】
1.一种系统数据资源的动态调度方法，其特征在于，所述方法包括：基于分布式调度框架构建服务集群，所述服务集群包括至少两个请求处理节点；在滑动窗口中统计第一预设时长内接收到的所有请求数据，基于各所述请求数据对应的各请求数据信息分别生成唯一调用字符串，并根据各所述唯一调用字符串将所有所述请求数据分成多个请求数据组，所述请求数据组中各所述请求数据的唯一调用字符串相同，所述请求数据信息包括协议信息、IP地址信息、端口信息；轮流在各所述请求数据组中逐个选取目标请求数据，并基于各所述目标请求数据的选取顺序构建请求数据顺序表后，基于随机数量按顺序分割所述请求数据顺序表，得到多个数据发送组，用以使所述数据发送组中任意相邻的两个所述目标请求数据对应的唯一调用字符串均不相同；为各所述请求处理节点依次分配各所述数据发送组，并接收各所述请求处理节点反馈的请求处理结果，基于各所述请求处理结果为各所述请求数据组拟合节点处理时长曲线，所述请求处理结果包括所述请求处理节点接收到被处理请求数据时的节点并发度、线程拥塞程度、所述被处理请求数据的线程处理时间；再次接收待分配请求数据时，确定所述待分配请求数据对应的所述请求数据组，并根据各所述节点处理时长曲线计算各所述请求处理节点的预估处理时长，将所述待分配请求数据分配至所述预估处理时长最短的所述请求处理节点。2.根据权利要求1所述的方法，其特征在于，所述基于各所述请求数据对应的各请求数据信息分别生成唯一调用字符串，包括：获取各所述请求数据对应的各请求数据信息，根据预设组合顺序组合所述请求数据信息中的各信息参数，得到唯一调用字符串。3.根据权利要求1所述的方法，其特征在于，所述轮流在各所述请求数据组中逐个选取目标请求数据，包括：根据各所述请求数据在所述第一预设时长内的预约时间先后，分别为每个所述请求数据组中的各目标请求数据设置优先级；轮流在各所述请求数据组中逐个选取当前优先级最高的所述目标请求数据。4.根据权利要求1所述的方法，其特征在于，所述基于各所述请求处理结果为各所述请求数据组拟合节点处理时长曲线，所述请求处理结果包括所述请求处理节点接收到被处理请求数据时的节点并发度、线程拥塞程度、所述被处理请求数据的线程处理时间，包括：基于所述请求数据组对各所述请求处理结果分类，得到各请求处理结果组，用以使所述请求处理结果组中各目标请求处理结果对应的请求数据组相同，所述请求处理结果包括所述请求处理节点接收到被处理请求数据时的节点并发度、线程拥塞程度、所述被处理请求数据的线程处理时间；分别对所述请求处理结果组中的各所述目标请求处理结果进行拟合，得到各节点处理时长曲线，所述节点处理时长曲线用以表征同一请求数据组中节点并发度、线程拥塞程度与线程处理时间的映射关系。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：当经过所述预估处理时长后未接收到所述待分配请求数据对应的所述请求处理结果时，中止所述待分配请求数据对应的线程。
6.根据权利要求1所述的方法，其特征在于，所述请求处理结果还包括错误信息、超时信息；所述方法还包括：根据同一所述请求处理节点反馈的各所述请求处理结果计算所述请求处理节点的错误率以及超时率；对所述错误率与超时率进行加权计算，根据加权计算...
【专利技术属性】
技术研发人员：徐新明，黄金凯，刘中原，施林坚，徐晟，
申请(专利权)人：杭州金线连科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。