System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种流量调度方法、服务器集群及存储介质技术_技高网

一种流量调度方法、服务器集群及存储介质技术

技术编号:40050426 阅读:7 留言:0更新日期:2024-01-16 21:07
本申请实施例提供了一种流量调度方法、服务器集群及存储介质,能够实时统计各服务节点的流量,并根据收集到的流量数据进行流量趋势预测,进而为数据平面动态分配流量调度策略,缓解流量负载不均衡的问题,提升网络利用率。其中,流量调度方法包括:控制平面向数据平面发送第一统计命令;数据平面根据第一统计命令,统计并向控制平面发送流量数据集;控制平面从流量数据集中提取目标流量特征值;控制平面根据目标流量特征值以及所缓存的历史流量特征值进行流量趋势预测,输出目标流量预测值;控制平面调取并发送目标流量预测值所在的目标流量数值区间对应的第一流量调度策略;数据平面切换至第一流量调度策略。

【技术实现步骤摘要】

【】本申请实施例涉及通信,尤其涉及一种流量调度方法、服务器集群及存储介质


技术介绍

0、
技术介绍

1、目前的流量调度技术中,业务系统、浏览器及移动应用通常采用负载均衡器来实现网络流量分发的均衡。这种方法通过静态的负载均衡算法分析网络流量的转发请求,从而将流量分发至后端的业务服务器,确保数据转发的高效性。

2、然而,在处理网络流量的转发请求时,由于静态的负载均衡算法无法准确预测后端业务服务器的负载状态和处理能力,往往会导致流量分发不够均衡的问题。尤其是当瞬时请求流量出现波峰的情况下,很容易因为负载均衡器执行分发的精确度不够,出现将部分网络流量误分发至负载较大的服务器中的情况,加重负载不均衡,降低网络利用率。


技术实现思路

0、
技术实现思路

1、本申请实施例提供了一种流量调度方法、服务器集群及存储介质,能够实时统计每个服务节点的流量,并根据收集到的流量数据进行流量趋势预测,进而为整个数据平面动态分配合适的流量调度策略,从而缓解流量负载不均衡的问题,提升网络利用率。

2、第一方面,本申请实施例公开了一种流量调度方法,应用于服务器集群,所述服务器集群的操作系统中包括控制平面、数据平面,所述控制平面与所述数据平面连接,所述方法包括:

3、所述控制平面向所述数据平面发送第一统计命令;

4、所述数据平面根据所述第一统计命令,统计并向所述控制平面发送所述数据平面的流量数据集与对应的第一统计时刻;

5、所述控制平面从接收到的所述流量数据集中提取目标流量特征值;

6、所述控制平面根据所述目标流量特征值与对应的所述第一统计时刻,以及所缓存的至少一个历史流量特征值与对应的第二统计时刻进行流量趋势预测,输出与预测时刻对应的目标流量预测值,所述第二统计时刻在所述第一统计时刻之前,所述预测时刻在所述第一统计时刻之后;

7、所述控制平面基于流量数值区间与流量调度策略的映射关系,调取所述目标流量预测值所在的目标流量数值区间对应的第一流量调度策略,并将所述第一流量调度策略发送至所述数据平面;

8、所述数据平面将正在使用的第二流量调度策略切换至所述第一流量调度策略。

9、本申请实施例中,通过控制平面接收数据平面的流量数据集,并提取出流量数据集中的目标流量特征值,与历史流量特征值一起进行流量趋势预测,输出目标流量预测值,进而,基于目标流量预测值所在区间查找到对应的流量调度策略,并将其发送至数据平面进行部署,从而为整个数据平面动态分配合适的流量调度策略,缓解流量负载不均衡的问题,提升网络利用率。

10、可选的,所述控制平面至少包括控制器、接口管理器,所述数据平面至少包括多个服务节点,所述接口管理器中预设有所述数据平面中每个所述服务节点的节点标识码,所述控制平面向所述数据平面发送第一统计命令包括:

11、所述控制器向所述接口管理器发送流量监控命令;

12、所述接口管理器响应于所述流量监控命令,分别生成针对所述数据平面中每个服务节点的第二统计命令,所述第二统计命令包括每个所述服务节点对应的节点标识码和数据统计项目;

13、所述接口管理器将全部所述第二统计命令整合为所述第一统计命令,并向所述数据平面发送所述第一统计命令。

14、本申请实施例中,通过控制器触发流量数据的统计动作,使接口管理器分别针对每个服务节点生成包含节点标识码和数据统计项目的第二统计命令,并在整合为第一统计命令后发送至数据平面,从而在控制平面中实现对每个服务节点自动化的流量数据统计,极大提升了流量数据收集的灵活性。

15、可选的,所述数据平面还包括代理进程,所述数据平面根据所述第一统计命令,统计并向所述控制平面发送所述数据平面的流量数据集与对应的第一统计时刻包括:

16、所述代理进程根据每个所述节点标识码,查找到每个所述第二统计命令对应的所述服务节点;

17、所述代理进程根据每个所述节点标识码对应的所述数据统计项目,监听对应的所述服务节点中经过的前向数据流、反向数据流在所述第一统计时刻的数据特征,得到对应的流量数据;

18、所述代理进程将所述流量数据和对应的所述节点标识码生成为所述流量数据集,并向所述控制器发送所述流量数据集和对应的所述第一统计时刻。

19、本申请实施例中,通过数据平面中的代理进程,找到节点标识码对应的服务节点,并监听该服务节点中前向、反向数据流的数据特征以得到流量数据,最终将流量数据汇总为流量数据集并发送给控制器,从而让控制平面获知更加全面的流量数据,为实现全局流量调控、制定更精细化且更平衡的负载均衡策略提供数据基础。

20、可选的,所述控制平面还包括调度器、聚合器、第一数据库,所述第一数据库中缓存有至少一个历史流量特征值,以及与至少一个所述历史流量特征值对应的所述第二统计时刻,所述控制平面从接收到的所述流量数据集中提取目标流量特征值包括:

21、所述控制器将所述流量数据集与对应的所述第一统计时刻转发至所述聚合器;

22、所述聚合器提取所述流量数据集的所述目标流量特征值;

23、所述控制平面根据所述目标流量特征值与对应的所述第一统计时刻,以及所缓存的至少一个历史流量特征值与对应的第二统计时刻进行流量趋势预测,输出与预测时刻对应的目标流量预测值包括:

24、所述聚合器从所述第一数据库中查找出至少一个所述历史流量特征值,以及与至少一个所述历史流量特征值所对应的所述第二统计时刻;

25、所述聚合器根据所述第一统计时刻、至少一个所述第二统计时刻,将对应的所述目标流量特征值、所述历史流量特征值按照时间顺序依次排列,生成目标流量观测值;

26、所述聚合器将所述目标流量观测值转发至所述调度器;

27、所述调度器对所述目标流量观测值进行拟合,得到流量趋势函数,并根据所述流量趋势函数输出所述预测时刻的所述目标流量预测值。

28、本申请实施例中,通过调度器提取目标流量特征值,即对于预测流量变化趋势最具代表性的统计量,并对该目标流量特征值与历史流量特征值按照时间顺序排列、拟合为流量趋势函数,最终基于流量趋势函数计算出目标流量预测值,即在未来的预测时刻流量可能的变化趋势,从而通过对流量数据进行特征提取、趋势判断,提升为负载均衡器分配流量调度策略的准确性、适配性。

29、可选的,所述数据平面至少还包括负载均衡器、流量转发引擎与第二数据库,所述第二数据库中存有预设的多个请求处理脚本,每个所述请求处理脚本均用于处理一种对应的流量请求,所述数据平面将正在使用的第二流量调度策略切换至所述第一流量调度策略之后,所述方法还包括:

30、所述负载均衡器响应于接收到第一流量请求,根据流量请求与请求处理脚本之间的映射关系,从所述第二数据库中调取所述第一流量请求对应的至少一个第一请求处理脚本;

31、所述负载均衡器根据所述本文档来自技高网...

【技术保护点】

1.一种流量调度方法,其特征在于,应用于服务器集群,所述服务器集群的操作系统中包括控制平面、数据平面,所述控制平面与所述数据平面连接,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述控制平面至少包括控制器、接口管理器,所述数据平面至少包括多个服务节点,所述接口管理器中预设有所述数据平面中每个所述服务节点的节点标识码,所述控制平面向所述数据平面发送第一统计命令包括:

3.根据权利要求2所述的方法,其特征在于,所述数据平面还包括代理进程,所述数据平面根据所述第一统计命令,统计并向所述控制平面发送所述数据平面的流量数据集与对应的第一统计时刻包括:

4.根据权利要求3所述的方法,其特征在于,所述控制平面还包括调度器、聚合器、第一数据库,所述第一数据库中缓存有至少一个历史流量特征值,以及与至少一个所述历史流量特征值对应的所述第二统计时刻,所述控制平面从接收到的所述流量数据集中提取目标流量特征值包括:

5.根据权利要求4所述的方法,其特征在于,所述数据平面至少还包括负载均衡器、流量转发引擎与第二数据库,所述第二数据库中存有预设的多个请求处理脚本,每个所述请求处理脚本均用于处理一种对应的流量请求,所述数据平面将正在使用的第二流量调度策略切换至所述第一流量调度策略之后,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述控制平面至少还包括第三数据库,所述第三数据库中至少存有预设的多个受信任证书签名和多个访问口令,每个所述受信任证书签名和访问口令均对应一个应用功能实例,所述方法还包括:

7.根据权利要求3所述的方法,其特征在于,所述流量数据至少包括所述服务节点在所述第一统计时刻的流量请求数、响应时间、流量吞吐量、错误率、丢包率、网络传输延时、负载率、网络链路带宽、用户行为数据、业务统计数据。

8.根据权利要求5所述的方法,其特征在于,所述请求处理脚本至少用于处理加密与解密请求、数据缓存、安全证书认证、流量转发与重定向、内容生成,以及进行报文信息的添加、修改与删除。

9.一种服务器集群,其特征在于,所述服务器集群包括;

10.一种服务器集群,其特征在于,所述服务器集群包括至少一个处理器以及与所述至少一个处理器连接的存储器,所述至少一个处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1-8中任一项所述方法的步骤。

11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。

...

【技术特征摘要】

1.一种流量调度方法,其特征在于,应用于服务器集群,所述服务器集群的操作系统中包括控制平面、数据平面,所述控制平面与所述数据平面连接,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述控制平面至少包括控制器、接口管理器,所述数据平面至少包括多个服务节点,所述接口管理器中预设有所述数据平面中每个所述服务节点的节点标识码,所述控制平面向所述数据平面发送第一统计命令包括:

3.根据权利要求2所述的方法,其特征在于,所述数据平面还包括代理进程,所述数据平面根据所述第一统计命令,统计并向所述控制平面发送所述数据平面的流量数据集与对应的第一统计时刻包括:

4.根据权利要求3所述的方法,其特征在于,所述控制平面还包括调度器、聚合器、第一数据库,所述第一数据库中缓存有至少一个历史流量特征值,以及与至少一个所述历史流量特征值对应的所述第二统计时刻,所述控制平面从接收到的所述流量数据集中提取目标流量特征值包括:

5.根据权利要求4所述的方法,其特征在于,所述数据平面至少还包括负载均衡器、流量转发引擎与第二数据库,所述第二数据库中存有预设的多个请求处理脚本,每个所述请求处理脚本均用于处理一种对应的流量请求,所述数据平面将正在使用的第二流量调度策略切换至所...

【专利技术属性】
技术研发人员:李贝贝阎志远戴琳琳单杏花王洪业李雯张智吕占民杨立鹏李杨谭雪卢元惠尹伊伊苗凡董兴芝王智为宋春晓景辉衣帅樊春美丁顺英
申请(专利权)人:铁旅科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1