【技术实现步骤摘要】
本专利技术属于数据中台服务网格，具体涉及一种适用于数据中台服务网格的自适应负载均衡方法。
技术介绍
1、经过十多年的信息化建设，国网公司的信息系统已广泛应用于企业经营、电网运行和客户服务等领域。这些系统在不同层级上的应用为公司的各项业务提供了有效支持。在数字化转型过程中，数据中台的建设为业务单元的业务与数据积累提供了基础，通过标准化数据格式、统一的数据接口和数据治理策略，实现了数据的共享、交换和流通。服务网格(service-mesh)作为微服务架构中各个服务连接和管理的基础设施层，通过在应用程序和服务之间添加一层抽象和控制层，提供了服务发现、负载均衡、流量管理、安全认证等功能，简化了服务之间的通信和协作，提高了系统的弹性、可观察性和可管理性。
2、服务网格通过标准化的方式实现服务之间的透明通信，无需显式编码和配置，包括集中式的控制平面，用于管理服务的路由、负载均衡、服务发现和故障恢复等。然而，现有的负载均衡方法难以适应服务网格中服务数量庞大且动态变化、通信模式复杂多样以及微服务自治性的需求。这主要体现在静态配置方面、多样性的通信模式以及微服务自治性与集中式负载均衡决策的矛盾，难以有效适应这种动态环境下的服务网格需求：1、静态配置方面：传统的负载均衡通常在部署阶段进行静态配置，难以应对服务的动态变化和快速扩展。同时，服务网格中的微服务需要频繁的创建、销毁和迁移，迫切需要更加动态的负载均衡策略；2、多样性的通信模式：服务网格中服务之间的通信模式多样，包括点对点、发布-订阅、请求-响应等。传统负载均衡方法往往基于传输层或
技术实现思路
1、本专利技术为了解决上述问题，本专利技术的目的是提供一种适用于数据中台服务网格的自适应负载均衡方法，通过学习和预测负载的变化模式，实时地适应服务网格中服务的动态变化和多样化的通信模式；根据负载情况自动调整负载均衡策略，从而适应和优化服务网格的需求。
2、本专利技术的目的通过以下技术方案实现：
3、一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于，包括以下六个步骤：
4、s1数据工程：收集与负载均衡相关的数据，包括但不限于服务的性能指标(如响应时间、吞吐量等)、负载信息(如请求量、并发连接数等)以及环境因素(如服务器资源利用率、网络拓扑等)。这些数据通常来自于实时监控系统或日志记录。具体如下：
5、服务实例的监控指标：服务网格中的服务实例的指标数据，包括但不限于响应时间、吞吐量、cpu使用率等。这些指标用于评估服务实例的负载情况和性能表现。
6、用户请求数据：服务网格中有关用户请求的信息，包括但不限于请求的路径、参数、请求的响应时间等。这些数据为关于用户行为和服务的负载信息。
7、网络流量数据：服务网格中服务之间的网络流量，包括但不限于流量的大小、速率和延迟指标、服务之间的丢包率、重传率、通信频率和通信模式。这些数据用于发现流量模式、理解服务的依赖关系和识别潜在的性能瓶颈。
8、外部环境因素数据：服务网格从外部监控系统、日志系统或性能度量工具等集成的数据，包括但不限于底层基础设施的负载(如服务器、数据库)和故障信息、网络层面的连接数、带宽利用率等指标。
9、s2特征工程：对收集到的原始数据进行处理和特征提取，以供机器学习算法使用。包括但不限于时间窗口分析、统计摘要等技术，以及偏差校正box-cox变换、数据归一化等预处理步骤。特征工程的目标是提取与负载趋势和性能相关的特征。
10、box-cox变换公式为：
11、
12、其中，y(λ)为经box-cox变换得到的新变量，y为原始连续因变量，λ为变换参数。
13、s3模型训练：通过使用机器学习算法，包括但不限于回归、决策树、神经网络、深度学习模型等，对历史数据进行训练，构建一个负载预测模型。训练过程中，使用一部分数据作为训练集，用于模型参数的学习和优化。
14、s4负载预测：使用训练好的模型对未来的负载进行预测。根据当前的负载信息和环境因素，输入到预测模型中，获得对未来负载的预测结果。由于电网数据涵盖企业经营、电网运行和客户服务等业务领域及各层级应用，预测服务网格的负载取决于业务需求，一般情况下，几分钟到几小时的提前时间是一个合理的范围。实际部署中，应根据反馈和性能评估来提前预测服务调用响应时间时间，以下是三个考虑的情况：
15、1)对于响应时间有严格要求的应用，如d5000潮流计算和主网故障信息等，需要预测未来几分钟的负载承载量，以便及时进行负载调整，确保满足实时性要求。预测提前时间可根据服务级别协议(sla)或应用期望的响应时间来确定。
16、2)对于数据量较大的服务提供者，预测负载可以允许一定程度的数据延迟。例如，营销用电信息的海量数据需要时间收集和处理以确保数据可用性，此时需预测未来几十分钟的负载承载量，以确定合适的服务响应时间。
17、3)对于服务消费者和服务提供者承载的缓慢趋势型应用，如输变电绝缘子污秽监测和杆塔倾斜等稳定且负载变化缓慢的应用，较长的预测提前时间更为合适。因为在这种情况下，负载变化相对较缓慢，提前预测能够提供充足的时间进行负载调整。
18、s5负载分配决策：基于预测的负载情况，根据路由规划和容量规划的策略，决定如何分配请求或流量到不同的服务节点上。
19、基于路由规划的负载分配决策：通过学习和更新一个状态-动作值函数(q函数)，来选择最佳的路由路径，其中状态包括但不限于当前流量负载(带宽利用率、延迟)、路由链路状态(队列长度、丢包率)等指标，动作包括路由路径，奖励包括但不限于网络性能(延迟、吞吐量、丢包率)，具体公式如下：
20、q(s,a)＝(1-α)×q(s,a)+α×(r+γ×max(q(s',a')))
21、其中，q(s,a)是状态s下采取动作a的q值，α是学习速率，r是执行动作a后获得的即时奖励，γ是折扣因子，s'是执行动作a后的下一个状态，a'是在状态s'下选择的最佳动作。
22、基于容量规划的负载分配决策：通过动态迁移虚拟机来调整负载分配并最大化资源利用率，目标是找到一种最优的虚拟机迁移方案，使得所有虚拟机的cpu利用率尽可能接近其目标利用率，并满足物理机的容量限制。其最优化公式为：
23、目标函数：
24、
25、其中，n表示虚拟机的数量；r_i是一个指示变量，表示虚拟机i是否被迁移到目标位置。当虚拟机i被迁移到目标位置时，r_i＝1；否则，r_i＝0。cpu_u表示目标位置的cpu资源利用率；cpu_i表示虚拟机i的cpu资源利用率；t_i表示虚拟机i的目标cpu资源利用率。本文档来自技高网...
【技术保护点】
1.一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：S1中，数据来自于实时监控系统或日志记录，具体如下：
3.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：S2中，特征工程的目标是提取与负载趋势和性能相关的特征；
4.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：S4中，由于电网数据涵盖企业经营、电网运行和客户服务业务领域及各层级应用，预测服务网格的负载取决于业务需求，几分钟到几小时的提前时间是一个合理的范围。
5.根据权利要求4所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：S4中，根据反馈和性能评估来优化预测提前时间，以下是三个考虑的情况；
6.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：S5中，基于路由规划的负载分配决策，具体如下：
7.根据权利要求1所述的一种适用于数据中
8.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：在S6中反馈控制与优化公式为：
9.根据权利要求8所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：e(t)是当前时刻的性能误差是，实际负载与目标负载之间的差距。
...【技术特征摘要】
1.一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：s1中，数据来自于实时监控系统或日志记录，具体如下：
3.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：s2中，特征工程的目标是提取与负载趋势和性能相关的特征；
4.根据权利要求1所述的一种适用于数据中台服务网格的自适应负载均衡方法，其特征在于：s4中，由于电网数据涵盖企业经营、电网运行和客户服务业务领域及各层级应用，预测服务网格的负载取决于业务需求，几分钟到几小时的提前时间是一个合理的范围。
5.根据权利要求4所述的一种适用于数据中台...
【专利技术属性】
技术研发人员：杜森，徐明生，周司徒，施文波，
申请(专利权)人：江苏电力信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。