一种分布式系统、管理方法及访问方法技术方案

本文公开了一种分布式系统、管理方法及访问方法；上述管理方法，用于动态调整分布式系统中的一个或多个服务模块的服务类型，包括：当至少一个已启动的服务模块的统计信息满足预设条件时，确定目标服务模块以及目标服务类型；将目标服务模块的服务类型调整为目标服务类型。

A distributed system, management method and access method

This article discloses a distributed system, management method, and access method; the above management method is used to dynamically adjust the service types of one or more service modules in a distributed system, including the target service module and the target when the statistics information of at least one started service module satisfies the preset condition. Service type; adjust the service type of the target service module to the target service type.

【技术实现步骤摘要】
一种分布式系统、管理方法及访问方法
本专利技术涉及数据处理领域，尤其涉及一种分布式系统、管理方法及访问方法。
技术介绍
目前，分布式计算框架广泛应用于数据处理领域。例如，分析型数据库(AnalyticDB)的架构是一种典型的分布式计算系统架构。分析型数据库在公共云和专有云环境输出的大数据应用场景，常常面临海量数据的实时写入和高并发的数据查询场景，这两种场景一种是写，一种是读，都要满足用户高并发和低延时的性能指标。其中，读(查询)的高并发指多客户端的多线程应用程序同时向分析型数据库发起查询请求；写(插入)的高并发指多客户端的多线程应用程序同时向分析型数据库发起数据入库请求；读(查询)的低延时指分析型数据库应用场景需要定位在面向多维数据分析查询的秒级和毫秒级延时，以使客户端应用程序能得到快速响应；写(插入)的低延时指数据入库的响应需要定位在毫秒级延时。读、写的高并发和低延时相辅相成，才能实现分析型数据库在特定海量大数据应用场景的高性能。然而，在海量数据的读写场景中，为了实现稳定的高并发、低延时的性能指标，必然会面临由于网络带宽、机器中央处理器(CPU，CentralProcessingUnit)性能、CPU核数、内存等限制带来的挑战。特别地，在分析型数据库中，还需要考虑对于不同读写特征的工作量(workload)的资源调配。在相关技术中，针对数据库系统中不同读写特征的工作量，由固定分离的读取服务器和写入服务器(例如，采用预分配和预规划的策略确定)进行处理，通过实现写(插入)和读(查询)的数据链路分离，来隔离各自的数据操作逻辑，保证读写互不影响。然而，相关技术的方案存在资源浪费。特别地，云计算系统关注计算资源的利用率，而固定的读写分离方案无法充分利用云计算系统的资源，比如当读请求较少时，读取服务器的部分资源会闲置，进而导致云计算系统的资源利用率不高。
技术实现思路
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。本申请实施例提供一种分布式系统、管理方法及访问方法，能够实现分布式系统正常执行不同类型的工作又能提高系统资源利用率。本申请实施例提供一种分布式系统，包括：资源管理模块以及一个或多个服务模块；所述资源管理模块用于在启动服务模块后，动态调整服务模块的服务类型。其中，已启动的服务模块可以根据自身的服务类型，挂载到自身的服务类型对应的虚拟网络协议(VIP)地址下，其中，VIP地址与预定域名绑定。其中，所述资源管理模块可以包括：处理单元，用于当至少一个已启动的服务模块的统计信息满足预设条件时，确定目标服务模块以及目标服务类型；调整单元，用于将目标服务模块的服务类型调整为目标服务类型。其中，所述统计信息可以包括请求统计信息以及负载参数统计信息。其中，所述处理单元可以用于通过以下方式确定目标服务模块以及目标服务类型：确定负载参数统计信息满足预设条件的服务模块作为目标服务模块；根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型。其中，所述处理单元可以用于通过以下方式确定目标服务模块以及目标服务类型：根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型；从服务类型为预定服务类型的服务模块中，确定目标服务模块，所述预定服务类型为负载低的服务类型。其中，所述预设条件可以包括：服务模块的负载参数统计信息大于或等于对应的阈值。其中，所述处理单元，还可以用于在所述调整单元将目标服务模块的服务类型调整为目标服务类型之后，在每个已启动的服务模块的负载参数统计信息未处于平衡状态时，减小预设条件中的阈值。其中，所述调整单元可以用于通过以下方式将目标服务模块的服务类型调整为目标服务类型：向目标服务模块发送与目标服务类型对应的标签。其中，所述资源管理模块还可以包括：第一收集单元，用于收集每个已启动的服务模块的统计信息。其中，所述资源管理模块还可以用于在启动服务模块时，通过以下方式确定所启动的服务模块的服务类型：按照预定比例确定所启动的服务模块的服务类型，或者，确定所启动的服务模块的服务类型为默认类型。其中，所述服务类型可以包括：可读可写、只读、只写。其中，每个服务模块可以分别包括：第二收集单元，用于收集本服务模块的统计信息；第一交互单元，用于发送收集到的统计信息给资源管理模块，并接收资源管理模块发送的指令；第二交互单元，用于根据收到的指令，进行VIP地址挂载。本申请实施例还提供一种分布式系统的管理方法，用于动态调整分布式系统中的一个或多个服务模块的服务类型，所述管理方法包括：当至少一个已启动的服务模块的统计信息满足预设条件时，确定目标服务模块以及目标服务类型；将目标服务模块的服务类型调整为目标服务类型。其中，所述统计信息可以包括请求统计信息以及负载参数统计信息；所述确定目标服务模块以及目标服务类型，可以包括：确定负载参数统计信息满足预设条件的服务模块作为目标服务模块；根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型；或者，根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型；从服务类型为预定服务类型的服务模块中，确定目标服务模块，所述预定服务类型为负载低的服务类型。其中，所述预设条件可以包括：服务模块的负载参数统计信息大于或等于对应的阈值；所述将目标服务模块的服务类型调整为目标服务类型之后，所述管理方法还可以包括：若每个已启动的服务模块的负载参数统计信息未处于平衡状态，重复执行以下步骤：减小预设条件中的阈值，当至少一个已启动的服务模块的统计信息满足预设条件时，确定目标服务模块以及目标服务类型，将目标服务模块的服务类型调整为目标服务类型。其中，所述将目标服务模块的服务类型调整为目标服务类型，可以包括：向目标服务模块发送与目标服务类型对应的标签。本申请实施例还提供一种分布式系统的管理装置，用于动态调整分布式系统中的一个或多个服务模块的服务类型，所述管理装置包括：处理单元，用于当至少一个已启动的服务模块的统计信息满足预设条件时，确定目标服务模块以及目标服务类型；调整单元，用于将目标服务模块的服务类型调整为目标服务类型。其中，所述管理装置还可以包括：第一收集单元，用于收集每个已启动的服务模块的统计信息。本申请实施例还提供一种分布式系统的访问方法，所述分布式系统包括一个或多个服务模块，已启动的服务模块根据自身的服务类型，挂载到自身的服务类型对应的VIP地址下，VIP地址与预定域名绑定；服务模块的服务类型是动态调整的；预定域名指示对应的VIP地址下挂载的服务模块的服务类型；所述访问方法，包括：在接收到针对预定域名的访问请求后，确定与所述预定域名绑定的VIP地址；将所述访问请求分配给所述VIP地址下挂载的服务模块。其中，所述服务类型可以包括：可读可写、只读、只写。本申请实施例还提供一种分布式系统的访问装置，所述分布式系统包括一个或多个服务模块，已启动的服务模块根据自身的服务类型，挂载到自身的服务类型对应的VIP地址下，VIP地址与预定域名绑定；服务模块的服务类型是动态调整的；预定域名指示对应的VIP地址下挂载的服务模块的服务类型；所述访问装置，包括：接收单元，用于接收针对预定域名的访问请求；确定单元，用于在接收单元接收到本文档来自技高网...

【技术保护点】
1.一种分布式系统，其特征在于，包括：资源管理模块以及一个或多个服务模块；所述资源管理模块用于在启动服务模块后，动态调整服务模块的服务类型。

【技术特征摘要】
1.一种分布式系统，其特征在于，包括：资源管理模块以及一个或多个服务模块；所述资源管理模块用于在启动服务模块后，动态调整服务模块的服务类型。2.根据权利要求1所述的分布式系统，其特征在于，已启动的服务模块根据自身的服务类型，挂载到自身的服务类型对应的虚拟网络协议VIP地址下，其中，VIP地址与预定域名绑定。3.根据权利要求1所述的分布式系统，其特征在于，所述资源管理模块包括：处理单元，用于当至少一个已启动的服务模块的统计信息满足预设条件时，确定目标服务模块以及目标服务类型；调整单元，用于将目标服务模块的服务类型调整为目标服务类型。4.根据权利要求3所述的分布式系统，其特征在于，所述统计信息包括请求统计信息以及负载参数统计信息。5.根据权利要求4所述的分布式系统，其特征在于，所述处理单元，用于通过以下方式确定目标服务模块以及目标服务类型：确定负载参数统计信息满足预设条件的服务模块作为目标服务模块；根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型。6.根据权利要求4所述的分布式系统，其特征在于，所述处理单元，用于通过以下方式确定目标服务模块以及目标服务类型：根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型；从服务类型为预定服务类型的服务模块中，确定目标服务模块，所述预定服务类型为负载低的服务类型。7.根据权利要求5或6所述的分布式系统，其特征在于，所述预设条件包括：服务模块的负载参数统计信息大于或等于对应的阈值。8.根据权利要求7所述的分布式系统，其特征在于，所述处理单元，还用于在所述调整单元将目标服务模块的服务类型调整为目标服务类型之后，在每个已启动的服务模块的负载参数统计信息未处于平衡状态时，减小预设条件中的阈值。9.根据权利要求3所述的分布式系统，其特征在于，所述调整单元，用于通过以下方式将目标服务模块的服务类型调整为目标服务类型：向目标服务模块发送与目标服务类型对应的标签。10.根据权利要求3所述的分布式系统，其特征在于，所述资源管理模块还包括：第一收集单元，用于收集每个已启动的服务模块的统计信息。11.根据权利要求1所述的分布式系统，其特征在于，所述资源管理模块还用于在启动服务模块时，通过以下方式确定所启动的服务模块的服务类型：按照预定比例确定所启动的服务模块的服务类型，或者，确定所启动的服务模块的服务类型为默认类型。12.根据权利要求1所述的分布式系统，其特征在于，所述服务类型包括：可读可写、只读、只写。13.根据权利要求1所述的分布式系统，其特征在于，每个服务模块分别包括：第二收集单元，用于收集本服务模块的统计信息；第一交互单元，用于发送收集到的统计信息给资源管理模块，并接收资源管理模块发送的指令；第二交互单元，用于根据收到的指令，进行虚拟网络协议VIP地址挂载。14.一种分布式系统的管理方法，其特征在于，用于动态调整分布式系统中的一个或多个服务模块的服务类型，所述管理方法包括：当至少一个已启动的服务模块的统计信息满足预设条件时，确定目标服务模块以及目标服务类型；将目标服务模块的服务类型调整为目标服务类型。15.根据权利要求14所述的管理方法，其特征在于，所述统计信息包括请求统计信息以及负载参数统计信息；所述确定目标服务模块以及目标服务类型，包括：确定负载参数统计信息满足预设条件的服务模块作为目标服务模块；根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型；或者，根据所有已启动的服务模块的请求统计信息，确定负载高的服务类型作为目标服务类型；从服务类型为预定服务类型的服务模块中，确定目标服务模块，所述预定服务类型为负载低的服务类型。16.根据权利要求15...

【专利技术属性】
技术研发人员：周祥，杜敬兵，吉剑南，廖宇俊，胡进，占超群，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY