数据聚合方法、装置和系统制造方法及图纸

本申请提供了一种数据聚合方法、装置和系统，在该方法中，获取集群中各台主机各自的主机标识和运行指标数据；针对每台主机，根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组；依据当前时刻集群中各台主机各自归属的至少一个业务组，确定当前时刻集群中所具有的业务组以及每个业务组包含的至少一台主机；针对当前时刻集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合。本申请的方案适用于集群中业务组存在动态变化的情况，提高了对运行指标进行聚合计算的适应性。

Data aggregation methods, devices and systems

This application provides a data aggregation method, device and system, in which the host identification and operation index data of each host in the cluster are obtained; for each host, at least one business group belonging to the host at the current time is determined according to the host identification of the host; and according to at least one business group belonging to each host in the cluster at the current time, it is true. Fixed the business group in the current time cluster and at least one host contained in each business group. For each business group in the current time cluster, aggregated the operation index data of each host belonging to the business group. The proposed scheme is suitable for the dynamic changes of business groups in clusters, and improves the adaptability of aggregate calculation of operational indicators.

【技术实现步骤摘要】
数据聚合方法、装置和系统
本申请涉及数据处理
，尤其涉及一种数据聚合方法、装置和系统。
技术介绍
为了应对高并发访问，很多互联网业务均采用服务器集群对外提供业务，其中，服务器集群可以分为集中式集群以及分布式集群两种。为了避免服务器集群中的服务器(也称为主机)运行过载而导致互联网服务异常，需要对服务器集群中各台服务器的运行指标进行监控。其中，服务器的运行指标可以包括内存占用率、磁盘输入输出效率等指标数据中的一种或者多种。由于服务器集群中不同服务器所承担的业务类别也会有所不同，服务器集群中的服务器会被划分为不同的业务组，而在监控服务器集群中服务器的运行指标时，实际上也更关注一个业务组内服务器的整体运行指标的情况。为了对同一个业务组内的多台服务器的运行指标进行监控，就需要对该业务组内多台服务器的运行指标进行聚合计算，其中，聚合计算可以包括求和、求平均、求最大以及求最小等等几种聚合计算。然而，在实际应用中互联网业务部署经常会发生变化，比如，服务器集群扩容或者互联网业务调整等，从而使得服务器集群中各台服务器所属的业务组也会经常变化，而目前针对服务器集群中业务组的运行指标聚合的方式无法适应业务组的动态变化。
技术实现思路
有鉴于此，本申请提供了一种数据聚合方法、装置和系统，以在服务器集群中服务器所属的业务组存在动态变化的情况下，也可能够实现对变化后的各业务组中服务器的运行指标的聚合计算，提高了运行指标的聚合计算的适应性。为实现上述目的，本申请提供了一种数据聚合方法，包括：获取集群中各台主机各自的主机标识和运行指标数据；针对每台主机，根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组；依据当前时刻所述集群中各台主机各自归属的至少一个业务组，确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机；针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合。优选的，所述根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组，包括：根据该主机的主机标识，从业务配置设备中查询当前时刻该主机归属的至少一个业务组，所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。优选的，在针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合之前，还包括：获取当前时刻主机归属的每个业务组对应的至少一种聚合方式；所述针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合，包括：针对当前时刻所述集群中的每个业务组，分别按照该业务组对应的至少一种聚合方式，对归属于该业务组的各台主机的运行指标数据进行聚合。优选的，所述获取集群中各台主机各自的主机标识和运行指标数据，包括：接收集群中各台主机当前时刻各自上报的主机标识和运行指标数据。优选的，在所述对归属于该业务组的各台主机的运行指标数据进行聚合之后，还包括：针对每个业务组，将该业务组对应的聚合结果数据存储到数据库，所述业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。另一方面，本申请还提供了一种数据聚合系统，包括：与集群中各台主机通过网络相连的数据处理设备；所述数据处理设备，用于获取所述集群中各台主机各自的主机标识和运行指标数据；针对每台主机，根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组；依据当前时刻所述集群中各台主机各自归属的至少一个业务组，确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机；针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合。优选的，还包括：与所述数据处理设备通过网络相连的业务配置设备；该业务配置设备，用于接收用户为所述集群中各台主机分配的业务组，并存储所述集群中每台主机归属的业务组的信息；所述数据处理设备在根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组时，具体用于，根据该主机的主机标识，从业务配置设备中查询当前时刻该主机归属的至少一个业务组。优选的，还包括：通过网络与所述数据处理设备相连的数据库；所述数据处理设备还用于，针对每个业务组，将该业务组对应的聚合结果数据存储到数据库，其中，业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。另一方面，本申请还提供了一种数据聚合装置，包括：数据获取单元，用于获取集群中各台主机各自的主机标识和运行指标数据；组确定单元，用于针对每台主机，根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组；组归类单元，用于依据当前时刻所述集群中各台主机各自归属的至少一个业务组，确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机；指标聚合单元，用于针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合。优选的，所述组确定单元，包括：组查询单元，用于根据该主机的主机标识，从业务配置设备中查询当前时刻该主机归属的至少一个业务组，所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。由以上可知，在本申请实施例中，在获取到集群中各台主机的运行指标数据之后，可以根据各台主机的主机标识，确定当前时刻各台主机各自归属的业务组，而根据当前时刻各台主机各自归属的业务组，便可以得到当前时刻该集群中所具有的业务组以及每个业务组所包含的主机。可见，由于本申请在需要对主机的运行指标数据进行处理时，实时确定集群中所具有的需要监控指标情况的业务组以及每个业务组所具有的主机，因此，即使集群中主机所归属的业务组变化以及业务组存在其他动态变化，也可以准确的确定集群中当前具有的业务组以及每个业务组中包含的主机的运行指标数据，从而可以对该业务组中各主机的运行指标数据进行聚合，进而得到当前时刻集群中每个业务组的整体运行指标情况。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1示出了本申请实施例提供的一种数据聚合系统的一种组成架构示意图；图2示出了本申请实施例提供的一种数据聚合方法的一种流程示意图；图3示出了本申请实施例提供的一种数据聚合方法中各设备之间一种交互示意图；图4示出了本申请实施例提供的一种数据聚合装置的一种组成示意图。具体实施方式本申请实施例的方案适用于对具有多台主机的服务器集群中主机的运行指标进行聚合，即使服务器集群中主机所属的业务组存在变动或者出现业务组增加等业务组动态变化情况，本申请的方案也可以实时对集群中各个业务组内各主机的运行指标进行聚合，从而在业务组动态变化的情况下也能监控变动后的每个业务组内主机的整体运行指标情况。为了便于理解本申请的方案，先对本申请所适用的系统进行介绍。如，参见图1，其示出了本申请的方案所适用的系统的一种组成架构示意图。在图1中架构中包括至少一个集群10，该集群10中包含多台主机11，集群服务器中的每台主机均是一台服务器。该集群10中的多台主机可以采用分布式设置，并通过网络实现多台主机之间的连接。集本文档来自技高网...

【技术保护点】
1.一种数据聚合方法，其特征在于，包括：获取集群中各台主机各自的主机标识和运行指标数据；针对每台主机，根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组；依据当前时刻所述集群中各台主机各自归属的至少一个业务组，确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机；针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合。

【技术特征摘要】
1.一种数据聚合方法，其特征在于，包括：获取集群中各台主机各自的主机标识和运行指标数据；针对每台主机，根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组；依据当前时刻所述集群中各台主机各自归属的至少一个业务组，确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机；针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合。2.根据权利要求1所述的数据聚合方法，其特征在于，所述根据该主机的主机标识，确定当前时刻该主机归属的至少一个业务组，包括：根据该主机的主机标识，从业务配置设备中查询当前时刻该主机归属的至少一个业务组，所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。3.根据权利要求1或2所述的数据聚合方法，其特征在于，在针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合之前，还包括：获取当前时刻主机归属的每个业务组对应的至少一种聚合方式；所述针对当前时刻所述集群中的每个业务组，对归属于该业务组的各台主机的运行指标数据进行聚合，包括：针对当前时刻所述集群中的每个业务组，分别按照该业务组对应的至少一种聚合方式，对归属于该业务组的各台主机的运行指标数据进行聚合。4.根据权利要求1所述的数据聚合方法，其特征在于，所述获取集群中各台主机各自的主机标识和运行指标数据，包括：接收集群中各台主机当前时刻各自上报的主机标识和运行指标数据。5.根据权利要求1所述的数据聚合方法，其特征在于，在所述对归属于该业务组的各台主机的运行指标数据进行聚合之后，还包括：针对每个业务组，将该业务组对应的聚合结果数据存储到数据库，所述业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。6.一种数据聚合系统，其特征在于，包括：与集群中各台主机通过网络相连的数据处理设备；所述数据处理设备，用于获取所述集群中各台主机各自的主...

【专利技术属性】
技术研发人员：叶权，吉毅，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11