一种分布式处理系统、数据处理的方法及设备技术方案

本发明专利技术公开了一种分布式处理系统、数据处理的方法及设备。分布式处理系统包括控制节点、第一计算节点和第二计算节点，控制节点获取待处理特性数据的类型和特性标识，类型用于标识待处理特性数据的归属计算节点，归属计算节点为第一计算节点或第二计算节点；控制节点根据特性标识，确定进程索引信息，控制节点根据进程索引信息，向归属计算节点的处理进程调度待处理特性数据的数据索引信息或者待处理特性数据，数据索引信息用于归属计算节点获取待处理特性数据，以使归属计算节点处理待处理特性数据。本发明专利技术实施例提供的一种分布式处理系统、数据处理的方法及设备，通过分布式的处理方式完成特性数据的计算，从而缩短了处理时间。

A distributed processing system, data processing method and equipment

The invention discloses a distributed processing system, a data processing method and a device. Distributed processing system includes a control node, the first node and the second node calculation calculation, the control node obtains the identification type and characteristics of data to be processed and used to identify the type of data to be processed characteristics belonging to the computing nodes belonging to the first computing node node or second nodes; the control node according to the characteristics of process identification, determine the index information, control according to the process node index information to the home computing process node scheduling to handle data characteristics index information to be processed or characteristic data, data index information for computing nodes to obtain characteristic data belonging to be processed, so that the processing characteristics of ownership data to be processed node calculation. The distributed processing system, data processing method and equipment provided by the embodiment of the invention can complete the calculation of the characteristic data through the distributed processing mode, thus shortening the processing time.

【技术实现步骤摘要】
一种分布式处理系统、数据处理的方法及设备
本专利技术涉及计算机
，具体涉及一种分布式处理系统、数据处理的方法及设备。
技术介绍
维度是指监控对象的某一个属性，可以是地区、机房、运营商，也可以是接口和错误码等。特性是指一种或者多种维度的组合所对应的某个指标。特性树主要是指根据业务需求，把监控粒度较小的监控对象按照不同的规则逐层汇聚成粒度较大的监控对象的过程中，由所有参与的监控对象和关系所组成的一张有向图。特性树的计算主要是指一分钟内把特性树的下层特性数据按不同的方式，例如：求和、求平均或求商等逐层汇聚成上层特性数据的处理过程。现有技术下，针对特性数据的处理过程主要是通过单台机器预先负责把所有特性数据生成一颗颗的特性树，然后再以特性树为单位进行计算，该方案面临处理时间长、单机性能有限和特性更新速度缓慢等问题。
技术实现思路
为了解决现有技术特性树的处理方案中，处理时间长而且单机性能有限的问题，本专利技术实施例提供一种分布式处理系统、数据处理的方法及设备，通过分布式的处理方式，不需要构建特性树，就可以完成特性数据的计算，从而缩短了处理时间，而且不需要将特性树放在一个单机上进行处理，克服了本文档来自技高网...

【技术保护点】
一种分布式处理系统，其特征在于，包括：控制节点、第一计算节点和第二计算节点，所述第一计算节点用于处理终端上报的特性数据和所述控制节点分配的特性数据，所述第二计算节点用于处理所述第一计算节点产生的特性数据和所述控制节点分配的特性数据；所述控制节点获取待处理特性数据的类型和特性标识，所述类型用于标识所述待处理特性数据的归属计算节点，所述归属计算节点为所述第一计算节点或所述第二计算节点；所述控制节点根据所述特性标识，确定进程索引信息，所述进程索引信息用于指示所述待处理特性数据在所述归属计算节点上所属的处理进程；所述控制节点根据所述进程索引信息，向所述归属计算节点的所述处理进程调度所述待处理特性数据的...

【技术特征摘要】
1.一种分布式处理系统，其特征在于，包括：控制节点、第一计算节点和第二计算节点，所述第一计算节点用于处理终端上报的特性数据和所述控制节点分配的特性数据，所述第二计算节点用于处理所述第一计算节点产生的特性数据和所述控制节点分配的特性数据；所述控制节点获取待处理特性数据的类型和特性标识，所述类型用于标识所述待处理特性数据的归属计算节点，所述归属计算节点为所述第一计算节点或所述第二计算节点；所述控制节点根据所述特性标识，确定进程索引信息，所述进程索引信息用于指示所述待处理特性数据在所述归属计算节点上所属的处理进程；所述控制节点根据所述进程索引信息，向所述归属计算节点的所述处理进程调度所述待处理特性数据的数据索引信息或者所述待处理特性数据，所述数据索引信息用于所述归属计算节点获取所述待处理特性数据；所述归属计算节点处理所述待处理特性数据，得到处理后的特性数据。2.根据权利要求1所述的分布式处理系统，其特征在于，所述分布式处理系统还包括配置更新节点；所述控制节点获取待处理特性数据的类型和特性标识，包括：所述控制节点在所述配置更新节点中的特性数据发生更新时，从所述配置更新节点获取待处理特性数据的类型和特性标识。3.根据权利要求1所述的分布式处理系统，其特征在于，所述控制节点获取待处理特性数据的类型和特性标识，包括：所述控制节点在获取到所述第一计算节点或所述第二计算节点中的进程出现异常时，获取发生异常的进程上所处理的特性数据的类型和特性标识作为所述待处理特性数据的类型和特性标识。4.根据权利要求1-3任一所述的分布式处理系统，其特征在于，所述控制节点根据所述特性标识，确定进程索引信息，包括：所述控制节点根据特性标识与进程索引信息之间的对应关系，确定所述特性标识所对应的所述进程索引信息。5.根据权利要求1-3任一所述的分布式处理系统，其特征在于，所述分布式处理系统还包括存储节点，所述归属计算节点按照版本号、比特位信息和数据内容的结构存储所述处理后的特性数据。6.一种数据处理的方法，其特征在于，所述方法应用于分布式处理系统，所述分布式处理系统包括控制节点、第一计算节点和第二计算节点，所述第一计算节点用于处理终端上报的特性数据和所述控制节点分配的特性数据，所述第二计算节点用于处理所述第一计算节点产生的特性数据和所述控制节点分配的特性数据，所述方法包括：所述控制节点获取待处理特性数据的类型和特性标识，所述类型用于标识所述待处理特性数据的归属计算节点，所述归属计算节点为所述第一计算节点或所述第二计算节点；所述控制节点根据所述特性标识，确定进程索引信息，所述进程索引信息用于指示所述待处理特性数据在所述归属计算节点上所属的处理进程；所述控制节点根据所述进程索引信息，向所述归属计算节点的所述处理进程调度...

【专利技术属性】
技术研发人员：马靖波，裴泽良，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44