数据处理方法和数据处理系统技术方案

本发明专利技术公开了一种数据处理方法和数据处理系统。该方法包括：根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度数据对应的其余用户行为数据；采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器。采用本发明专利技术的方案，避免了服务器扩容时影响用户体验；采用本发明专利技术的方案，当出现数据热点现象、数据过热或增加新资源时，提高了系统效率；采用本发明专利技术的方案，新增服务器可动态补充进集群，有利于系统扩展和效率提升。

【技术实现步骤摘要】
数据处理方法和数据处理系统
本专利技术涉及通信
，特别涉及一种数据处理方法和数据处理系统。
技术介绍
近年来，随着网络和大数据技术的高速发展，运营商的业务越来越多的向数据业务倾斜，海量数据实时存储和分析在运营商业务领域里的影响也越来越大。因此，如何保障数据安全，业务稳定，确保在数据安全上出现问题时能对业务造成最小程度的冲击，已成为一项很重要的议题。但是，传统的方法存在如下技术问题：1、在数据服务器很多的系统中，批量增加一批服务器会造成系统整体需要做数据负载均衡，数据同步的时间很长造成，在最开始增加机器的一段时间里会延缓业务处理，使扩容时出现一个需要同步的窗口期，影响用户体验；2、对于海量数据实时分析中，出现数据热点现象时或由于数据过热造成部分处理单元下线，无法实时调配已有资源进行补充，或是增加新资源后造成整体数据重新分布，严重影响系统效率；3、设备扩容复杂，特别是多种异构系统组成联合集群时，由于各系统的负载均衡方法不同，新增服务器无法动态补充进集群，需要和业务紧绑定，不利于扩展和效率提升。
技术实现思路
本专利技术提供一种数据处理方法和数据处理系统，用于避免服务器扩容时影响用户体验，提高系统效率，有利于系统扩展和效率提升。为实现上述目的，本专利技术提供了一种数据处理方法，包括：根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度数据对应的其余用户行为数据；采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器。可选地，所述对采集的用户行为数据进行汇聚形成多个规范数据包括：将第一维度数据相同的用户行为数据进行归并形成多个规范数据。可选地，所述采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器包括：根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值；根据规范数据的第一维度数据的编号、环形数据模板的大小和服务器的数量，生成规范数据对应的服务器组的范围；判断规范数据对应的服务器的范围包括的服务器的数量大于或者等于1；若判断出规范数据对应的服务器组的范围大于1，根据第二维度数据的编号和规范数据对应的服务器组的范围中的最大值，生成与第二维度数据对应的第二权重值；根据与第二维度数据对应的第二权重值和第一权重值，从规范数据对应的服务器组的范围中确定出与第二维度数据对应的服务器；将该规范数据中的与第二维度数据对应的其余用户行为数据放置于与第二维度数据对应的服务器上。可选地，若判断出规范数据对应的服务器组的范围等于1，将该规范数据放置于该规范数据对应的服务器组的范围中的服务器上。可选地，所述根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值之前还包括：构建环形数据模板，环形数据模板的大小N为设定值；根据第一维度数据生成第一维度数据的编号，以及根据第二维度数据生成第二维度数据的编号；根据服务器的mac地址和IP地址，生成服务器的编号；根据服务器的数量对服务器进行分组，得出多个服务器组；根据环形数据模板的大小、服务器的数量和服务器的编号，生成每个服务器组的范围。可选地，所述根据环形数据模板的大小、服务器的数量和服务器的编号，生成每个服务器组的范围包括：将环形数据模板的大小除以服务器的数量，得出服务器组的范围值；根据服务器组的范围值和服务器的编号得出每个服务器组的范围。可选地，所述根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值包括：将服务器的编号除以环形数据模板的大小得出相除结果；对相除结果除以服务器的数量进行取余数运算，得出该服务器在服务器组中的第一权重值。可选地，所述根据规范数据的第一维度数据的编号、环形数据模板的大小和服务器的数量，生成规范数据对应的服务器组的范围包括：将第一维度数据的编号除以环形数据模板的大小得出相除结果；对相除结果除以服务器的数量进行取余数运算，得出规范数据对应的服务器的范围值；根据服务器的范围值在服务器组的范围中查找出服务器的范围值对应的服务器组的范围。可选地，所述根据第二维度数据的编号和规范数据对应的服务器组的范围中的最大值，生成第二权重值包括：对第二维度数据的编号除以最大值进行取余数运算，得出第二权重值。可选地，所述根据与第二维度数据对应的第二权重值和第一权重值，从规范数据对应的服务器组的范围中确定出与第二维度数据对应的服务器包括：计算出第二权重值和第一权重值的比值；将比值与规范数据对应的服务器组的范围中的最大值相乘得出相乘结果；从服务器组的范围中选择出与相乘结果之间差值最小的服务器的编号；将与相乘结果之间差值最小的服务器的编号对应的服务器确定为与第二维度数据对应的服务器。为实现上述目的，本专利技术提供了一种数据处理系统，包括：采集模块，用于采集用户行为数据；业务汇聚模块，用于根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度数据对应的其余用户行为数据；调度模块，用于采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器。可选地，所述调度模块包括：第一生成子模块，用于根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值；第二生成子模块，用于根据规范数据的第一维度数据的编号、环形数据模板的大小和服务器的数量，生成规范数据对应的服务器组的范围；判断子模块，用于判断规范数据对应的服务器的范围包括的服务器的数量大于或者等于1；第三生成子模块，用于若所述判断子模块判断出规范数据对应的服务器组的范围大于1，根据第二维度数据的编号和规范数据对应的服务器组的范围中的最大值，生成与第二维度数据对应的第二权重值；第四生成子模块，用于根据与第二维度数据对应的第二权重值和第一权重值，从规范数据对应的服务器组的范围中确定出与第二维度数据对应的服务器；放置子模块，用于将该规范数据中的与第二维度数据对应的其余用户行为数据放置于与第二维度数据对应的服务器上。本专利技术具有以下有益效果：本专利技术提供的数据处理方法和数据处理系统的技术方案中，根据设置的业务策略对采集的用户行为数据进行汇聚形成多个规范数据，采用环形调度方法将所述规范数据中的其余用户行为数据分配到对应的服务器，采用本专利技术的方案，避免了服务器扩容时影响用户体验；采用本专利技术的方案，当出现数据热点现象、数据过热或增加新资源时，提高了系统效率；采用本专利技术的方案，新增服务器可动态补充进集群，有利于系统扩展和效率提升。附图说明图1为本专利技术实施例一提供的一种数据处理方法的流程图；图2为本专利技术实施例二提供的一种数据处理方法的流程图；图3为实施例二中服务器组的示意图；图4为本专利技术实施例三提供的一种数据处理系统的结构示意图。具体实施方式为使本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术提供的数据处理方法和数据处理系统进行详细描述。图1为本专利技术实施例一提供的一种数据处理方法的流程图，如图1所述，该方法包括：步骤101、根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度数据对应的其余用户行为数据；采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据设置的业务策略，对采集的用户行为数据进行汇聚形成多个规范数据，每个规范数据包括第一维度数据、第二维度数据和与所述第二维度数据对应的其余用户行为数据；采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器。2.根据权利要求1所述的数据处理方法，其特征在于，所述对采集的用户行为数据进行汇聚形成多个规范数据包括：将第一维度数据相同的用户行为数据进行归并形成多个规范数据。3.根据权利要求1所述的数据处理方法，其特征在于，所述采用环形调度方法，将所述规范数据中的其余用户行为数据分配到对应的服务器包括：根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值；根据规范数据的第一维度数据的编号、环形数据模板的大小和服务器的数量，生成规范数据对应的服务器组的范围；判断规范数据对应的服务器的范围包括的服务器的数量大于或者等于1；若判断出规范数据对应的服务器组的范围大于1，根据第二维度数据的编号和规范数据对应的服务器组的范围中的最大值，生成与第二维度数据对应的第二权重值；根据与第二维度数据对应的第二权重值和第一权重值，从规范数据对应的服务器组的范围中确定出与第二维度数据对应的服务器；将该规范数据中的与第二维度数据对应的其余用户行为数据放置于与第二维度数据对应的服务器上。4.根据权利要求3所述的数据处理方法，其特征在于，若判断出规范数据对应的服务器组的范围等于1，将该规范数据放置于该规范数据对应的服务器组的范围中的服务器上。5.根据权利要求3所述的数据处理方法，其特征在于，所述根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值之前还包括：构建环形数据模板，环形数据模板的大小N为设定值；根据第一维度数据生成第一维度数据的编号，以及根据第二维度数据生成第二维度数据的编号；根据服务器的mac地址和IP地址，生成服务器的编号；根据服务器的数量对服务器进行分组，得出多个服务器组；根据环形数据模板的大小、服务器的数量和服务器的编号，生成每个服务器组的范围。6.根据权利要求5所述的数据处理方法，其特征在于，所述根据环形数据模板的大小、服务器的数量和服务器的编号，生成每个服务器组的范围包括：将环形数据模板的大小除以服务器的数量，得出服务器组的范围值；根据服务器组的范围值和服务器的编号得出每个服务器组的范围。7.根据权利要求3所述的数据处理方法，其特征在于，所述根据服务器的编号、环形数据模板的大小和服务器的数量，生成服务器在服务器组中的第一权重值包括：将服务器的编号除以环形数据模板的大小...

【专利技术属性】
技术研发人员：彭佳，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京,11