【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种分布式系统中的数据处理方法、装置以及存储介质。
技术介绍
1、由于个人计算机的性能得到极大的提高及其使用的普及，使处理能力分布到连网的所有计算机成为可能。在分布式网络中可以把各个设备连接在一起得到更强的处理功能，而此时分布式网络的设备之间会产生大量的数据，如何对这些数据进行数据统计成为难题。
2、一般，可以通过分布式网络的设备之间进行依次交互得到存储数据，进而进行数据统计。
3、但是，多个设备之间进行依次交互的过程通信复杂度高，在海量的数据场景中，需要耗费大量的时间进行处理，影响数据处理的效率。
技术实现思路
1、
2、有鉴于此，本申请提供一种分布式系统中的数据处理方法，可以有效提高数据处理的效率。
3、本申请第一方面提供一种分布式系统中的数据处理方法，可以应用于终端设备中包含分布式系统中的数据处理功能的系统或程序中，具体包括：
4、获取分布式系统中统计服务实例信息；
5、基于所述统计服务实例信息中指示的统计服务实例数量进行负载均衡，以为各个统计服务实例分配对应的特征标识；
6、获取所述分布式系统中存储服务实例信息；
7、基于所述存储服务实例信息将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点根据所述特征标识对存储数据进行数据切分得到切分数据，所述切分数据按照所述特征标识与所述存储节点相对应；
8、接收各个所述存储节
9、可选的，在本申请一些可能的实现方式中，所述特征标识为取模值，所述基于所述统计服务实例信息中指示的统计服务实例数量进行负载均衡，以为各个统计服务实例分配对应的特征标识，包括：
10、获取针对于所述统计服务实例的数量配置的哈希环；
11、基于所述统计服务实例信息中指示的统计服务实例数量将所述统计服务实例映射到所述哈希环的节点中，以对所述统计服务实例进行负载均衡；
12、根据所述哈希环的节点对应的数值确定各个所述统计服务实例对应的所述特征标识。
13、可选的，在本申请一些可能的实现方式中，所述基于所述统计服务实例信息中指示的统计服务实例数量将所述统计服务实例映射到所述哈希环的节点中，以对所述统计服务实例进行负载均衡，包括：
14、基于每个所述统计服务实例对应节点的地址信息分配m个副本；
15、根据信息摘要算法对每个所述副本进行计算，以生成摘要数组；
16、根据所述摘要数组和所述副本对应的数值生成n个键值；
17、将所述键值映射到所述哈希环上，以为每个所述统计服务实例在所述哈希环上配置m*n个虚拟节点；
18、基于所述统计服务实例信息中指示的统计服务实例数量将所述统计服务实例映射到所述虚拟节点中，以对所述统计服务实例进行负载均衡。
19、可选的，在本申请一些可能的实现方式中，所述根据所述哈希环的节点对应的数值确定各个所述统计服务实例对应的所述特征标识，包括：
20、获取所述哈希环的节点中包含的多个取模值；
21、基于所述取模值进行所述统计服务实例的区分；
22、将区分后的所述统计服务实例对应的取模值配置为对应的所述特征标识。
23、可选的，在本申请一些可能的实现方式中，所述基于所述存储服务实例信息将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点根据所述特征标识对存储数据进行数据切分得到切分数据，包括：
24、基于所述存储服务实例信息确定存储服务实例地址；
25、根据所述存储服务实例地址将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点对相应的存储数据进行计算得到存储标识；
26、基于所述存储标识于所述特征标识的匹配关系对所述存储数据进行切分，以得到所述特征标识对应的切分数据。
27、可选的，在本申请一些可能的实现方式中，所述根据所述存储服务实例地址将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点对相应的存储数据进行计算得到存储标识，包括：
28、所述根据所述存储服务实例地址将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点确定所述存储数据的数据类型；
29、若所述数据类型为非数值数据，则对所述存储数据进行哈希操作，以得到所述存储标识。
30、可选的，在本申请一些可能的实现方式中，所述接收各个所述存储节点发送的所述切分数据，以基于所述切分数据进行数据统计，包括：
31、接收各个所述存储节点发送的所述切分数据，并对所述切分数据中包含的数据键值进行检测；
32、若缓存地图中存在所述数据键值，则获取所述切分数据对应的时间戳；
33、若所述时间戳指示的时间接近当前时间，则基于预设维度提取所述切分数据中的维度数据；
34、基于所述维度数据进行数据统计。
35、本申请第二方面提供一种分布式系统中的数据处理装置，包括：
36、获取单元，用于获取分布式系统中统计服务实例信息；
37、分配单元，用于基于所述统计服务实例信息中指示的统计服务实例数量进行负载均衡，以为各个统计服务实例分配对应的特征标识；
38、所述获取单元，还用于获取所述分布式系统中存储服务实例信息；
39、处理单元，用于基于所述存储服务实例信息将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点根据所述特征标识对存储数据进行数据切分得到切分数据，所述切分数据按照所述特征标识与所述存储节点相对应；
40、所述处理单元，还用于接收各个所述存储节点发送的所述切分数据，以基于所述切分数据进行数据统计。
41、可选的，在本申请一些可能的实现方式中，所述分配单元，具体用于获取针对于所述统计服务实例的数量配置的哈希环；
42、所述分配单元，具体用于基于所述统计服务实例信息中指示的统计服务实例数量将所述统计服务实例映射到所述哈希环的节点中，以对所述统计服务实例进行负载均衡；
43、所述分配单元，具体用于根据所述哈希环的节点对应的数值确定各个所述统计服务实例对应的所述特征标识。
44、可选的，在本申请一些可能的实现方式中，所述分配单元，具体用于基于每个所述统计服务实例对应节点的地址信息分配m个副本；
45、所述分配单元，具体用于根据信息摘要算法对每个所述副本进行计算，以生成摘要数组；
46、所述分配单元，具体用于根据所述摘要数组和所述副本对应的数值生成n 个键值；
47、所述分配单元，具体用于将所述键值映射到所述哈希环上，以为每个所述统计服务实例在所述哈希本文档来自技高网...
【技术保护点】
1.一种分布式系统中的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征标识为取模值，所述基于所述统计服务实例信息中指示的统计服务实例数量进行负载均衡，以为各个统计服务实例分配对应的特征标识，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述统计服务实例信息中指示的统计服务实例数量将所述统计服务实例映射到所述哈希环的节点中，以对所述统计服务实例进行负载均衡，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述哈希环的节点对应的数值确定各个所述统计服务实例对应的所述特征标识，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述存储服务实例信息将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点根据所述特征标识对存储数据进行数据切分得到切分数据，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述存储服务实例地址将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点对相应的存储数据进行计算得到存储标识
7.根据权利要求1所述的方法，其特征在于，所述接收各个所述存储节点发送的所述切分数据，以基于所述切分数据进行数据统计，包括：
8.一种分布式系统中的数据处理装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
10.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于计算机可读存储介质，其特征在于，所述计算机可读存储介质中的所述计算机程序/指令被处理器执行时实现上述权利要求1至7任一项所述的分布式系统中的数据处理方法的步骤。
...【技术特征摘要】
1.一种分布式系统中的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征标识为取模值，所述基于所述统计服务实例信息中指示的统计服务实例数量进行负载均衡，以为各个统计服务实例分配对应的特征标识，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述统计服务实例信息中指示的统计服务实例数量将所述统计服务实例映射到所述哈希环的节点中，以对所述统计服务实例进行负载均衡，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述哈希环的节点对应的数值确定各个所述统计服务实例对应的所述特征标识，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述存储服务实例信息将所述特征标识发送至所述存储服务实例信息指示的各个存储节点，以使得所述存储节点根据所述特征标识对存储数据进行数...
【专利技术属性】
技术研发人员：曾家杰，宫斌，
申请(专利权)人：腾讯科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。