数据处理方法、装置、分发服务器、系统及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、分发服务器、系统及存储介质。该方法包括：获取实体设备的上报数据，并确定与所述上报数据关联的规则；按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。上述技术方案通过将上报数据按照实体设备和规则两个维度分发至不同的主题分区，将规则的处理压力分给各执行服务器，解决了数据倾斜、单个服务器的负载压力过大带来的业务不稳定问题。器的负载压力过大带来的业务不稳定问题。器的负载压力过大带来的业务不稳定问题。

【技术实现步骤摘要】
数据处理方法、装置、分发服务器、系统及存储介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种数据处理方法、装置、分发服务器、系统及存储介质。

技术介绍

[0002]在物联网中常见的一种业务场景：设备上报数据到云端，云端将数据分发给多台服务器；上报的数据匹配大量的规则，对于一台服务器，计算其分发到的数据是否满足相关规则中的条件，如果满足则执行相关规则中指定的操作。在上述过程中，不同设备上报的数据对应不同的分区，为了保证各设备上报数据的顺序处理，云端需要通过特定分区算法将数据分发到特定的分区上。
[0003]由于每个设备上报数据的频率不同，比如移动侦测设备可能一直在运行状态，只要一直有移动物体存在会一直向云端上报设备当前数据，也就是说一些设备作为热点设备，其频繁上报数据会导致数据倾斜，即某个分区的消息较多，这些分区被分配给某台服务器之后，会导致这台服务器处理规则的时候占用更高的计算资源、负载过重，而其他的服务器资源消耗较低、负载较轻，严重时会影响到这台服务器的正常运行。在大规模服务器集群部署的情况下，这种数据倾斜导致业务不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取实体设备的上报数据，并确定与所述上报数据关联的规则；按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。2.根据权利要求1所述的方法，其特征在于，所述按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，包括：根据所述组合对应的实体设备的实体号和所述组合对应的规则的编号确定关键字，基于哈希运算将所述关键字转换为对应的哈希值；根据所述哈希值的绝对值对主题分区的数量进行取模运算，得到所述组合对应的模值；根据所述模值将所述组合分发至对应的主题分区。3.根据权利要求2所述的方法，其特征在于，根据所述模值将所述组合分发至对应的主题分区，包括：确定与所述组合对应的模值相匹配的配置范围，将所述组合分发至所匹配的配置范围对应的主题分区；其中，所述配置范围根据主题分区设置，所述配置范围包括配置值或配置区间。4.根据权利要求1所述的方法，其特征在于，所述按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，包括：根据各所述执行服务器的处理能力确定各所述执行服务器的权值；根据各所述执行服务器的权值，将各所述组合轮流分发至各所述执行服务器的主题分区。5.根据权利要求4所述的方法，其特征在于，根据各所述执行服务器的权值，将各所述组合轮流分发至各所述执行服务器的主题分区，包括：轮流将每个执行服务器作为目标服务器，并将与所述目标服务器的权值相符的数量的组合分发至所述目标服务器的主题分区，直至各所述组合均分发至相应的主题分区。6.根据权利要求1所述的方法，其特征在于，在按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区之前，还包括：根据以下至少一项对所述上报数据以及所述规则进行过滤：所述设定分发策略的开关状态；过滤名单；设定实体号；设定数据类型。7.根据权利要求1所述的方法，其特征在于，所述获取实体设备的上...

【专利技术属性】
技术研发人员：陈志伟，
申请(专利权)人：杭州涂鸦信息技术有限公司，
类型：发明
国别省市：