基于动态规则的物联网实时数据处理方法技术

本发明专利技术公开一种基于动态规则的物联网实时数据与处理方法，计算速度快，资源占用少。本发明专利技术方法包括：(10)动态规则配置信息加载：加载设备动态计算规则配置信息；(20)设备数据排队：将实时设备相关数据投入物联网数据消息队列；(30)设备数据转发：从物联网数据消息队列中获取设备数据，下发到计算节点；(40)计算节点健康检查：计算节点向计算中心认证并注册服务，定时上报，对各计算节点进行健康检查；(50)计算规则配置获取：计算节点根据设备数据内容，获取动态规则配置；(60)依据动态规则配置数据计算处理：计算节点根据设备数据按照动态规则配置进行并行计算；(70)计算结果推送：将计算结果推送到计算结果队列。计算结果推送到计算结果队列。计算结果推送到计算结果队列。

【技术实现步骤摘要】
基于动态规则的物联网实时数据处理方法


[0001]本专利技术属于物联网
，特别是一种基于动态规则的物联网实时数据处理方法。

技术介绍

[0002]在物联网领域，物联网设备的实时数据根据业务的不同都要进行计算加工处理后使用，例如：根据设备的多种状态数据不同，综合计算显示设备的图标不同；多个设备数据状态值处于某个值范围触发一种行为等等。
[0003]出于接入设备数量海量支持能力，目前物联网平台设备数据接入理念普遍为使用队列接入，依次或并发执行计算；计算机计算资源有限，数据的计算结果及时性受限。
[0004]实际使用中，采用队列依次执行效率慢；或采用线程并发进行计算，但并发计算过程中，计算资源中存在的计算参数存在复杂的依赖关系，大量使用线程会造成多线程挂起，资源开销大。
[0005]另一种解决办法是为部署多个计算节点，计算中心将消息下发到计算节点，计算节点收到消息依次执行或并发执行计算，这样部署能够分摊海量实时数据的计算压力，但在并发过程中依旧会存在上述问题。
[0006]因此，现有技术存在的问题是：如何利用有限的硬件计算资源，合理进行分配，在不影响数据计算结果的前提下，提供快速且稳定的计算能力。

技术实现思路

[0007]本专利技术的目的在于提供一种基于动态规则的物联网实时数据与处理方法，计算速度快，资源占用少。
[0008]实现本专利技术目的的技术方案为：
[0009]一种基于动态规则的物联网实时数据处理方法，包括如下步骤：
[0010](10)动态规则配置信息加载：加载设备动态计算规则配置信息，将其存储在分布式缓存中；
[0011](20)设备数据排队：从物联网系统获取实时设备相关数据，以消息生产者身份将设备相关数据投入物联网数据消息队列；
[0012](30)设备数据转发：计算中心从物联网数据消息队列中获取设备数据，根据计算中心配置转发策略，将设备数据下发到计算中心分配的计算节点；
[0013](40)计算节点健康检查：计算节点向计算中心认证并注册服务，定时上报，计算中心定期对各计算节点进行健康检查；
[0014](50)计算规则配置获取：计算节点根据所述设备数据内容，从分布式缓存中获取动态规则配置，动态规则配置如果存在，则进行下一步计算，动态规则配置不存在，则不进行任何操作；
[0015](60)依据动态规则配置数据计算处理：计算节点根据设备数据按照动态规则配置
进行并行计算；
[0016](70)计算结果推送：将计算结果推送到计算结果队列，业务模块消费者拿到结果数据做相应的业务处理。
[0017]本专利技术与现有技术相比，其显著优点为：
[0018]1、计算速度快：计算中心获取数据会根据指定策略下发到合适计算节点上进行计算，海量实时数据进入时，会将数据分配到不同计算节点上执行运算，分摊了计算流量，提高了数据并发量，提升了执行速度。
[0019]2、资源占用少:计算节点计算过程中，采用多消费者并行计算，计算参数涉及依赖关系的，通过临时变量+调度的方式来执行计算，提高执行效率，占用CPU资源低，提高了资源利用效率。
附图说明
[0020]图1为本专利技术基于动态规则的物联网实时数据处理方法的主流程图。
[0021]图2为物联网系统的结构框图。
[0022]图3为图1中设备数据转发步骤的流程图。
[0023]图4为图1中计算节点健康检查步骤的流程图。
[0024]图5为图1中依据动态规则配置数据计算处理步骤的流程图。
具体实施方式
[0025]如图1所示，本专利技术基于动态规则的物联网实时数据处理方法，用于如图2所示的物联网系统中，对接入的海量设备的实时数据进行及时处理。如图2所示，物联网系统包含物联网平台，物联网数据采集模块、分布式缓存、物联网数据消息队列、计算中心、多个计算节点、计算结果消息队列、其他业务模块。物联网数据采集模块通过网络连接与物联网平台相连完成数据采集，并将设备数据推送到物联网数据消息队列，计算中心从物联网数据消息队列中获取设备数据，计算中心根据转发策略将设备数据转发到计算节点，计算节点根据设备数据信息从分布式缓存中获取动态规则配置，计算节点计算完成后将结果推送到计算结果消息队列，其他业务模块从计算结果消息队列中获取结果执行各自的业务。
[0026]如图1所示，本专利技术基于动态规则的物联网实时数据处理方法，包括如下步骤：
[0027](10)动态规则配置信息加载：加载设备动态计算规则配置信息，将其存储在分布式缓存中；
[0028]所述设备动态规则配置信息是指用于物联网设备数据计算的逻辑规则。
[0029](20)设备数据排队：从物联网系统获取实时设备相关数据，以消息生产者身份将设备相关数据投入物联网数据消息队列；
[0030]物联网采集模块可以采用MQTT或API接口方式对接物联网系统获取实时设备相关数据，以生产者身份将设备数据投入物联网数据消息队列(队列采用先进先出的方式)。
[0031](30)设备数据转发：计算中心从物联网数据消息队列中获取设备数据，根据计算中心配置转发策略，将设备数据下发到计算中心分配的计算节点；
[0032]所述配置转发策略如：最优算法、随机、权重、轮询等。
[0033]所述(30)设备数据转发步骤包括：
[0034](31)计算中心获取设备数据：计算中心以消费者身份接入物联网数据消息队列，从物联网数据消息队列中依次获取设备数据；
[0035](32)设备数据转发调度：计算中心为主节点，连接多个计算节点；计算中心不参与计算，只负责根据转发策略将物联网消息调度到不同的计算节点，计算节点负责计算；
[0036](40)计算节点健康检查：计算节点向计算中心认证并注册服务，定时上报，计算中心定期对各计算节点进行健康检查；
[0037]所述(40)计算节点健康检查步骤包括：
[0038](41)计算节点认证注册上报：计算节点启动后，计算节点向计算中心认证并注册服务，定时上报计算节点计算能力及负载状况，包括CPU利用率，内存占用情况，并提供计算节点健康检查接口；
[0039]所述健康检查接口是查询计算节点服务是否在线时使用；
[0040](42)计算中心健康检查：计算中心定时通过健康检查接口检测各计算节点的健康状态；
[0041]计算中心定期对下游计算节点进行健康检查，保证下发数据到可靠的计算节点上进行计算，计算中心根据最优算法、随机、权重(计算节点的计算能力)、轮询、自定义等策略对物联网设备数据下发到不同计算节点。
[0042](50)计算规则配置获取：计算节点根据所述设备数据内容，从分布式缓存中获取动态规则配置，动态规则配置如果存在，则进行下一步计算，动态规则配置不存在，则不进行任何操作；
[0043]所述设备数据内容如设备编码。
[0044]计算节点接收计算中心发送的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态规则的物联网实时数据处理方法，其特征在于，包括如下步骤：(10)动态规则配置信息加载：加载设备动态计算规则配置信息，将其存储在分布式缓存中；(20)设备数据排队：从物联网系统获取实时设备相关数据，以消息生产者身份将设备相关数据投入物联网数据消息队列；(30)设备数据转发：计算中心从物联网数据消息队列中获取设备数据，根据计算中心配置转发策略，将设备数据下发到计算中心分配的计算节点；(40)计算节点健康检查：计算节点向计算中心认证并注册服务，定时上报，计算中心定期对各计算节点进行健康检查；(50)计算规则配置获取：计算节点根据所述设备数据内容，从分布式缓存中获取动态规则配置，动态规则配置如果存在，则进行下一步计算，动态规则配置不存在，则不进行任何操作；(60)依据动态规则配置数据计算处理：计算节点根据设备数据按照动态规则配置进行并行计算；(70)计算结果推送：将计算结果推送到计算结果队列，业务模块消费者拿到结果数据做相应的业务处理。2.根据权利要求1所述的物联网实时数据处理方法，其特征在于，所述(30)设备数据转发步骤包括：(31)计算中心获取设备数据：计算中心以消费者身份接入物联网数据消息队列，从物联网数据消息队列中依次获取设备数据；(32)设备数据转发调度：计算中心根据转发策略将物联网消息调度到不同的计...

【专利技术属性】
技术研发人员：孙晓波，陈宏佳，高志岗，姜广山，
申请(专利权)人：南京戎光软件科技有限公司，
类型：发明
国别省市：