一种基于流式处理的工业传感器数据处理方法技术

本发明专利技术提供一种基于流式处理的工业传感器数据处理方法。本发明专利技术通过获取传感器数据到数据采集层；在数据采集层通过建立协议转换层适配多种型号，多种协议的传感器；在数据处理层通过kafka消息队列接受数据，并且转发至数据处理引擎；在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库；数据处理引擎根据实时处理后的数据直接发送到时序数据库存储，同时把数据发回消息队列集群，用于其他系统二次消费使用；将配置信息保存在关系型数据库。本发明专利技术进行数据流处理时，能够持续稳定的支撑巨大的数据流量，不降低整个系统的性能，提高运行效率，满足传感器数据处理的实时性的要求，降低成本。本。本。

【技术实现步骤摘要】
一种基于流式处理的工业传感器数据处理方法


[0001]本专利技术涉及数据处理领域，具体涉及一种基于流式处理的工业传感器数据处理方法。

技术介绍

[0002]随着智能工厂的兴起，工业传感器及物联网的快速发展，对于传感器信息和数据的采集类型和采集手段的日益丰富，导致需要处理的数据量和计算量呈爆炸增长，基于以往的物联网解决方案渐渐无法满足人们日益增长的需求。
[0003]为了适应需要处理的数据量和计算量呈爆炸增长这一发展变化，数据处理能力就越来越收到重视，但是现有的数据分析的速度和效率较低，各类传感器协议、数据频率、数据内容、数据量不一致，常规数据处理在针对简单逻辑处理时，采用硬件运算解决，效率高，但成本也高，复杂逻辑基本无法实现，也受限于硬件及环境问题，缺乏灵活性及可扩展性，并且模拟调试麻烦，无法实时动态调整系统技术参数，全凭人工经验判断，有的还存在存在单点故障。因此，亟需一种基于流式处理的工业传感器数据处理方法，以解决上述问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于流式处理的工业传感器数据处理方法，以解决现有的数据分析的速度和效率较低，各类传感器协议、数据频率、数据内容、数据量不一致，常规数据处理在针对简单逻辑处理时，采用硬件运算解决，效率高，但成本也高，复杂逻辑基本无法实现，也受限于硬件及环境问题，缺乏灵活性及可扩展性，并且模拟调试麻烦，无法实时动态调整系统技术参数，全凭人工经验判断，有的还存在存在单点故障的问题。
[0005]本专利技术提供一种基于流式处理的工业传感器数据处理方法，包括：获取传感器数据到数据采集层；在数据采集层通过建立协议转换层适配多种型号，多种协议的传感器；在数据处理层通过kafka消息队列接受数据，并且转发至数据处理引擎；在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库；数据处理引擎根据实时处理后的数据直接发送到时序数据库存储，同时把数据发回消息队列集群，用于其他系统二次消费使用；将配置信息保存在关系型数据库。
[0006]进一步地，所述数据处理引擎、时序数据库、关系型数据库通过控制配置集群控制。
[0007]进一步地，所述传感器包括：加速度传感器、温度传感器、湿度传感器、流量传感器、压力传感器、XYZ三向传感器。
[0008]进一步地，获取传感器数据到数据采集层的步骤中，所述传感器数据从各类采集器通过无线或者有线网络将数据传输到数据采集层。
[0009]进一步地，在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库的步骤中，通过数据处理引擎中引入计算和处理规则，将传感器数据实时处理，所述将传感器数据实时处理包括过滤异常值和增益放大倍数，并将结果保存在时序数据库。
[0010]进一步地，在当前系统资源趋向或者已经饱和的情况下，所述数据处理引擎可以在任意时间添加工作节点，不需要停机停服。
[0011]进一步地，将配置信息保存在关系型数据库的步骤中，所述配置信息包括：流程控制所需的本身节点信息、用于通信的上下游节点信息、分支流程信息、本节点对应数据处理模型、预警规则。
[0012]本专利技术的有益效果如下：本专利技术提供的一种基于流式处理的工业传感器数据处理方法，一方面，进行数据流处理时，能够持续稳定的支撑巨大的数据流量，并且不降低整个系统的性能，提高运行效率，满足传感器数据处理的实时性的要求，降低成本，可以无缝扩展，灵活配置，可实时模拟数据，动态调整传感器数据，实时增益或者调制数据。另一方面，数据处理层可进行持久化操作，将消息持久化到磁盘，极大地减少了数据丢失的概率；与数据处理引擎的高效组合，分布式可升级；处理业务数据的形式，极大地扩展了系统数据处理能力，同时也保证了计算并存储的快速性。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术提供的一种基于流式处理的工业传感器数据处理方法的流程示意图；图2为本专利技术提供的一种基于流式处理的工业传感器数据处理方法的应用架构图。
[0015]图示说明：1
‑
有线传感器；2
‑
无线传感器；3
‑
有线采集器；4
‑
无线采集网关。
具体实施方式
[0016]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术具体实施例及相应的附图对本专利技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。以下结合附图，详细说明本专利技术各实施例提供的技术方案。
[0017]请参阅图1至图2，一种基于流式处理的工业传感器数据处理方法，包括：S101获取传感器数据到数据采集层。
[0018]在本实施例中，所述传感器数据从各类采集器通过无线或者有线网络将数据传输到数据采集层。所述传感器包括：加速度传感器、温度传感器、湿度传感器、流量传感器、压力传感器、XYZ三向传感器。
[0019]S102在数据采集层通过建立协议转换层适配多种型号，多种协议的传感器.S103在数据处理层通过kafka消息队列接受数据，并且转发至数据处理引擎。
[0020]S104在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库。
[0021]在本实施例中，通过数据处理引擎中引入计算和处理规则，将传感器数据实时处理，所述将传感器数据实时处理包括过滤异常值和增益放大倍数，并将结果保存在时序数据库。
[0022]数据处理引擎能够根据不同的传感器类型，引入不同的判定规则，可准实时触发传感器上下限报警。如温度、压力可引入高报，高高报，加速度、速度类可用计算引擎处理过的数据进行报警，如XYZ三向传感器，可计算出实际的空间加速度后，再根据规则报警（如在XYZ三轴上任何一个方向上都达不到报警的情况，但在进行 计算结果后，其空间加速度超过报警阈值，从而报警）。
[0023]数据处理引擎也能够动态根据外围环境引入的参数，实时调整判定规则，达到动态报警的效果。如根据时间不同，针对传感器报警的上下限也会不同。在实际的生产中，有些对温度较为敏感的设备，在早晚温差变化时，会发生误报，可根据实际的时间如早8点环境温度开始上升，报警阈值可相应调小。晚8点后，环境温度开始下降，报警阈值可相应调大。系统针对湿度敏感的环境，可实时采集天气预报网站的环境实时湿度数据，针对不同湿度的场景，进行相应的报警阈值调整。
[0024]S105数据处理引擎根据实时处理后的数据直接发送到时序数据库存储，同时把数据发回消息队列集群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流式处理的工业传感器数据处理方法，其特征在于，包括：获取传感器数据到数据采集层；在数据采集层通过建立协议转换层适配多种型号，多种协议的传感器；在数据处理层通过kafka消息队列接受数据，并且转发至数据处理引擎；在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库；数据处理引擎根据实时处理后的数据直接发送到时序数据库存储，同时把数据发回消息队列集群，用于其他系统二次消费使用；将配置信息保存在关系型数据库。2.根据权利要求1所述的一种基于流式处理的工业传感器数据处理方法，其特征在于，所述数据处理引擎、时序数据库、关系型数据库通过控制配置集群控制。3.根据权利要求1所述的一种基于流式处理的工业传感器数据处理方法，其特征在于，所述传感器包括：加速度传感器、温度传感器、湿度传感器、流量传感器、压力传感器、XYZ三向传感器。4.根据权利要求1所述的一种基于流式处理的工业传感器数据处理方法，其特征在于，...

【专利技术属性】
技术研发人员：刘欣伟，杜勇，唐吉，吴玮楠，袁晓慧，
申请(专利权)人：慧士得南京科技有限公司，
类型：发明
国别省市：