一种基于节点串行采集数据处理的方法与装置制造方法及图纸

本发明专利技术提供一种基于节点串行采集数据处理方法及装置，该方法包括：对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库；新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率；启动边缘端通道，边缘端根据点位采集频率定时获取点位实时值为第二结果；根据第二结果的点位的路径是否存在于数据库事件监听或业务事件监听中，分别进行存储或发送至消息队列；第三方业务平台监听消息队列，获取数据实时值。本发明专利技术可实现数据信息传输的自动化、精确化、定制化的要求，同时也达到了提高效率、节约成本的效果。节约成本的效果。节约成本的效果。

【技术实现步骤摘要】
一种基于节点串行采集数据处理的方法与装置


[0001]本专利技术涉及采集数据处理领域，具体是一种基于节点串行采集数据处理的方法与装置。

技术介绍

[0002]物联网，是指通过各种信息传感器、射频识别技术、全球定位系统、红外传感器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学等各种需要的信息，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。随着物联网应用的普及，物联网系统的使用场景越来越复杂，物联网系统中的接入设备也越来越多，这些设备在实现数据采集时需要配置相应的数据采集服务组件，因此，对物联网系统中的多个接入设备进行配置，是物联网系统进行数据采集、处理、推送的重要步骤。
[0003]现有技术中，由于物联网的各设备的通信采集数据格式可能并不相同，采集流程也不相同，在对新接入物联网系统的设备进行数据采集后，需要开发人员对数据进行规整、处理，根据业务进行数据整合，对新接入设备的数据格式进行分析，重新开发采集后数据进一步处理单元。这种方式使得当前物联网系统在数据接入单元的开发过程中，开发效率低，软件编程工作量较大，导致开发成本增加，也增长了交付时间。

技术实现思路

[0004]本专利技术提供了一种基于节点串行采集数据处理方法及装置，包括数据采集、数据处理、数据存储和数据传输，采用多进程多任务的功能模式，解决了现有技术中数据信息量大、数据获取及时性要求高、自动化程度要求高、负载均衡器的能力以及应用的扩展能力均受到限制的技术问题。
[0005]一种基于节点串行采集数据处理的方法，包括如下步骤：
[0006]对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库，所述第一结果包括空间信息、设备信息以及设备下点位的信息；
[0007]新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率；
[0008]启动边缘端通道，边缘端根据点位采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；
[0009]获取第二结果，判断第二结果的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存缓存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；
[0010]获取第二结果，判断第二结果的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；
[0011]第三方业务平台监听消息队列，获取数据实时值。
[0012]进一步的，所述边缘端通道是指主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。
[0013]进一步的，所述点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。
[0014]一种基于节点串行采集数据处理的装置，包括：
[0015]第一获得单元，用于对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库，所述第一结果包括空间信息，设备信息以及设备下点位的信息；
[0016]第二获得单元，用于新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率，启动边缘端通道，边缘端根据点位的采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；
[0017]数据库事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；
[0018]业务事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；
[0019]第三方监听单元，用于监听消息队列，获取数据实时值。
[0020]进一步的，所述边缘端通道是指主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。
[0021]进一步的，所述点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。
[0022]本专利技术基于节点串行采集数据处理方法及装置，可实现基础数据采集、存储、通信收发、通信方式分化、通信流程控制、底层协议规整、基础数据整合等网络通信职责，达到了高效传输并充分共享数据信息，实现了数据信息传输的自动化、精确化、定制化的要求，同时也达到了提高效率，节约成本的效果。例如：在整个基础数据采集、存储、与业务平台通信过程中，CPU使用率在40％
‑
100％之间，平均利用率小于85％，符合性能指标。内存使用率最高峰值在66％左右，同时该服务器还有系统资源占据内存，所以实际内存占用率低于66％，小于85％，符合性能指标。同时，在基于100万基础数据的秒级采集、存储、与业务平台通信过程中，峰值速率接近总速率的12.8％，即9Mbps相当于9000kbps，完全满足用户的速率需求(10kbps)。
附图说明
[0023]图1为本专利技术实施例中一种基于节点串行采集数据处理方法的流程示意图；
[0024]图2为本专利技术实施例中一种基于节点串行采集数据处理装置的结构示意图；
[0025]图3现有技术基于节点串行采集数据处理装置的结构示意图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]实施例一
[0028]图1为本专利技术实例中一种基于节点串行采集数据处理方法的流程示意图。如图1所示，本申请实施例中的一种采集数据处理方法，应用于一服务器，所述方法包括：
[0029]步骤110，首先对需要采集的数据进行统计，并进行数据建模，将建模后的数据存储至Mysql数据库，存储的这些数据为第一结果，所述第一结果包括空间信息、设备信息以及设备下点位的信息。
[0030]这里采集的数据信息，需要以一定的方式进行组织、处理和存储，才能有效进行处理和利用。无序的数据信息既不方便信息的存储、传输和处理，更不利于信息的使用。基本的方法是采用实时数据库来存储信息。实时数据库既是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于节点串行采集数据处理的方法，其特征在于：包括如下步骤：对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库，所述第一结果包括空间信息、设备信息以及设备下点位的信息；新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率；启动边缘端通道，边缘端根据点位采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；获取第二结果，判断第二结果的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存缓存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；获取第二结果，判断第二结果的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；第三方业务平台监听消息队列，获取数据实时值。2.如权利要求1所述的基于节点串行采集数据处理的方法，其特征在于：所述边缘端通道是指主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。3.如权利要求1所述的基于节点串行采集数据处理的方法，其特征在于：所述点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。4.一种基于节点串行采集数据处理的装置，其特征在于，包括：第一获得单元...

【专利技术属性】
技术研发人员：徐文渊，殷胜，陶元，邱思齐，
申请(专利权)人：国网湖北省电力有限公司，
类型：发明
国别省市：