【技术实现步骤摘要】
本专利技术涉及数据处理，具体而言涉及一种基于规则引擎的数据采集方法和系统。
技术介绍
1、在水上训练远程监测应用中，传感器节点采集的训练数据对进一步训练评估起着至关重要的作用。为了对采集到的数据进行进一步的评估，需要将数据传输到中心节点或网关节点中进行进一步的处理和存储。一般采用ieee 802.15.4phy和mac标准的zigbee设备向中心节点进行无线传输。在每个远程训练监测应用程序中，一个主要的限制是功率。用于收集数据的传感器节点一般为电池供电设备，频繁充电或更换电池也很困难。且传感器采集的初始数据存在噪声，数据的准确性难以保证。
2、此外，在物联网支持的远程训练监测应用中，从传感器收集的数据应该可以随时地访问，这需要持续的网络连接。如果远程训练监测应用程序连续传输数据，则生成的数据量将非常大。如果采用传统的连续传输方式，就不能有效地利用可用带宽。它甚至会由于延迟和缓冲区过载而导致数据丢失。基于zigbee技术的无线传感器网络在传输数据的节点数量增加时，需要传输的数据量增加，传输延迟和传输过程中的损耗也会增加。
3、在远程监测应用中，正常的训练数据不需要连续传输，因为这会增加网络的负荷。在现有的数据采集和传输架构中，采用了传统的数据连续传输方式，这导致了传感器节点更高的功耗和网络流量的增加。
技术实现思路
1、本专利技术的目的在于提供一种基于规则引擎的数据采集方法和系统，以解决现有技术中的问题。
2、为实现上述目的，本专利技术提供如下技术
3、一种基于规则引擎的数据采集系统，用于从发送端获取样本数据，对样本数据进行预处理后，获取规则数据，并将规则数据发送至接收端，包括训练数据采集模块、特征提取模块、以及规则引擎模块；
4、所述训练数据采集模块用于从发送端获取样本数据，并对样本数据进行预处理，获得各样本数据分别所对应的数据信号，随后将各个数据信号发送至特征提取模块；
5、特征提取模块基于其所接收的各个数据信号，通过预设算法提取并获得各数据信号分别所对应的不同预设种类的数据特征，并将所获数据特征和数据信号发送至规则引擎模块；
6、所述规则引擎模块接收到不同种类的数据特征后，基于数据特征对数据信号进行分类筛选后将数据信号发送至接收端。
7、进一步地，前述的训练数据采集模块包括仪表放大器、预设数量的滤波器和放大极，训练数据采集模块通过仪表放大器和放大仪采集样本数据；
8、对样本数据进行预处理具体包括，通过不同滤波器所提供的自适应滤波技术和信号分离技术去除所采集样本数据中的异常值和缺失值，获得各个样本数据所对应的各个无噪声的数据信号，将各数据信号发送至特征提取模块。
9、进一步地，前述的特征提取模块在接收到数据信号后，对数据信号进行分解后，针对各数据信号，以各预设种类的数据特征为基础，进行数据特征提取。
10、进一步地，前述的规则引擎模块包括决策单元、控制单元和存储单元，所述决策单元用于接收来自于特征提取模块的数据特征和数据信号，对数据信号进行筛选分类后按照信号数据类型将数据信号发送至控制单元，数据信号类型包括：规则数据信号和非规则数据信号；
11、所述控制单元根据数据信号类型对数据信号进行存储转发，将规则数据信号直接转发至发送端，将非规则数据信号先存储至存储单元后再转发至发送端。
12、进一步地，前述的一种基于规则引擎的数据采集系统，还包括规则配置模块，规则配置模块与规则引擎模块相连，作为数据采集系统外接可视化设备，当满足预设触发条件时，直接触发规则引擎模块进行数据信号的转发。
13、本专利技术的另一方面提出一种基于规则引擎的数据采集方法，用于从发送端获取样本数据，对样本数据进行预处理后，获取规则数据，并将规则数据发送至接收端，包括以下步骤：
14、步骤a、发送端发送样本数据至训练数据采集模块，对样本数据进行预处理，获得各样本数据分别所对应的数据信号，随后将各个数据信号发送至特征提取模块；
15、步骤b、特征提取模块基于其所接收的各个数据信号，通过预设算法提取并获得各数据信号分别所对应的不同预设种类的数据特征，并将所获数据特征和数据信号发送至规则引擎模块；
16、步骤c、规则引擎模块接收到不同种类的数据特征后，基于数据特征对数据信号进行分类筛选后将数据信号发送至接收端。
17、进一步地，前述的步骤b中通过自适应小波阈值变换算法，将数据信号分解为多个尺度，针对不同尺度的信号特点，自动选择符合该尺度信号特点的小波基函数，提取并获得各数据信号分别所对应的不同预设种类的数据特征。
18、进一步地，前述的步骤c中，对数据信号进行分类筛选，包括以下步骤：
19、步骤c1、在规则引擎模块中设置训练阈值区间，根据其所接收的不同种类数据特征进行数据关联分析，获得不同种类数据特征分别所对应的关联模型，随后进入步骤c2；
20、步骤c2、根据关联模型，确定各类数据特征之间的阈值区间，基于步骤c1中所设置的训练阈值区间，建立并获得阈值模型，随后进入步骤c2；
21、步骤c3、将数据信号输入至阈值模型中，筛选出包含于阈值区间的数据信号作为规则数据信号，不包含于阈值区间的数据信号作为非规则数据信号。
22、本专利技术所述一种基于规则引擎的数据采集方法和系统，采用以上技术方案与现有技术相比，具有以下技术效果：
23、本专利提出的基于规则引擎的数据采集方法和系统，可以实现很好的节能和显著减少网络流量的产生，可以辅助低功耗、低数据速率的网络实现数据采集和处理。
24、对于所采集的属于非规则数据信号的异常数据均有记录和备份，方便后续改进和提高。根据该系统所记录存储的数据，可以针对性通过调整规则配置，进行实时数据监测，如遇特殊情况也可快速响应。
本文档来自技高网...【技术保护点】
1.一种基于规则引擎的数据采集系统，用于从发送端获取训练的样本数据，对样本数据进行预处理后，获取规则数据，并将规则数据发送至接收端，其特征在于，包括训练数据采集模块、特征提取模块、以及规则引擎模块；
2.根据权利要求1所述的一种基于规则引擎的数据采集系统，其特征在于，所述训练数据采集模块包括仪表放大器、预设数量的滤波器和放大极，训练数据采集模块通过仪表放大器和放大仪采集样本数据；
3.根据权利要求2所述的一种基于规则引擎的数据采集系统，其特征在于，所述特征提取模块在接收到数据信号后，对数据信号进行分解后，针对各数据信号，以各预设种类的数据特征为基础，进行数据特征提取。
4.根据权利要求1所述的一种基于规则引擎的数据采集系统，其特征在于，所述规则引擎模块包括决策单元、控制单元和存储单元，所述决策单元用于接收来自于特征提取模块的数据特征和数据信号，对数据信号进行筛选分类后按照信号数据类型将数据信号发送至控制单元，数据信号类型包括：规则数据信号和非规则数据信号；
5.根据权利要求1所述的一种基于规则引擎的数据采集系统，还包括规则配置模块，
6.根据权利要求1-5任一所述的一种基于规则引擎的数据采集方法，用于从发送端获取样本数据，对样本数据进行预处理后，获取规则数据，并将规则数据发送至接收端，其特征在于，包括以下步骤：
7.根据权利要求6所述的一种基于规则引擎的数据采集方法，其特征在于，所述步骤B中通过自适应小波阈值变换算法，将数据信号分解为多个尺度，针对不同尺度的信号特点，自动选择符合该尺度信号特点的小波基函数，提取并获得各数据信号分别所对应的不同预设种类的数据特征。
8.根据权利要求6所述的一种基于规则引擎的数据采集方法，其特征在于，所述步骤C中，对数据信号进行分类筛选，包括以下步骤：
...【技术特征摘要】
1.一种基于规则引擎的数据采集系统，用于从发送端获取训练的样本数据，对样本数据进行预处理后，获取规则数据，并将规则数据发送至接收端，其特征在于，包括训练数据采集模块、特征提取模块、以及规则引擎模块；
2.根据权利要求1所述的一种基于规则引擎的数据采集系统，其特征在于，所述训练数据采集模块包括仪表放大器、预设数量的滤波器和放大极，训练数据采集模块通过仪表放大器和放大仪采集样本数据；
3.根据权利要求2所述的一种基于规则引擎的数据采集系统，其特征在于，所述特征提取模块在接收到数据信号后，对数据信号进行分解后，针对各数据信号，以各预设种类的数据特征为基础，进行数据特征提取。
4.根据权利要求1所述的一种基于规则引擎的数据采集系统，其特征在于，所述规则引擎模块包括决策单元、控制单元和存储单元，所述决策单元用于接收来自于特征提取模块的数据特征和数据信号，对数据信号进行筛选分类后按照信号数据类型将数据信号发送至控制单元，数...
【专利技术属性】
技术研发人员：崔畅，周沂，王国成，左静怡，奚城科，
申请(专利权)人：南京简海科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。