两种基于阈值的历史数据采样方法技术

本发明专利技术的两种基于阈值的历史数据采样方法，在综合监控系统中，采用面向对象的数据建模方式，数据点均以对象的形式存在实时库中，经由历史数据处理模块处理后将历史数据存入关系型数据库中；各数据对象点上与历史存储相关的配置属性设计一种面向数据对象的历史存储配置表；其特征在于：固定阈值采样策略只保存那些有显著变化的数值，而忽略那些变化较小的数值；对于配置为固定阈值采样策略的数据点，同时需要配置参数“固定阈值”FixedThreshold的值；动态阈值采样策略也是保存那些有显著变化的数值，而忽略那些变化较小的数值；动态阈值法不需要设置阈值，该阈值由历史数据处理模块计算并动态调整，直到满足采样结束为止。

【技术实现步骤摘要】
两种基于阈值的历史数据采样方法
本专利技术涉及监控软件系统专业领域，尤其涉及大型监控系统中与历史数据采样、压缩、存储相关的技术手段。涵盖综合监控、电力监控、环境与设备监控系统、火灾监控、煤矿、冶金、石油等自动化工业监控行业。
技术介绍
在大型综合监控系统中，接入了大量的传感器、控制器等过程控制设备，这些设备在实际生产过程中，将会产生大量的数据。若监控系统将这些变化频度高、时间持续长的所有实时变化的数据都存储下来，显然会使得历史数据急剧膨胀，而且无实际价值。因此，通常在监控系统中会先将设备采集的实时数据存入系统实时库中，然后再利用历史数据处理模块将实时库中保存的数据进行压缩采样，即过滤掉部分对拟合无太大影响的数据点，再将数据点进行存储，并供历史应用使用。在常规的监控系统中，通常使用的数据采样存储策略分别是：1)数据变化采样策略：即不存在采样过滤，直接将每次变化的数据值和时间进行存储。该方法属于无损存储，数据精度最高，历史数据可以完整还原实时记录。但是在动辄数百万点的大型综合监控系统中，这种方式对存储要求太高，数据处理和数据检索的效本文档来自技高网...

【技术保护点】
1.两种基于阈值的历史数据采样方法，在综合监控系统中，采用面向对象的数据建模方式，数据点均以对象的形式存在实时库中，经由历史数据处理模块处理后将历史数据存入关系型数据库中；各数据对象点上与历史存储相关的配置属性设计一种面向数据对象的历史存储配置表；其特征在于：/n固定阈值采样策略：/n固定阈值采样策略在于只保存那些有显著变化的数值，而忽略那些变化较小的数值；对于配置为固定阈值采样策略的数据点，同时需要配置参数“固定阈值”FixedThreshold的值，只有在阈值FixedThreshold范围之外的数据变化才会被采样；固定阈值采样策略总是记录第一个数据变化，然后设置采样范围为第一个数据值±F...

【技术特征摘要】
1.两种基于阈值的历史数据采样方法，在综合监控系统中，采用面向对象的数据建模方式，数据点均以对象的形式存在实时库中，经由历史数据处理模块处理后将历史数据存入关系型数据库中；各数据对象点上与历史存储相关的配置属性设计一种面向数据对象的历史存储配置表；其特征在于：
固定阈值采样策略：
固定阈值采样策略在于只保存那些有显著变化的数值，而忽略那些变化较小的数值；对于配置为固定阈值采样策略的数据点，同时需要配置参数“固定阈值”FixedThreshold的值，只有在阈值FixedThreshold范围之外的数据变化才会被采样；固定阈值采样策略总是记录第一个数据变化，然后设置采样范围为第一个数据值±FixedThreshold之外并继续搜索，直到搜索到满足条件的下一个记录点，然后再次调整搜索范围为该数据值±FixedThreshold之外并继续搜索；
动态阈值采样策略：
动态阈值采样策略也是保存那些有显著变化的数值，而忽略那些变化较小的数值；动态阈值法不需要设置阈值，该阈值由历史数据处理模块计算并动态调整，直到满足采样结束为止；动态阈值采样策略需配置参数“动态阈值时间范围(单位：小时)DynamicThresholdTimeInterval”和“期望的采样目标点数DynamicThresholdPointsNum”。


2.根据权利要求1所述的两种基于阈值的历史数据采样方法，其特征在于：
所述固定阈值采样策略具体的步骤如下：
步骤一、配置各个需要采用“固定阈值采样策略”的数据点“对象配置属性表”中StorageMethod为“4-固定阈值采样策略，以及各个数据点的FixedThreshold属性；
步骤二、记录并存储每个“固定阈值采样策略”的数据点的第一个数据变化值；
步骤三、针对每个数据点的下一个数据变化值，判断其与上一个数据值的偏差是否小于FixedThreshold，若是，则不存储该次数据变化；若否，则记录该次数据变化；
步骤四、循环执行步骤三。


3.根据权利要求1所述的两种基于阈值的历史数据采样方法，其特征在于：
所述动态阈值采样策略使用二分法不断迭代寻找最合适的阈值，从原始数据集合中筛选出用户设定数目的采样结果集；阈值的动态调整范围最小值为0，最大为输入原始数据集中的“最大值-最小值”。


4.根据权利要求3所述的两种基于阈值的历史数据采样方法，其特征在于：
所述动态阈值采样策略从最小阈值开始筛选采样结果集，如果结果集数目大于“期望的采样目标点数DynamicThresholdPointsNum”参数设定的目标，就按照一定规则增大阈值，重新进行筛选；如果结果集数目小于“期望的采样目标点数DynamicThresholdPointsNum”参数设定的目标，就按照...

【专利技术属性】
技术研发人员：李佑文，褚红健，蔡一磊，周金国，俞铭，葛淼，
申请(专利权)人：南京国电南自轨道交通工程有限公司，
类型：发明
国别省市：江苏;32