一种数据采集中问题数据的清理方法技术

本发明专利技术提出了一种数据采集中问题数据的清理方法，包括以下步骤：根据数据的采集时间判断时效性，将失去时效性的数据抛弃；将本次采集的A数据和上次采集的B数据进行比较，若超过预设误差范围，则A数据是需要过滤数据，A数据不入库，并将其记录到redis历史数据中；将再采集到C数据和A数据比较，若超过预设误差范围，则需要和B数据比较，判断C数据和B数据的误差范围是否在预设误差范围；若超过，则C数据是问题数据，需要过滤，redis的历史数据更新为C数据，若在预设误差范围内，则认为是正常的跳变，C数据入库，同时将redis中的A数据更新为C数据，历史B数据被清理。该方法能够对问题数据进行过滤筛选，保证正常跳变的数据能被采集。保证正常跳变的数据能被采集。保证正常跳变的数据能被采集。

【技术实现步骤摘要】
一种数据采集中问题数据的清理方法


[0001]本专利技术涉及互联网数据采集的
，特别是一种数据采集中问题数据的清理方法。

技术介绍

[0002]工业互联网数据采集的过程中，可能存在跳变(包括正常跳变和异常跳变的数据)或者延迟采集的数据。这部分数据对整理的数据分析可能存在误导性或失去时效性，对应用端应用存在不友好的展示效果，因此需要判断采集的数据是否为跳变数据、延迟采集的数据，并且需要大批量数据筛选、查询，现提出一种数据采集中问题数据的清理方法。

技术实现思路

[0003]本专利技术的目的就是解决现有技术中的问题，提出一种数据采集中问题数据的清理方法，可以对问题数据进行过滤筛选，方便快速查询，保证正常跳变的数据能被采集。
[0004]为实现上述目的，本专利技术提出了一种数据采集中问题数据的清理方法，包括以下步骤：
[0005]S1.通过kafka监听采集，获取数据源；
[0006]S2.根据数据的采集时间判断其是否为失去时效性的数据，若该数据为失去时效性的数据则抛弃，否则进入步骤S3；...

【技术保护点】

【技术特征摘要】
1.一种数据采集中问题数据的清理方法，其特征在于：包括以下步骤：S1.通过kafka监听采集，获取数据源；S2.根据数据的采集时间判断其是否为失去时效性的数据，若该数据为失去时效性的数据则抛弃，否则进入步骤S3；S3.通过redis存储上次采集的B数据，并读取上次采集的B数据；S4.将本次采集的A数据和上次采集的B数据进行比较，如果超过预设误差范围，则过滤A数据，此时A数据不入库，同时将A数据记录到redis的历史数据中，然后进入步骤S5；如果在预设误差范围，则A数据入库，同时存入redis，替换redis中的B数据；S5.将再次采集到的C数据和A数据比较，如果超过预设误差范围，则进入步骤S6；若在预设误差范围内，则A数据入...

【专利技术属性】
技术研发人员：徐华增，余福荣，
申请(专利权)人：杭州玖欣物联科技有限公司，
类型：发明
国别省市：