一种油气生产智能物联网数据自清洗与修正补齐方法技术

技术编号:41733112 阅读:30 留言:0更新日期:2024-06-19 12:53
本发明专利技术涉及一种油气生产智能物联网数据自清洗与修正补齐方法,包括:采集原始数据,将原始数据转换为数据队列,其中,原始数据为面向石油能源化工领域油气生产智能物联网系统的时序数据;将数据队列进行预处理;将预处理后的数据队列进行异常检测获得异常时序数据;对异常时序数据进行剥离并压缩存储,获得正常时序数据队列和异常时序数据队列;对异常时序数据队列进行数据清洗及补齐修正,将补齐修正后的时序数据与正常时序数据队列进行合并完成数据队列补充。本发明专利技术对解决了石油化工能源行业物联网数据采集过程中存在的噪声污染、测量值缺失和错误数据等数据质量不高的问题,可以有效提高油气生产数据的质量和可靠性。

【技术实现步骤摘要】

本专利技术是关于一种油气生产智能物联网数据自清洗与修正补齐方法、装置及计算机程序产品,涉及油气能源及物联网领域。


技术介绍

1、随着油气生产设备智能化和物联网技术的发展,大量传感器被应用在油气生产现场进行数据采集。

2、然而,由于石油化工能源领域中油气生产业务域存在作业环境复杂、设备老化、射频干扰等特殊因素,物联网系统采集到的时序类数据往往存在噪声、缺失和错误等异常。

3、传统的数据处理方法无法有效处理油气能源领域物联网系统数据质量差的问题。


技术实现思路

1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此,针对上述问题,本专利技术的目的是提供一种能够有效提高油气生产数据的质量和可靠性的油气生产智能物联网数据自清洗与修正补齐方法、装置及计算机程序产品。

2、为了实现上述专利技术目的,本专利技术采用的技术方案为:

3、第一方面,本专利技术提供一种油气生产智能物联网数据自清洗与修正补齐方法,该方法包括:

4、采集原始数据,将原始数据转换为数据队本文档来自技高网...

【技术保护点】

1.一种油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,该方法包括:

2.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,时序数据包括设备ID、时间戳TS、点位的标识KEY和点位的值VALUE,将时序数据整理为以上结构进入KAFKA消息中形成数据队列。

3.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述数据队列进行预处理,包括:

4.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述预处理后的数据队列进行异常检测获得异常时序数据,包括:

...

【技术特征摘要】

1.一种油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,该方法包括:

2.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,时序数据包括设备id、时间戳ts、点位的标识key和点位的值value,将时序数据整理为以上结构进入kafka消息中形成数据队列。

3.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述数据队列进行预处理,包括:

4.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述预处理后的数据队列进行异常检测获得异常时序数据,包括:

5.根据权利要求4所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,对数据队列中的时序数据通过z-score判断异常值类型,包括:

6.根据权利要求2所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于...

【专利技术属性】
技术研发人员:卫乾孙红军张明邢凯雯
申请(专利权)人:中国石油大学北京
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1