【技术实现步骤摘要】
本专利技术是关于一种油气生产智能物联网数据自清洗与修正补齐方法、装置及计算机程序产品,涉及油气能源及物联网领域。
技术介绍
1、随着油气生产设备智能化和物联网技术的发展,大量传感器被应用在油气生产现场进行数据采集。
2、然而,由于石油化工能源领域中油气生产业务域存在作业环境复杂、设备老化、射频干扰等特殊因素,物联网系统采集到的时序类数据往往存在噪声、缺失和错误等异常。
3、传统的数据处理方法无法有效处理油气能源领域物联网系统数据质量差的问题。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此,针对上述问题,本专利技术的目的是提供一种能够有效提高油气生产数据的质量和可靠性的油气生产智能物联网数据自清洗与修正补齐方法、装置及计算机程序产品。
2、为了实现上述专利技术目的,本专利技术采用的技术方案为:
3、第一方面,本专利技术提供一种油气生产智能物联网数据自清洗与修正补齐方法,该方法包括:
4、采集原始数据,将
...【技术保护点】
1.一种油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,该方法包括:
2.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,时序数据包括设备ID、时间戳TS、点位的标识KEY和点位的值VALUE,将时序数据整理为以上结构进入KAFKA消息中形成数据队列。
3.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述数据队列进行预处理,包括:
4.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述预处理后的数据队列进行异常检测获得异常时序数据,
...
【技术特征摘要】
1.一种油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,该方法包括:
2.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,时序数据包括设备id、时间戳ts、点位的标识key和点位的值value,将时序数据整理为以上结构进入kafka消息中形成数据队列。
3.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述数据队列进行预处理,包括:
4.根据权利要求1所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,将所述预处理后的数据队列进行异常检测获得异常时序数据,包括:
5.根据权利要求4所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于,对数据队列中的时序数据通过z-score判断异常值类型,包括:
6.根据权利要求2所述的油气生产智能物联网数据自清洗与修正补齐方法,其特征在于...
【专利技术属性】
技术研发人员:卫乾,孙红军,张明,邢凯雯,
申请(专利权)人:中国石油大学北京,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。