【技术实现步骤摘要】
本申请涉及油气生产物联网数据处理
,特别涉及一种基于Hadoop的油气生产物联网大数据的处理方法及系统。
技术介绍
近年来,基于井场、站库等油气田生产现场的数据采集、过程控制、参数优化、管理决策等凸现重要,将自动化技术、通信技术、信息技术融合的油气生产物联网系统在智能识别、数据融合、数据应用等方面发挥越来越大的作用,油气生产物联网是油气田信息化建设发展的必然趋势。目前,所建立的油气生产物联网系统主要包括感知层、传输层以及应用层等结构。其中,感知层主要由各种感知设备和控制设备构成;其主要通过有/无线温度变送器、有/无线压力变送器、流量计等传感器,自动采集油气水井、集输管网及油气处理站库等生产单元的生产数据(主要包括压力、温度、工作电流、载荷以及有毒有害气体浓度等),从而实现对生产状态的全面感知以及对各种设备的自动控制。传输层主要采用有线传输或无线传输的方式,将感知层所采集到的油气田生产数据传输至应用层进行分析。应用层主要用于对所接收的油气田生产数据进行分析,根据分析结果来对生产设备的生产状态进行判断和统计,帮助用户监控生产情况。应用层一般包括应用系统、关系数据库以及Web应用系统等结构。在实现本申请过程中,专利技术人发现现有技术中至少存在如下问题:而现有技术中的应用系统主要是基于关系数据库的静态数据来进行分析,这无法对油气田生产物联网大数据进行实时分析,从而导致无法实现实时监控生产单元状态、统计油气田
【技术保护点】
一种基于分布式处理框架Hadoop的油气生产物联网大数据的处理方法,其特征在于,包括:Hadoop平台从实时数据库中获取生产单元的油气生产物联网大数据;所述Hadoop平台对所获取的油气生产物联网大数据进行分布式计算;所述Hadoop平台将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判断所述生产单元发生异常;所述Hadoop平台在判断出所述生产单元发生异常时,输出所述油气生产物联网大数据的分析结果。
【技术特征摘要】
1.一种基于分布式处理框架Hadoop的油气生产物联网大数据的处理方法,其特征在于,
包括:
Hadoop平台从实时数据库中获取生产单元的油气生产物联网大数据;
所述Hadoop平台对所获取的油气生产物联网大数据进行分布式计算;
所述Hadoop平台将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判
断所述生产单元发生异常;
所述Hadoop平台在判断出所述生产单元发生异常时,输出所述油气生产物联网大数据
的分析结果。
2.根据权利要求1所述的处理方法,其特征在于,所述从实时数据库中获取生产单元
的油气生产物联网大数据包括:
利用所获取的配置文件中对油气生产物联网大数据所设定的标识,从所述实时数据库中
获取具有与所述标识相匹配的油气生产物联网大数据。
3.根据权利要求1所述的处理方法,其特征在于,所述对所获取的油气生产物联网大
数据进行分布式计算包括:
根据所获取的配置文件中的算法配置参数,从逻辑算法库中调用对应的逻辑算法;
利用所调用的算法对所获取的油气生产物联网大数据进行分布式计算。
4.根据权利要求3所述的处理方法,其特征在于,在利用所调用的算法对所获取的油
气生产物联网大数据进行分布式计算之前,该方法还包括:
利用所述配置文件,对所获取的油气生产物联网大数据进行分类;
利用所述配置文件,对所述油气生产物联网大数据进行排序。
5.根据权利要求1所述的处理方法,其特征在于,所述将所述油气生产物联网大数据
的计算结果与预设阈值进行对比,以判断所述生产单元发生异常包括:
根据所述油气生产物联网大数据的计算结果与预设阈值的对比结果,判断所述油气生产
物联网大数据中是否存在异常数据;
在判断出所述油气生产物联网大数据中存在异常数据时,判断所述生产单元发生异常。
6.根据权利要求1所述的处理方法,其特征在于,所述输出所述油气生产物联网大数
据的分析结果包括:
将所述分析结果存储在关系数据库中;
在接收到用户指令或自动化脚本指令时,从所述关系数据库中查找与所述用户指令或所
\t述自动化脚本指令相匹配的分析结果;
将所查找到的分析结果发送给用户。
7.根据权利要求1或6所述的处理方法,其特征在于,所述分析结果包括所述油气生
产物联网大数据与预设阈值的对比结果、异常数据和/或警示信息。
8.一种...
【专利技术属性】
技术研发人员:龚仁彬,李群,马刚,柴永财,王从镔,姚刚,曹戈俊,李金诺,吴海莉,胥小马,
申请(专利权)人:中国石油天然气股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。