一种基于Hadoop的油气生产物联网大数据的处理方法及系统技术方案

技术编号:15118365 阅读:101 留言:0更新日期:2017-04-09 16:07
本申请实施例公开了一种基于Hadoop的油气生产物联网大数据的处理方法及系统。该方法包括:Hadoop平台从实时数据库中获取生产单元的油气生产物联网大数据;Hadoop平台对所获取的油气生产物联网大数据进行分布式计算;Hadoop平台将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判断所述生产单元发生异常;Hadoop平台在判断出所述生产单元发生异常时,输出所述油气生产物联网大数据的分析结果。利用本申请实施例所提供的技术方案,可以对油气生产物联网大数据进行实时分析,进而实现实时监控生产单元工作状态的目的。

【技术实现步骤摘要】

本申请涉及油气生产物联网数据处理
,特别涉及一种基于Hadoop的油气生产物联网大数据的处理方法及系统
技术介绍
近年来,基于井场、站库等油气田生产现场的数据采集、过程控制、参数优化、管理决策等凸现重要,将自动化技术、通信技术、信息技术融合的油气生产物联网系统在智能识别、数据融合、数据应用等方面发挥越来越大的作用,油气生产物联网是油气田信息化建设发展的必然趋势。目前,所建立的油气生产物联网系统主要包括感知层、传输层以及应用层等结构。其中,感知层主要由各种感知设备和控制设备构成;其主要通过有/无线温度变送器、有/无线压力变送器、流量计等传感器,自动采集油气水井、集输管网及油气处理站库等生产单元的生产数据(主要包括压力、温度、工作电流、载荷以及有毒有害气体浓度等),从而实现对生产状态的全面感知以及对各种设备的自动控制。传输层主要采用有线传输或无线传输的方式,将感知层所采集到的油气田生产数据传输至应用层进行分析。应用层主要用于对所接收的油气田生产数据进行分析,根据分析结果来对生产设备的生产状态进行判断和统计,帮助用户监控生产情况。应用层一般包括应用系统、关系数据库以及Web应用系统等结构。在实现本申请过程中,专利技术人发现现有技术中至少存在如下问题:而现有技术中的应用系统主要是基于关系数据库的静态数据来进行分析,这无法对油气田生产物联网大数据进行实时分析,从而导致无法实现实时监控生产单元状态、统计油气田生产情况的目的。
技术实现思路
本申请实施例的目的是提供一种基于Hadoop的油气生产物联网大数据的处理方法及系统,以实现对油气生产物联网大数据进行实时分析的目的。为解决上述技术问题,本申请实施例提供一种基于Hadoop的油气生产物联网大数据的处理方法及系统是这样实现的:本申请实施例提供了一种基于Hadoop的油气生产物联网大数据的处理方法,包括:Hadoop平台从实时数据库中获取生产单元的油气生产物联网大数据;所述Hadoop平台对所获取的油气生产物联网大数据进行分布式计算;所述Hadoop平台将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判断所述生产单元发生异常;所述Hadoop平台在判断出所述生产单元发生异常时,输出所述油气生产物联网大数据的分析结果。可选的,在至少一实施例中,所述从实时数据库中获取生产单元的油气生产物联网大数据包括:利用所获取的配置文件中对油气生产物联网大数据所设定的标识,从所述实时数据库中获取具有与所述标识相匹配的油气生产物联网大数据。可选的,在至少一实施例中,所述对所获取的油气生产物联网大数据进行分布式计算包括:根据所获取的配置文件中的算法配置参数,从逻辑算法库中调用对应的逻辑算法;利用所调用的算法对所获取的油气生产物联网大数据进行分布式计算。可选的,在至少一实施例中,在利用所调用的算法对所获取的油气生产物联网大数据进行分布式计算之前,该方法还包括:利用所述配置文件,对所获取的油气生产物联网大数据进行分类;利用所述配置文件,对所述油气生产物联网大数据进行排序。可选的,在至少一实施例中,所述将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判断所述生产单元发生异常包括:根据所述油气生产物联网大数据的计算结果与预设阈值的对比结果,判断所述油气生产物联网大数据中是否存在异常数据;在判断出所述油气生产物联网大数据中存在异常数据时,判断所述生产单元发生异常。可选的,在至少一实施例中,所述输出所述油气生产物联网大数据的分析结果包括:将所述分析结果存储在关系数据库中;在接收到用户指令或自动化脚本指令时,从所述关系数据库中查找与所述用户指令或所述自动化脚本指令相匹配的分析结果;将所查找到的分析结果发送给用户。可选的,在至少一实施例中,所述分析结果包括所述油气生产物联网大数据与预设阈值的对比结果、异常数据和/或警示信息。本申请实施例还提供了一种基于Hadoop的油气生产物联网大数据的处理系统,包括:应用层,所述应用层包括实时数据库和Hadoop平台,其中,所述实时数据库用于实时存储所采集的生产单元的油气生产物联网大数据;所述Hadoop平台包括:获取单元,用于从所述实时数据库中获取生产单元的油气生产物联网大数据;计算单元,用于对所获取的油气生产物联网大数据进行分布式计算;对比单元,用于将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判断所述生产单元发生异常;输出单元,用于在判断出所述生产单元发生异常时,输出所述油气生产物联网大数据的分析结果。可选的,在至少一实施例中,所述获取单元包括:获取子单元,用于利用所获取的配置文件中对油气生产物联网大数据所设定的标识,从所述实时数据库中获取具有与所述标识相匹配的油气生产物联网大数据。可选的,在至少一实施例中,所述计算单元包括:调用子单元,用于根据所获取的配置文件中的算法配置参数,从逻辑算法库中调用对应的逻辑算法;计算子单元,用于利用所调用的算法对所获取的油气生产物联网大数据进行分布式计算。可选的,在至少一实施例中,所述系统还包括:分类单元,用于利用所述配置文件,对所获取的油气生产物联网大数据进行分类;排序单元,用于利用所述配置文件,对所述油气生产物联网大数据进行排序。可选的,在至少一实施例中,所述输出单元包括:存储子单元,用于将所述分析结果存储在关系数据库中;查找子单元,用于在接收到用户指令或自动化脚本指令时,从所述关系数据库中查找与所述用户指令或所述自动化脚本指令相匹配的分析结果;发送子单元,用于将所查找到的分析结果发送给用户。可选的,在至少一实施例中,所述应用层还包括:应用装置,所述应用装置用于将所述输出单元所输出的分析结果提供给用户。可选的,在至少一实施例中,所述处理系统还包括:感知层,所述感知层用于采集油气生产物联网大数据以及监控所述生产单元;传输层,所述传输层用于将感知层所采集到的油气生产物联网大数据通过有线传输或无线传输的方式发送给应用层以实时存储在所述实时数据库中。由以上本申请实施例提供的技术方案可见,本申请实施例通过从实时数据库中获取油气生产物联网大数据,然后对所获取的油气生产物联网大数据进行分布式计算,而不是从关系数据库中获取油气生产物联网大数据,并且采用分布式计算可以对实时数据库中的实时油气生产物联网大数据进行并发处理,因而可以实现对油气生产物联网大数据进行实时分析的目...

【技术保护点】
一种基于分布式处理框架Hadoop的油气生产物联网大数据的处理方法,其特征在于,包括:Hadoop平台从实时数据库中获取生产单元的油气生产物联网大数据;所述Hadoop平台对所获取的油气生产物联网大数据进行分布式计算;所述Hadoop平台将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判断所述生产单元发生异常;所述Hadoop平台在判断出所述生产单元发生异常时,输出所述油气生产物联网大数据的分析结果。

【技术特征摘要】
1.一种基于分布式处理框架Hadoop的油气生产物联网大数据的处理方法,其特征在于,
包括:
Hadoop平台从实时数据库中获取生产单元的油气生产物联网大数据;
所述Hadoop平台对所获取的油气生产物联网大数据进行分布式计算;
所述Hadoop平台将所述油气生产物联网大数据的计算结果与预设阈值进行对比,以判
断所述生产单元发生异常;
所述Hadoop平台在判断出所述生产单元发生异常时,输出所述油气生产物联网大数据
的分析结果。
2.根据权利要求1所述的处理方法,其特征在于,所述从实时数据库中获取生产单元
的油气生产物联网大数据包括:
利用所获取的配置文件中对油气生产物联网大数据所设定的标识,从所述实时数据库中
获取具有与所述标识相匹配的油气生产物联网大数据。
3.根据权利要求1所述的处理方法,其特征在于,所述对所获取的油气生产物联网大
数据进行分布式计算包括:
根据所获取的配置文件中的算法配置参数,从逻辑算法库中调用对应的逻辑算法;
利用所调用的算法对所获取的油气生产物联网大数据进行分布式计算。
4.根据权利要求3所述的处理方法,其特征在于,在利用所调用的算法对所获取的油
气生产物联网大数据进行分布式计算之前,该方法还包括:
利用所述配置文件,对所获取的油气生产物联网大数据进行分类;
利用所述配置文件,对所述油气生产物联网大数据进行排序。
5.根据权利要求1所述的处理方法,其特征在于,所述将所述油气生产物联网大数据
的计算结果与预设阈值进行对比,以判断所述生产单元发生异常包括:
根据所述油气生产物联网大数据的计算结果与预设阈值的对比结果,判断所述油气生产
物联网大数据中是否存在异常数据;
在判断出所述油气生产物联网大数据中存在异常数据时,判断所述生产单元发生异常。
6.根据权利要求1所述的处理方法,其特征在于,所述输出所述油气生产物联网大数
据的分析结果包括:
将所述分析结果存储在关系数据库中;
在接收到用户指令或自动化脚本指令时,从所述关系数据库中查找与所述用户指令或所

\t述自动化脚本指令相匹配的分析结果;
将所查找到的分析结果发送给用户。
7.根据权利要求1或6所述的处理方法,其特征在于,所述分析结果包括所述油气生
产物联网大数据与预设阈值的对比结果、异常数据和/或警示信息。
8.一种...

【专利技术属性】
技术研发人员:龚仁彬李群马刚柴永财王从镔姚刚曹戈俊李金诺吴海莉胥小马
申请(专利权)人:中国石油天然气股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1