一种大数据平台及其应用制造技术

本申请属于数据分析技术领域，特别是涉及一种大数据平台及其应用。在石油行业对于多相流的细分方向还没有相对应的数据分析平台。本申请提供了一种大数据平台，所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。针对于数据特点在平台层面设计合理的存储方式。

【技术实现步骤摘要】
一种大数据平台及其应用
本申请属于数据分析
，特别是涉及一种大数据平台及其应用。
技术介绍
近年来随着人工智能和大数据[技术的快速发展，各行各业都在数据信息技术处理方面出现了快速的技术升级，尤其是在传统行业里面发生了巨大的技术变革。在石油领域中，各大石油企业内部的业务系统的广泛使用对数据处理提出了更高要求，如提高单井运行效率、合理规划油田产能、降低运输成本、提高生产效率、企业油田数据管理、提供高层决策支持，与此同时，伴随着油田数字化和智慧油田建设，各类物联网设备也被应用在石油生产活动当中，这些物联网设备在生产活动中不断产生出大量的数据，并且这些数据呈现爆炸式增长。如在油田多相流测量当中，仅一台多相流量计一天的ECT、微波、文丘里等数据就将近1G，这些与多相流相关的油气含量数据直接或者间接体现着某一口油井的产量多少以及油的品质，并且由于这些数据的量非常大，传统的数据分析方法已经不能满足当前的需求，因此对于多相流的油气大数据进行数据挖掘需要更高的要求。同时对于大量的数据如何应用在深度学习方面的应用也面临着巨大的问题，由于这些数据是直接从多相流量计上面采集而来，数据存在缺失、错误、冗余等问题而不能直接用于深度学习模型的训练，因此需要借助大数据平台对数据进行数据预处理，然后将处理好之后的数据应用深度学习模型的训练和进行预测。油田企业拥有众多的生产数据，而对于大量生产数据的应用确是存在一定的困难，尤其是对于不同的企业数据存在一定的隐私而不可能做到数据交互，因此将数据交于第三方公司并利用第三方的大数据平台进行数据分析，并将融合之后的数据应用于各个模型的训练当中，随后将数据分析的结果和训练的模型返回给不同的企业以提高模型的可靠性。当前很多石油企业，如壳牌、雪佛龙、沙特阿美、斯伦贝谢等均在自己的企业内部都建立了自己的大数据平台，但是这些大数据平台根据不同的需求建立各个不同的业务模块，利用数据进行数据分析，并给现场人员决策支持，通过自动化的决策降低人工干预的可能，减少数据分析人员工作量，而在石油行业对于多相流的细分方向还没有相对应的数据分析平台，除此之外这些大公司的数据平台的数据并不能交由第三方公司来做数据分析而是企业内部的数据分析平台。
技术实现思路
1.要解决的技术问题基于当前很多石油企业，如壳牌、雪佛龙、沙特阿美、斯伦贝谢等均在自己的企业内部都建立了自己的大数据平台，但是这些大数据平台根据不同的需求建立各个不同的业务模块，利用数据进行数据分析，并给现场人员决策支持，通过自动化的决策降低人工干预的可能，减少数据分析人员工作量，而在石油行业对于多相流的细分方向还没有相对应的数据分析平台，除此之外这些大公司的数据平台的数据并不能交由第三方公司来做数据分析而是企业内部的数据分析平台。的问题，本申请提供了一种大数据平台及其应用。2.技术方案为了达到上述的目的，本申请提供了一种大数据平台，所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；所述界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；所述业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；所述集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；所述数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。本申请提供的另一种实施方式为：所述界面子平台、所述业务模式子平台、所述集群子平台和所述数据层子平台通信连接。本申请提供的另一种实施方式为：所述界面子平台包括数据显示模块和模型管理模块；所述数据显示模块，用于对总数据展示，支持二维或者三维可视化图表展示各个关键的指标，对数据挖掘的结果或者中间结果进行显示；所述模型管理模块，用于对特定模型结果进行对比，并选择最优模型。本申请提供的另一种实施方式为：所述业务模式子平台包括数据传输模块以及业务处理模块，所述数据传输模块用于对不同的数据来源进行管理，对于不同存储的方式，将部分数据自动地迁移到另一个存储设备，方便各个计算引擎进行计算；所述业务处理模块用于对各个业务指标进行分析，或者对自动化脚本分析、汇总。本申请提供的另一种实施方式为：所述集群子平台包括数据处理模块、算法模块和模型协调模块；所述数据处理模块，用于根据不同的数据来源和数据格式，对数据进行离线处理和实时处理；所述算法模块，用于对数据进行不同的机器学习算法；所述模型协调模块，用于根据需要调用外部训练好的模型来处理数据。本申请提供的另一种实施方式为：所述数据层子平台包括数据生命周期管理模块和数据存储模块；所述数据生命周期管理模块，用于对数据进行数据挖掘、模型训练，对大量数据下载和筛选符合要求的数据；所述数据存储模块，用于对数据分类后分别进行存储。本申请提供的另一种实施方式为：所述界面子平台还包括权限管理模块，所述权限管理模块用于对公司内部各个不同部门的员工以及其他作业方的员工制定相应的权限，对于不同的角色也制定不同的权限。本申请提供的另一种实施方式为：所述算法模块包括机器学习算法子模块，所述机器学习算法子模块包括回归模型、分类模型、聚类分析模型和时间序列模型。本申请还提供一种大数据平台的应用，将所述的大数据平台应用于油气大数据的分析。本申请提供的另一种实施方式为：还包括油气井故障监测模块和油井开发方案评价模块；所述油气井故障监测模块，用于对抽油杆断脱、活塞遇阻、油管或泵漏油、结蜡或者出砂、供液不足进行监测；所述油井开发方案评价模块，用于提供配产、配注方案，评价开发方案的适应程度，提出调整方案；预测分区块、分井的产量、压力、含水率变化趋势和油井水淹规律。3.有益效果与现有技术相比，本申请提供的一种大数据平台及其应用的有益效果在于：本申请提供的大数据平台，基于多传感技术手段的油气静、动态多维度生产大数据，以支撑油气生产的智慧化管理而提出一套解决这些难题的方案，并建立一套第三方用于生产大数据分析的系统并部署于实际的生产环境当中。本申请提供的大数据平台，利用当前大数据平台收集各大石油公司的油气生产数据，然后对各个石油公司的数据进行数据预处理并对数据进行分析，最后需要可视化的数据进行展示。本申请提供的大数据平台，利用比较主流的大数据分析技术spark来,相对于传统的Hadoop处理方式速度更快，数据处理能力更强。本申请提供的大数据平台，对于大数据平台的数据分析可以使用机器学习和深度学习模型在平台上面进行预测。本申请提供的大数据平台，针对于数据存放在阿里云上面的特点而进行特定的传输到大数据平台内部。本申请提供的大数据平台，针对于数据特点在平台层面设计合理的存储方式。附图说明图1是本申请的大数据平台架构示意图；图2是本申请的数据处理流程示意图；图3是本申请本文档来自技高网...

【技术保护点】
1.一种大数据平台，其特征在于：所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；/n所述界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；/n所述业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；/n所述集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；/n所述数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。/n

【技术特征摘要】
1.一种大数据平台，其特征在于：所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；
所述界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；
所述业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；
所述集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；
所述数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。


2.如权利要求1所述的大数据平台，其特征在于：所述界面子平台、所述业务模式子平台、所述集群子平台和所述数据层子平台通信连接。


3.如权利要求1所述的大数据平台，其特征在于：所述界面子平台包括数据显示模块和模型管理模块；
所述数据显示模块，用于对总数据展示，支持二维或者三维可视化图表展示各个关键的指标，对数据挖掘的结果或者中间结果进行显示；
所述模型管理模块，用于对特定模型结果进行对比，并选择最优模型。


4.如权利要求1所述的大数据平台，其特征在于：所述业务模式子平台包括数据传输模块以及业务处理模块，所述数据传输模块用于对不同的数据来源进行管理，对于不同存储的方式，将部分数据自动地迁移到另一个存储设备，方便各个计算引擎进行计算；
所述业务处理模块用于对各个业务指标进行分析，或者对自动化脚本分析、汇总。


5.如权利要求1所述的大数据平台，其特征在于：所述集群子平台包括数据处理模块、算法模块和模型协调模块；
...

【专利技术属性】
技术研发人员：青鹏，关永，贺海涛，罗书琴，
申请(专利权)人：深圳市联恒星科技有限公司，
类型：发明
国别省市：广东;44