一种大数据平台及其应用制造技术

本申请属于数据分析技术领域，特别是涉及一种大数据平台及其应用。在石油行业对于多相流的细分方向还没有相对应的数据分析平台。本申请提供了一种大数据平台，所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。针对于数据特点在平台层面设计合理的存储方式。

【技术实现步骤摘要】
一种大数据平台及其应用
本申请属于数据分析
，特别是涉及一种大数据平台及其应用。
技术介绍
近年来随着人工智能和大数据[技术的快速发展，各行各业都在数据信息技术处理方面出现了快速的技术升级，尤其是在传统行业里面发生了巨大的技术变革。在石油领域中，各大石油企业内部的业务系统的广泛使用对数据处理提出了更高要求，如提高单井运行效率、合理规划油田产能、降低运输成本、提高生产效率、企业油田数据管理、提供高层决策支持，与此同时，伴随着油田数字化和智慧油田建设，各类物联网设备也被应用在石油生产活动当中，这些物联网设备在生产活动中不断产生出大量的数据，并且这些数据呈现爆炸式增长。如在油田多相流测量当中，仅一台多相流量计一天的ECT、微波、文丘里等数据就将近1G，这些与多相流相关的油气含量数据直接或者间接体现着某一口油井的产量多少以及油的品质，并且由于这些数据的量非常大，传统的数据分析方法已经不能满足当前的需求，因此对于多相流的油气大数据进行数据挖掘需要更高的要求。同时对于大量的数据如何应用在深度学习方面的应用也面临着巨大的问题，由于这些数据是直接从多相流本文档来自技高网...

【技术保护点】
1.一种大数据平台，其特征在于：所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；/n所述界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；/n所述业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；/n所述集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；/n所述数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。/n

【技术特征摘要】
1.一种大数据平台，其特征在于：所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；
所述界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；
所述业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；
所述集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；
所述数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。


2.如权利要求1所述的大数据平台，其特征在于：所述界面子平台、所述业务模式子平台、所述集群子平台和所述数据层子平台通信连接。


3.如权利要求1所述的大数据平台，其特征在于：所述界面子平台包括数据显示模块和模型管理模块；
所述数据显示模块，用于对总数据展示，支持二维或者三维可视化图表展示各个关键的指标，对数据挖掘的结果或者中间结果进行显示；
所述模型管理模块，用于对特定模型结果进行对比，并选择最优模型。


4.如权利要求1所述的大数据平台，其特征在于：所述业务模式子平台包括数据传输模块以及业务处理模块，所述数据传输模块用于对不同的数据来源进行管理，对于不同存储的方式，将部分数据自动地迁移到另一个存储设备，方便各个计算引擎进行计算；
所述业务处理模块用于对各个业务指标进行分析，或者对自动化脚本分析、汇总。


5.如权利要求1所述的大数据平台，其特征在于：所述集群子平台包括数据处理模块、算法模块和模型协调模块；
...

【专利技术属性】
技术研发人员：青鹏，关永，贺海涛，罗书琴，
申请(专利权)人：深圳市联恒星科技有限公司，
类型：发明
国别省市：广东;44