【技术实现步骤摘要】
本专利技术涉及数据采集和存储领域，尤其涉及一种基于大数据技术的石油数据采集和存储方法。
技术介绍
1、在石油的勘探、开采、处理及运输和销售的过程中，产生了大量的数据，例如地质状况、泥浆状态、石油质量等。这些数据一般具有以下特点：它们通常存储在不同的数据库中，且数据量大、数据的属性十分复杂，在当前大多数管理方式下，这些数据通常分散存储于不同的数据库中，导致数据使用效率的降低，由于石油数据的多样性、外部数据源集成方式的多样性以及数据源无法提供统一的接口，给数据的整合与分析带来了巨大的挑战。
技术实现思路
1、本专利技术提供一种基于大数据技术的石油数据采集和存储方法，以克服上述技术问题。
2、一种基于大数据技术的石油数据采集和存储方法，包括
3、s1、确定石油数据和数据源，所述石油数据包括石油地震、地质、岩性、测井、泥浆记录，所述数据源包括存储石油数据的关系型数据库、非关系型分布式数据库，
4、s2、基于flume技术动态地从数据源中获取新增数据流，并将新增数...
【技术保护点】
1.一种基于大数据技术的石油数据采集和存储方法，其特征在于，包括：
2.根据权利要求1所述的一种基于大数据技术的石油数据采集和存储方法，其特征在于，所述基于Flume技术动态地从数据源中获取新增数据流包括：
3.根据权利要求1所述的一种基于大数据技术的石油数据采集和存储方法，其特征在于，所述将流量控制后的新增数据流经数据处理后传输至HBase集群进行存储包括：
4.根据权利要求3所述的一种基于大数据技术的石油数据采集和存储方法，其特征在于，所述S32包括：
5.根据权利要求3所述的一种基于大数据技术的石油数据采集和存储方...
【技术特征摘要】
1.一种基于大数据技术的石油数据采集和存储方法，其特征在于，包括：
2.根据权利要求1所述的一种基于大数据技术的石油数据采集和存储方法，其特征在于，所述基于flume技术动态地从数据源中获取新增数据流包括：
3.根据权利要求1所述的一种基于大数据技术的石油数据采集和存储方法，其特征在于，所述将流量控制后的新增数据流经数据处理后传输至hbase集群进行存储包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。