煤矿数据中台的数据存储处理方法和装置制造方法及图纸

本申请提出一种煤矿数据中台的数据存储处理方法和装置，其中，煤矿数据中台包括大数据采集平台和大数据基础平台，该方法应用于大数据基础平台，包括：获取大数据采集平台发送的待存储数据；根据待存储数据的数据特性，确定目标分布式存储方式；根据目标分布式存储方式，对待存储数据进行分布式存储。由此，针对数据特性不同的数据，选择不同的数据存储方式进行分布式存储，不仅提高了存储效率，而且提高了查询效率。了查询效率。了查询效率。

【技术实现步骤摘要】
煤矿数据中台的数据存储处理方法和装置


[0001]本申请涉及数据处理
，尤其涉及一种煤矿数据中台的数据存储处理方法和装置。

技术介绍

[0002]随着科学技术的发展，煤矿的现代化程度越来越高，煤矿中系统数量也逐渐增加，数据源的数量也在增加，采集的煤矿数据量也比较大，通过信息的采集，可以较好的掌握井下生产各个环节的运行情况。因此，如何提高煤矿数据的存储效率和处理效率是亟待解决的问题。

技术实现思路

[0003]本申请提出一种煤矿数据中台的数据存储处理方法和装置。
[0004]本申请一方面实施例提出了一种煤矿数据中台的数据存储处理方法，所述煤矿数据中台包括大数据采集平台和大数据基础平台，所述方法应用于所述大数据基础平台，包括：
[0005]获取所述大数据采集平台发送的待存储数据；
[0006]根据所述待存储数据的数据特性，确定目标分布式存储方式；
[0007]根据所述目标分布式存储方式，对所述待存储数据进行分布式存储。
[0008]本申请实施例的煤矿数据中台的数据存储处理方法，应用于煤矿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种煤矿数据中台的数据存储处理方法，其特征在于，所述煤矿数据中台包括大数据采集平台和大数据基础平台，所述方法应用于所述大数据基础平台，包括：获取所述大数据采集平台发送的待存储数据；根据所述待存储数据的数据特性，确定目标数据存储方式；根据所述目标数据存储方式，对所述待存储数据进行分布式存储。2.如权利要求1所述的方法，其特征在于，还包括：获取待处理数据；对所述待处理数据进行分布式计算。3.如权利要求2所述的方法，其特征在于，所述对所述待处理数据进行分布式计算，包括：对所述待处理数据进行预处理；和/或，对所述待处理数据进行数据清洗；和/或，对所述待处理数据进行数据建模。4.如权利要求2所述的方法，其特征在于，其中，所述分布式计算包括离线批处理和在线实时处理，所述对所述待处理数据进行分布式计算，包括：根据所述待处理数据对应的业务需求，从所述离线批处理和所述在线实时处理中，选出目标处理方式；根据所述目标处理方式，对所述待处理数据进行分布式处理。5.如权利要求1
‑
4任一所述的方法，其特征在于，所述数据特性包括工业协议、采集频率、数据格式、数据分析方式中的至少一种。6.一种煤矿数据中台的数据存储处理装置，其特征在于，所述煤矿数据中台包括大数据采集平台和大数据基础平台，所述装置应用于所述大数据基础平台，包括：第一获取模块，用于获取所述大数据采集平台发送的待存储数据；确定模块，用于根据所述待存储数据的数据特性，确...

【专利技术属性】
技术研发人员：苏上海，张晓霞，施展，李昊，袁慧，王雅琨，
申请(专利权)人：煤炭科学研究总院，
类型：发明
国别省市：