一种基于HBase的数据存储优化方法及系统技术方案

本申请提供一种基于HBase的数据存储优化方法及系统，该方法包括如下步骤：采集系统运行特征数据和电力数据采集装置运行特征数据；根据系统运行特征数据和电力数据采集装置运行特征数据，计算采集数据异常风险评估值；在采集数据异常风险评估值低于预设阈值时，采集电力数据，否则，禁止采集电力数据；将采集的电力数据上传至HBase开源数据库；根据需求数据的特点，对待存储数据进行分析，获取其中需求字段数据和缺失字段数据；将需求字段数据按照列式存储方式存储至中台；依据缺失字段数据，对中台存储的数据进行补充。本申请在保证数据安全可靠的前提下，完成业务数据的灵活存储，减少了存储空间资源的占用。减少了存储空间资源的占用。减少了存储空间资源的占用。

【技术实现步骤摘要】
一种基于HBase的数据存储优化方法及系统


[0001]本申请涉及数据处理
，尤其涉及一种基于HBase的数据存储优化方法及系统。

技术介绍

[0002]电力数据中台中业务数据随着电网业务的发展不断积累，并形成了常态化的数据监测和数据分析业务体系，依托设备明细负荷数据及运营效率等计算指标，在业务实际操作过程中，电力系统的数据中台实现按业务数据需求从各业务系统中离线、准实时、实时地进行数据的采集、存储何交换，并以总部、省、地市三级横向协同、纵向贯通的运营管控体系，实现了经营绩效、管理效率、运营效率等监测业务的常态化运行，为发展规划、电网运行等提供相关决策支撑。
[0003]在这一过程中有大量的业务数据及非业务数据写入数据中台相关数据库中，同时采用全量接入+周期抽取的方式进行数据的抽取及存储，以满足业务系统数据接入及后续数据分析的基本要求。
[0004]目前电力数据中台中业务数据，通过全量接入+周期抽取的方式将数据抽取存储至相关数据库中。在这一过程中，由于省侧数据清洗规则及数据质量核查不规范，导致接入数据中存在数据缺失的问题，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于HBase的数据存储优化方法，其特征在于，该方法包括如下步骤：预先构建电力数据采集风险评估模型；根据风险评估模型判断是否允许采集电力数据，若是，则采集电力数据，否则，禁止采集电力数据；将采集的电力数据作为待存储数据上传至HBase开源数据库;根据需求数据的特点，对待存储数据进行分析，获取其中的需求字段数据和缺失字段数据，并反馈缺失字段数据；将需求字段数据按照列式存储方式存储至中台；依据缺失字段数据，通过列动态扩展的方式对中台存储的数据进行补充；其中，根据风险评估模型判断是否允许采集电力数据的方法包括：采集系统运行特征数据和电力数据采集装置运行特征数据，并输入风险评估模型；风险评估模型根据系统运行特征数据和电力数据采集装置运行特征数据，计算采集数据异常风险评估值；在采集数据异常风险评估值低于预设阈值时，采集电力数据，否则，禁止采集电力数据。2.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，电力数据上传过程中，依据预先设定的核查规则，进行数据质量分析核查，以获取上传数据中对应字段的空值数据量。3.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，待存储数据具有多个属性分量，属性分量包括：行键、时间戳、列簇和列限定符。4.根据权利要求1或3所述的基于HBase的数据存储优化方法，其特征在于，将需求字段数据按照列式存储方式存储至中台的方法包括：设定各需求业务字段对应的列，依据各需求业务字段对应的列，将需求字段数据按照列式存储方式存储至中台。5.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，需求字段数据按照列式存储方式存储至中台的业务数据表中，所述业务数据表具有行和列，每一行代表一个数据对象，每一行都包括一个行键，以及一个或多个列。6.根据权利要求1所述的基于HBase的数据存储优化方法，其特征在于，采集系统运行特征数据的方法为：采集一段时间内的电力系统运行特征数据，电力...

【专利技术属性】
技术研发人员：宋成平，
申请(专利权)人：睿至科技集团有限公司，
类型：发明
国别省市：