一种能源数据仓库系统技术方案

本发明专利技术适用于能源数据处理技技术领域，提供一种能源数据仓库系统，包括：操作数据层，包括细节数据表，数据源的能源数据经第一数据处理后写入细节数据表；基础数据层，包括各能源设备类型对应的基础数据表，细节数据表的数据经第二数据处理后写入基础数据表；通用数据层，包括与业务分析需要对应的数据仓库主题，基础数据表的数据经第三数据处理后写入数据仓库主题；应用数据层，包括与业务单元对应的数据集市，数据仓库主题的数据经第四数据处理后写入数据集市。本发明专利技术有效解决了通用数据仓库无法应用于能源领域的问题，有助于形成统一、标准的数据体系，方便数据分析师和数据科学家基于高质量的海量数据进行实时有效分析。

An energy data warehouse system

【技术实现步骤摘要】
一种能源数据仓库系统
本专利技术属于能源数据处理
，尤其涉及一种能源数据仓库系统。
技术介绍
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库之父BillInmon提出的企业数据仓库架构和RalphKimball提出的维度数据仓库架构是两个主流数据仓库构建方法。传统数据仓库厂商都有比较成熟的数据仓库产品，也有针对某些行业的数据模型。例如，在银行业，Teradata有自己的FS-LDM(TeradataFinancialServicesLogicalDataModel)模型，而IBM有自己的BDWM(BankingDataWarehouseModel)模型；在电信业，Teradata有自己的CLDM(TeradataCommunicationsLogicalDataModel)模型，而IBM有TDWM(TelecomDataWarehouseModel)。然而，这些模型主要针对传统行业，并没有针对能源行业的数据模型，无法适应能源行业特点；并且这些数据模型都是基于传统关系数据库构建的，不能适应当前海量数据的实时和准实时的分析需求，也无法根据分析主题的变化而进行灵活处理。
技术实现思路
有鉴于此，本专利技术实施例提供了一种能源数据仓库系统，以解决现有技术中没有针对能源行业的数据仓库系统的技术问题。本专利技术实施例提供了一种能源数据仓库系统，包括：操作数据层，包括细节数据表，数据源的能源数据经第一数据处理后写入所述细节数据表；<br>基础数据层，包括各能源设备类型对应的基础数据表，所述细节数据表的数据经第二数据处理后写入所述基础数据表；通用数据层，包括与业务分析需要对应的数据仓库主题，所述基础数据表的数据经第三数据处理后写入所述数据仓库主题；应用数据层，包括与业务单元对应的数据集市，所述数据仓库主题的数据经第四数据处理后写入所述数据集市。在一个实施例中，所述数据源的能源数据至少包括能源设备运行数据、能源系统配置数据、业务开展过程中的业务数据、通过网络获取的网络数据以及第三方系统提供的第三方数据中的一种。在一个实施例中，所述操作数据层还包括原始数据表；所述第一数据处理至少包括：将所述能源数据加载至所述原始数据表；对所述能源数据进行解析，以确定所述原始数据表中的新加载数据；去除出所述新加载数据中的异常数据；根据能源设备类型和获取时间对所述新加载数据进行分区。在一个实施例中，所述细节数据表中至少包括站点信息、设备类型、设备标识、量测属性、量测时间以及量测值中的一项。在一个实施例中，所述基础数据层至少包括燃气蒸汽锅炉基础数据表、空压机基础数据表、能量表基础数据表、业务数据基础数据表以及环境数据基础数据表中的一种。在一个实施例中，所述第二数据处理至少包括：根据能源设备类型对所述细节数据表中的数据进行分类，以获取每类能源设备对应的数据；根据最小时间粒度对所述能源设备对应的数据进行时间对齐，以获取第一数据；对所述第一数据进行数据扁平化处理，获得第二数据；将所述第二数据写入各能源设备类型对应的基础数据表中。在一个实施例中，所述通用数据层至少包括能源企业产能分析主题、用能企业用能分析主题、企业能效分析主题、设备状态运行趋势分析主题、设备预测性维护分析主题、企业数据接入质量分析主题中的一种。在一个实施例中，所述第三数据处理至少包括：根据确定的数据仓库主题，读取各能源设备类型对应的基础数据表中的数据；对各能源设备类型对应的数据进行聚合，以获取聚合数据；将所述聚合数据写入所述数据仓库主题。在一个实施例中，所述应用数据层中至少包括用能数据集市、供能数据集市、运营数据集市以及人工智能数据集市中的一种。在一个实施例中，所述第四数据处理至少包括：根据确定的数据集市，对所述数据仓库主题中的数据进行分类；将经过分类的所述数据仓库主题中的数据写入对应的数据集市中，并确定访问权限。在一个实施例中，所述能源数据仓库系统还包括：维度数据，至少包括时间维度、地理维度、用户维度、园区维度、系统维度、设备维度中的一种。在一个实施例中，所述时间维度提供年、季度、月份、天、小时以及分钟的维度定义；所述地理维度提供全国、大区、省、市、区县以及园区的维度定义；所述用户维度提供用户所属行业、用户等级以及用户类别的维度定义；所述设备维度中能源设备至少包括空气压缩机、制冷机、空调、燃气蒸汽锅炉、燃气热水锅炉、变压器、蒸汽表、电表、能量表、温度计、压力计、燃气流量表、液体流量表、压差计中的一种。在一个实施例中，所述能源数据仓库系统还包括：管理工具，包括元数据管理工具、工作流管理工具、数据采集工具、数据加工工具以及数据迁移工具。在一个实施例中，所述元数据管理工具用于提供数据地图；所述数据采集工具用于提供数据接入服务，以将所述数据源的能源数据采集至所述操作数据层；所述数据加工工具用于对数据处理提供工具支持；所述数据迁移工具用于将数据集市的数据迁移至外部系统提供工具支持；所述工作流管理工具用于对数据采集、数据处理以及数据迁移提供工作流支持。本专利技术实施例提供的能源数据仓库系统的有益效果至少在于：本专利技术实施例提供的针对能源行业的能源数据仓库系统包括含操作数据层、基础数据层、通用数据层以及应用数据层，有效解决了通用数据仓库无法应用于能源领域的问题，有助于形成统一、标准的数据体系，加快能源行业对能源设备数据加工和数据分析的速度，方便数据分析师和数据科学家基于高质量的海量数据进行实时有效分析。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术实施例提供的能源数据仓库系统的示意图；图2是本专利技术实施例提供的能源数据仓库系统中从原始数据到基础数据的工作流的实现流程图；图3是本专利技术实施例提供的能源数据仓库系统中基于基础数据生成用能报表的工作流的实现流程图；图4是本专利技术实施例提供的能源数据仓库系统中数据采集的示意图；图5是本专利技术实施例提供的能源数据仓库系统构建方法的实现流程示意图；图6是本专利技术实施例提供的能源数据仓库系统构建方法中构建操作数据层的实现流程示意图；图7是本专利技术实施例提供的能源数据仓库系统构建方法中构建基础数据层的实现流程示意图；图8是本专利技术实施例提供的能源数据仓库系统构建方法中构建通用数据层的实现流程示意图；图9是本专利技术实施例提供的能源数据仓库系统构建方法中构建应用数据层的实现流程示意图。具体实施方式以下描述中，本文档来自技高网...

【技术保护点】
1.一种能源数据仓库系统，其特征在于，包括：/n操作数据层，包括细节数据表，数据源的能源数据经第一数据处理后写入所述细节数据表；/n基础数据层，包括各能源设备类型对应的基础数据表，所述细节数据表的数据经第二数据处理后写入所述基础数据表；/n通用数据层，包括与业务分析需要对应的数据仓库主题，所述基础数据表的数据经第三数据处理后写入所述数据仓库主题；/n应用数据层，包括与业务单元对应的数据集市，所述数据仓库主题的数据经第四数据处理后写入所述数据集市。/n

【技术特征摘要】
1.一种能源数据仓库系统，其特征在于，包括：
操作数据层，包括细节数据表，数据源的能源数据经第一数据处理后写入所述细节数据表；
基础数据层，包括各能源设备类型对应的基础数据表，所述细节数据表的数据经第二数据处理后写入所述基础数据表；
通用数据层，包括与业务分析需要对应的数据仓库主题，所述基础数据表的数据经第三数据处理后写入所述数据仓库主题；
应用数据层，包括与业务单元对应的数据集市，所述数据仓库主题的数据经第四数据处理后写入所述数据集市。


2.如权利要求1所述的能源数据仓库系统，其特征在于，所述数据源的能源数据至少包括能源设备运行数据、能源系统配置数据、业务开展过程中的业务数据、通过网络获取的网络数据以及第三方系统提供的第三方数据中的一种。


3.如权利要求1所述的能源数据仓库系统，其特征在于，所述操作数据层还包括原始数据表；
所述第一数据处理至少包括：
将所述能源数据加载至所述原始数据表；
对所述能源数据进行解析，以确定所述原始数据表中的新加载数据；
去除出所述新加载数据中的异常数据；
根据能源设备类型和获取时间对所述新加载数据进行分区。


4.如权利要求1所述的能源数据仓库系统，其特征在于，所述细节数据表中至少包括站点信息、设备类型、设备标识、量测属性、量测时间以及量测值中的一项。


5.如权利要求1所述的能源数据仓库系统，其特征在于，所述基础数据层至少包括燃气蒸汽锅炉基础数据表、空压机基础数据表、能量表基础数据表、业务数据基础数据表以及环境数据基础数据表中的一种。


6.如权利要求1所述的能源数据仓库系统，其特征在于，所述第二数据处理至少包括：
根据能源设备类型对所述细节数据表中的数据进行分类，以获取每类能源设备对应的数据；
根据最小时间粒度对所述能源设备对应的数据进行时间对齐，以获取第一数据；
对所述第一数据进行数据扁平化处理，获得第二数据；
将所述第二数据写入各能源设备类型对应的基础数据表中。


7.如权利要求1所述的能源数据仓库系统，其特征在于，所述通用数据层至少包括能源企业产能分析主题、用能企业用能分析主题、企业能效分析主题、设备状态运行趋势分析主题、设备预测性维护分析主题...

【专利技术属性】
技术研发人员：李品新，徐锡明，黄博淘，吴建波，
申请(专利权)人：新奥数能科技有限公司，
类型：发明
国别省市：北京;11