一种基于混合能源数据的大数据分析方法技术

一种基于混合能源数据的大数据分析方法，包括以下步骤：S1、数据采集处理硬件布设服务；S2、数据采集服务；S3、数据汇聚服务；S4、数据治理服务；S5、数据反馈服务；本发明专利技术通过建立能源大数据中心将用户数据交换端的数据进行及时的全面的收集，实现对全省异地、异构数据源管理、数据采集服务的配置与管理等工作；能源大数据中心，同时保证数据稳定接入和数据质量的完整、真实、准确；然后通过对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录，满足政府、企业和社会大众业的数据应用分析需求，且及时的进行信息回馈，便于用户数据交换端的客户进行自查，提升数据管理水平。数据管理水平。数据管理水平。

【技术实现步骤摘要】
一种基于混合能源数据的大数据分析方法


[0001]本专利技术涉及能源数据管理
，尤其涉及一种基于混合能源数据的大数据分析方法。

技术介绍

[0002]能源市场已经积累了海量数据，这些数据涉及到能源生产、传输、消费端的全产业链，数据价值潜力巨大。由于能源数据分散在不同的能源企业，现有数据资源非常分散，很难从海量数据中发现数据与数据之间的关联关系与规律，挖掘现有数据的潜在价值。
[0003]目前，混合能源数据繁琐多样，缺乏有效的数据统计，多源异构的能源数据管理水平低，无法满足满足政府、企业和社会大众业的数据应用分析需求。为解决上述问题，本申请中提出一种基于混合能源数据的大数据分析方法。

技术实现思路

[0004](一)专利技术目的
[0005]为解决
技术介绍
中存在的技术问题，本专利技术提出一种基于混合能源数据的大数据分析方法，本专利技术通过建立能源大数据中心将用户数据交换端的数据进行及时的全面的收集，对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录，满足政府、企业和社会大众业的数据应用分析需求，提升混合能源数据管理水平。
[0006](二)技术方案
[0007]为解决上述问题，本专利技术提出了一种基于混合能源数据的大数据分析方法，包括以下步骤：
[0008]S1、数据采集处理硬件布设服务，包括用户数据交换端、通讯模块和能源大数据中心，全面的铺设户数据交换端和建立能源大数据中心，并通过通讯模块将能源大数据中心与不同的户数据交换端进行连接，实现全面的覆盖；
[0009]S2、数据采集服务，用于采集数据的数据采集体系是整个数据中心的统一数据入口，主要包括政府数据、能源相关企业类数据和电力数据，采集体系在集中的资源编目管理支撑下，实现对全省异地、异构数据源管理、数据采集服务的配置与管理等工作；
[0010]S3、数据汇聚服务，能源大数据中心得汇聚数据包括电力数据、政府类数据、能源相关企业类数据和其他数据，利用关系数据库数据抽取服务、文件采集服务、实时消息队列服务、数据库实时复制服务和API接口服务数据采集功能，通过专线网络汇聚至能源大数据中心，同时保证数据稳定接入和数据质量的完整、真实、准确；
[0011]S4、数据治理服务，基于能源大数据中心数据管理平台，按照“精确
‑
完整
‑
有效”的数据治理要求，盘点能源相关数据资产，参考国际标准和现有成熟数据资源管理经验，对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录；
[0012]S5、数据反馈服务，基于能源大数据中心数据管理平台，对于从用户数据交换端中采集到的数据信息进行对比处理，数据异常时，通过信息回馈模块进行自动反馈，便于用户
数据交换端的客户进行自查，提升数据管理水平。
[0013]优选的，所述步骤S1中，户数据交换端包括台式电脑、笔记本电脑、手机和平板，所述能源大数据中心包括处理器和数据库，通讯模块可选用无线传输模块可选用Z4Gex
‑
04通讯模块、CC2640R2FRSMR蓝牙通讯或CC2420型无线收发器中的一种。
[0014]优选的，所述步骤S2中，利用现有的采集服务模型与规则支撑下，实现对政府数据、能源相关企业类数据和电力数据采集服务配置与部署，包括内外部系统的结构化据、半结构化数据和非结构化数据，对不同类型、不同时效数据的采集，增强数据采集的全面性，提高数据采集准确性。
[0015]优选的，所述步骤S3中，所述数据汇聚服务的电力数据汇聚中，公司将发电、输电、变电、配电、用电、调度各生产运行环节及经营管理过程数据推送至数据中台后，通过内外网隔离装置利用加密传输的形式与能源大数据中心集成，为能源大数据中心提供电网运行、客户服务和经营管理等数据。
[0016]优选的，所述步骤S3中，所述数据汇聚服务的能源相关企业类数据汇聚中，能源相关企业包括煤炭、石油、天然气以及水能等一次能源企业，电力、煤气、汽油、柴油等二次能源企业和能源上下游及装备企业，能源相关企业按照约定通过专线网络与能源大数据中心集成，为能源大数据中心提供能源相关行业数据。
[0017]优选的，所述步骤S3中，所述数据汇聚服务的能源相关企业类数据汇聚中，能源相关企业包括煤炭、石油、天然气以及水能等一次能源企业，电力、煤气、汽油、柴油等二次能源企业和能源上下游及装备企业，能源相关企业按照约定通过专线网络与能源大数据中心集成，为能源大数据中心提供能源相关行业数据。
[0018]优选的，所述步骤S3中，所述数据汇聚服务的其他数据汇聚中，能源大数据中心与金融机构、房地产等其他平台签订了合作协议，对数据需求进行梳理分析，定期通过工具抽取、接口传输及离线采集等方式，将外部数据及分散在其他企业的相关数据归集至能源大数据中心，实现其他数据分类、分批汇聚至能源大数据中心。
[0019]优选的，所述步骤S4中，通过提供完整的元数据管理、数据资源搜索、数据资源应用等“一站式”数据资源服务，并根据数据资源的变化情况及时更新目录信息，保证数据资源目录的真实、可靠、可用，确保能源大数据中心的数据资源“查得到、看得懂、用得上”，同时建立各类数据管理标准、数据监测机制和数据认责制度，严格控制数据质量，奠定数据基础，以满足政府、企业和社会大众业的数据应用分析需求。
[0020]优选的，所述步骤S5中，信息回馈模块可选用短信、邮件或电话中的一种。
[0021]本专利技术的上述技术方案具有如下有益的技术效果：本专利技术通过建立能源大数据中心将用户数据交换端的数据进行及时的全面的收集，用于采集的政府数据、能源相关企业类数据和电力数据，采集体系在集中的资源编目管理支撑下，实现对全省异地、异构数据源管理、数据采集服务的配置与管理等工作；能源大数据中心，同时保证数据稳定接入和数据质量的完整、真实、准确；增强数据采集的全面性，提高数据采集准确性，然后通过对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录，为能源大数据中心提供电网运行、客户服务和经营管理等数据，同时建立各类数据管理标准、数据监测机制和数据认责制度，严格控制数据质量，奠定数据基础，以满足政府、企业和社会大众业的数据应用分析需求，且及时的进行信息回馈，便于用户数据交换端的客户进行自查，提
升数据管理水平。
附图说明
[0022]图1为本专利技术提出的基于混合能源数据的大数据分析方法的结构框图。
[0023]图2为本专利技术提出的基于混合能源数据的大数据分析方法中数据汇聚服务的结构框图。
[0024]图3为本专利技术提出的基于混合能源数据的大数据分析方法中数据采集处理硬件布设服务的结构框图。
具体实施方式
[0025]为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合能源数据的大数据分析方法，其特征在于，包括以下步骤：S1、数据采集处理硬件布设服务，包括用户数据交换端、通讯模块和能源大数据中心，全面的铺设户数据交换端和建立能源大数据中心，并通过通讯模块将能源大数据中心与不同的户数据交换端进行连接，实现全面的覆盖；S2、数据采集服务，用于采集数据的数据采集体系是整个数据中心的统一数据入口，主要包括政府数据、能源相关企业类数据和电力数据，采集体系在集中的资源编目管理支撑下，实现对全省异地、异构数据源管理、数据采集服务的配置与管理等工作；S3、数据汇聚服务，能源大数据中心得汇聚数据包括电力数据、政府类数据、能源相关企业类数据和其他数据，利用关系数据库数据抽取服务、文件采集服务、实时消息队列服务、数据库实时复制服务和API接口服务数据采集功能，通过专线网络汇聚至能源大数据中心，同时保证数据稳定接入和数据质量的完整、真实、准确；S4、数据治理服务，基于能源大数据中心数据管理平台，按照“精确
‑
完整
‑
有效”的数据治理要求，盘点能源相关数据资产，参考国际标准和现有成熟数据资源管理经验，对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录；S5、数据反馈服务，基于能源大数据中心数据管理平台，对于从用户数据交换端中采集到的数据信息进行对比处理，数据异常时，通过信息回馈模块进行自动反馈，便于用户数据交换端的客户进行自查，提升数据管理水平。2.根据权利要求1所述的基于混合能源数据的大数据分析方法，其特征在于，所述步骤S1中，户数据交换端包括台式电脑、笔记本电脑、手机和平板，所述能源大数据中心包括处理器和数据库，通讯模块可选用无线传输模块可选用Z4Gex
‑
04通讯模块、CC2640R2FRSMR蓝牙通讯或CC2420型无线收发器中的一种。3.根据权利要求1所述的基于混合能源数据的大数据分析方法，其特征在于，所述步骤S2中，利用现有的采集服务模型与规则支撑下，实现对政府数据、能源相关企业类数据和电力数据采集服务配置与部署，包括内外部系统的结构化据、半结构化数据和非结构化数据，对不同类型、不同时效数据的采集，增强数据采集的全面性，提高数据采集准确性。4.根据权利要...

【专利技术属性】
技术研发人员：李方军，魏军，申富泰，王晶，高建勇，刘志远，周永博，王琼，杨海龙，刘启昊，
申请(专利权)人：国网思极飞天兰州云数科技有限公司，
类型：发明
国别省市：