一种全球能源互联网技术资源数据收集方法技术

本发明专利技术提供一种全球能源互联网技术资源数据收集方法，该方法通过构建收集系统，对全球能源互联网技术资源数据进行分类；以不同的方式获取所述全球能源互联网技术资源数据；针对全球能源互联网技术资源数据特点，采取基于Hadoop分布式平台与Oracle全文检索的全球能源互联网数据存储与检索。本发明专利技术提出的方法实现了全面、有效及准确的为全球能源互联网技术进行数据收集，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础，且其数据获取方式多且灵活，数据种类丰富、包含信息多、存储快捷安全且访问迅速。

【技术实现步骤摘要】
【专利摘要】本专利技术提供，该方法通过构建收集系统，对全球能源互联网技术资源数据进行分类；以不同的方式获取所述全球能源互联网技术资源数据；针对全球能源互联网技术资源数据特点，采取基于Hadoop分布式平台与Oracle全文检索的全球能源互联网数据存储与检索。本专利技术提出的方法实现了全面、有效及准确的为全球能源互联网技术进行数据收集，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础，且其数据获取方式多且灵活，数据种类丰富、包含信息多、存储快捷安全且访问迅速。【专利说明】
本专利技术涉及电网运行管理领域，具体涉及。
技术介绍
全球能源互联网涉及的地理气象环境跨度大、设计
众多，包含数据种类多且分散，存在收集困难，分析繁琐的问题。目前还没有一个完整的全面支撑其研究，集成多专业领域信息的全球能源互联网技术资源数据收集方法。全球能源互联网就是“特高压电网+智能电网+清洁能源”，以智能电网相关数据收集方法为参考。智能电网在数据收集时大多只考虑了电力行业相关数据，数据获取方式相对单一，数据种类相对较少，缺少全球化数据收集思维方式的思考。
技术实现思路
有鉴于此，本专利技术提供的，该方法实现了全面、有效及准确的为全球能源互联网技术进行数据收集，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础，且其数据获取方式多且灵活，数据种类丰富、包含信息多、存储快捷安全且访问迅速。本专利技术的目的是通过以下技术方案实现的:—种全球能源互联网技术资源数据收集方法，所述方法包括如下步骤:步骤1.建立全球能源互联网技术资源的数据收集系统，所述数据收集系统包括相互通信的数据存储单元、监控单元、数据中心、可视化展示平台、分析评估单元、专业化计算单元、数据维护单元及数据接口 ；步骤2.根据全球能源互联网数据的来源，对所述全球能源互联网技术资源数据进行分类；步骤3.获取所述全球能源互联网技术资源数据；步骤4.基于Hadoop分布式平台与Oracle全文检索，建立全球能源互联网数据存储与检索结构系统。优选的，所述步骤I中的所述数据存储单元包括Oracle数据库及Hadoop分布式文件系统；所述监控单元为接口监控终端；所述数据中心为全球能源互联网数据中心，且为Oracle数据库提供数据检索，并基于Hadoop分布式文件系统进行存储及计算；所述可视化展示平台包括可视化的人机交互界面；所述分析评估单元基于指标体系构建的数据分析与评估方法应用；所述专业化计算单元基于所述可视化平台进行计算；所述数据维护单元用于对所述数据进行管理及维护；所述数据接口包括数据人机界面接口、web界面数据自动获取接口和电力行业内数据获取接口。优选的，所述步骤2包括:2-1.根据全球能源互联网数据的来源，对所述全球能源互联网技术资源数据进行一次分类，得到一次分类数剧组;其中，所述一次分类数剧组包括地理信息数据，气象数据，资源数据，电力交易类数据、技术能力数据与基础数据； 2-2.对所述一次分类数剧组中的各数据进行二次分类，包括:所述地理信息数据包括经度及玮度、山川、河流及湖泊的分布、水能、风能及太阳能的能源分布信息；所述气象数据包括温度、风力及降水数据；所述资源数据包括风、光、水、煤及天然气的能源分布、成本及可开发储量信息；所述电力交易类数据包括市场报价、成交量、成交电价、负荷类型、电压等级、日期及汇率信息；所述技术能力数据包括电源类技术能力数据及电网类技术能力数据；所述基础数据包括国家人口、GDP及第三产业GDP占比信息；所述电源类技术能力数据包括风电及光伏能源的发电机组类型、装机容量及储能参数;所述电网类技术能力数据包括电网设备参数、线路容量及负荷数据。优选的，所述步骤3中获取所述全球能源互联网技术资源数据的方式包括:用户根据自身需求，进行Web数据自动搜索与获取；获取电力行业专业数据;其中，所述专业数据包括电力企业生产运行数据、电力企业运营数据、电力企业管理数据、城市数据、指标数据及专题数据；自动提取文本中数据信息，并根据所述数据的类型划分，实现基于文字分析功能的数据自动获取。优选的，所述用户根据自身需求，进行Web数据自动搜索与获取，包括:a.用户根据自身需求制定下载规则；b.用户根据所述下载规则，确定下载周期及系统运行频率，进行Web数据自动搜索与获取。优选的，所述步骤b包括:b_l.实时从目标网站中获取服务端的更新数据，即所述网页自动浏览导航时，混合处理html文本和JavaScript脚本，从页面内获取超级链接，完成Web数据自动搜索；b-2.用户根据所述下载规则，确定下载周期及系统运行频率，自动获取更新数据并将所述更新数据存储至本地存储目录中；完成Web数据自动获取。优选的，若所述步骤b-Ι中的所述页面为表格数据页面，则所述步骤b-Ι中还包括:c.用户选择表格字段信息与表格数据入库方式；d.记录用户选择并定时按照所述用户选择，将所述表格数据页面内更新的数据入库。优选的，所述获取电力行业专业数据中的所述电力企业生产运行数据包括发电量、配电网主设备及电压稳定性数据，其中，所述配电网主设备包括高压线路、主变压器、中压线路及配电变压器；所述电力企业运营数据包括交易电价、售电量及用电客户数据；所述电力企业管理数据包括ERP、一体化平台及协同办公数据；所述城市数据包括城市的人口，地理位置及空气质量数据。优选的，所述自动提取文本中数据信息，并根据所述数据的类型划分，实现基于文字分析功能的数据自动获取，包括:e.针对目标URL，采用基于自然语言处理的抽取模型，自动进行文本信息的抽取；f.将抽取得到的所述数据储存在本地硬盘中；g.根据基于朴素贝叶斯的文本分类技术对数据进行自动分类，并根据计算信息的技术资源数据信息类型所属概率，将所述信息划分为地理数据信息、气象信息或能源信息。优选的，所述步骤4中的所述全球能源互联网数据存储与检索结构系统中的数据库为关系型数据库，且所述全球能源互联网数据存储与检索结构系统包括相互通信的信息收集模块、索引模块、文本聚类模块、分类索引模块、索引合并模块、查询模块以及可视化模块从上述的技术方案可以看出，本专利技术提供了，该方法通过构建收集系统，；对全球能源互联网技术资源数据进行分类；以不同的方式获取所述全球能源互联网技术资源数据;针对全球能源互联网技术资源数据特点，采取基于Hadoop分布式平台与Oracle全文检索的全球能源互联网数据存储与检索。本专利技术提出的方法实现了全面、有效及准确的为全球能源互联网技术进行数据收集，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础，且其数据获取方式多且灵活，数据种类丰富、包含信息多、存储快捷安全且访问迅速。与最接近的现有技术比，本专利技术提供的技术方案具有以下优异效果:1、本专利技术所提供的技术方案中，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础。2、本专利技术所提供的技术方案，基于数据中心硬件平台的支撑，从数据分类、获取、存储三个方面来进行全球能源互联网技术资源数据的收集，实现了全面、有效及准确的为全球能源互联网技术进行数据收集。3、本专利技术所提供的技术方案，数据获取方式多且灵活、数据种类丰富、包含信息多、存储快捷安全且访问迅速。4、本专利技术提供的本文档来自技高网...

【技术保护点】
一种全球能源互联网技术资源数据收集方法，其特征在于，所述方法包括如下步骤：步骤1.建立全球能源互联网技术资源的数据收集系统，所述数据收集系统包括相互通信的数据存储单元、监控单元、数据中心、可视化展示平台、分析评估单元、专业化计算单元、数据维护单元及数据接口；步骤2.根据全球能源互联网数据的来源，对所述全球能源互联网技术资源数据进行分类；步骤3.获取所述全球能源互联网技术资源数据；步骤4.基于Hadoop分布式平台与Oracle全文检索，建立全球能源互联网数据存储与检索结构系统。

【技术特征摘要】

【专利技术属性】
技术研发人员：周海明，赵琦，刘超群，
申请(专利权)人：中国电力科学研究院，国家电网公司，国网天津市电力公司，
类型：发明
国别省市：北京;11