一种基于电力大数据的能源资讯系统技术方案

本发明专利技术公开了一种基于电力大数据的能源资讯系统。本发明专利技术包括电力栏目模块、数据爬取模块、数据分析模块、数据挖掘模块和智能推荐模块；所述电力栏目模块，基于电力资讯的海量数据，从中提取关键词，并累计数量，按照降序排列，最终生成出现频率高的关键词作为电力栏目；通过聚合算法生成电力栏目。本发明专利技术充分结合移动互联网，基于数据爬取技术，通过网络爬虫工具分析当前主流系统获取电力行业信息；对数据进行清洗分析，深度挖掘形成有价值的参考信息，为电力市场提供数据服务、分析服务、应用服务和平台服务等。

An Energy Information System Based on Big Data of Electricity

【技术实现步骤摘要】
一种基于电力大数据的能源资讯系统
本专利技术属于大数据应用
，涉及一种基于电力大数据的能源资讯系统。
技术介绍
随着人类社会活动的日趋数据化，数据密集型科学将继“实验、理论、模拟三个范式”之后，成为人类科学研究的第四个范式，而大数据将成为科学研究变革的核心。这场变革无疑给传统社会科学研究以及传统智库的发展带来了重大挑战。大数据时代，传统智库的局限性逐渐暴露出来，突出表现在研究周期长以至于研究成果不能满足快速变化的实际需要，缺少现实数据支撑以至于研究成果的客观性易受质疑，以及短期应急研究多而战略性研究难以开展三方面。这些局限性的产生主要是由于传统智库难以适应大数据引起的新观念变革，集中体现在传统科研方式方法难以应对大数据带来的科研生产力和科研生产资料的变革上。1.手工作坊式研究方式难以应对大数据的大体量、低价值密度和高处理速度要求。面对大数据时代的各种挑战，传统手工作坊式科研方式显然不能适应现代化发展需求。传统科研方式是包含资料搜集、筛选、分类和分析等活动在内的个人或几个人联合的科研行为，最大的特点是人工劳作，犹如远古时代刀耕火种的农民，很少采用现代化生产工具，个人经验、个人能力是科研成败优劣的关键，并且科研合作大多也是停留在有限地域内自然分工之上。虽然不能否定个人在科研活动中的能动作用，但是在信息化高速发展的今天，高效的科研生产工具是快速应对各种课题研究、提升研究成果质量、增强智库核心竞争力的基本手段，还能够迅速提升智库、科研队伍的整体层次，这些是仅仅依赖个人之力无法做到的。在这个大数据爆炸的时代，离开计算机工具的辅助。大数据时代科研活动的各个过程、各个环节都将发生重大变革。首先，在科研启动阶段，最基本的数据采集也有别于传统的图书资料收集，因为现在很多数据尤其是个人行为数据往往保存在网络上，这颠覆了传统的图书资料保存收集模式，比如需要做一项互联网负面舆论传播调查报告并进行跟踪，从图书馆根本不可能获得任何有用数据，从互联网各大主流门户网站、论坛一一搜集筛选也将是人力难以企及的，要进一步实施跟踪预判，离开计算机工具辅助简直是天方夜谭。其次，在科研资料筛选分类上，现代化的计算机辅助工具优势更是得天独厚，现在大行其道的各类计算机信息检索工具就是例证。此外，智能化的检索分类工具正如雨后春笋般纷纷冒出，它们不仅仅是检索更在于关联和分类，如自动内容检索分类，相关研究课题的挖掘、研究人员、研究动态的跟踪等。最后，在数据分析阶段，通过预置不同理论模型和参数可以进行有效的自动化数据演算或仿真，或者选定回归模型进行参数估算，或者无模型的数据规律自动发现，等等，例如在战略性研究中需要通过宏观经济计量模型动态跟踪经济发展态势、自动评估预测未来经济发展形势。大数据时代科研活动的变革要求必须普及现代化的科研工具的运用，而智库作为科研活动的新力军更应该一马当先。2.研究人员的计算机运用能力难以适应大数据新技术的应用要求。大数据在给科研带来便捷的同时，对研究人员的计算机技能提出了更高的内在要求。在大数据的辅助下，一篇图文并茂的论文瞬间可就，研究人员几乎不用再把大量的精力和时间消耗在打字、制表、画图、检索活动上。但另一方面论文的质量就严重依赖于研究人员对大数据的理解和运用能力了。这对传统的研究人员提出了重大挑战，他们必须熟悉专业领域知识，必须掌握大数据管理、分析技能。随着大数据的深入发展和研究领域融合，在海量数据面前，研究人员将不得不提升大数据运用能力。总之，传统的手工作坊式科研生产方式和纸质图书科研资料正在逐渐被时代摒弃，取而代之的将是以自动化、智能化、综合化为代表的新科研生产力，其标志就是大数据抓取、加工、分析、模拟、预测、可视化的一体化集成工具的出现。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于电力大数据的能源资讯系统，其从横向分析，扩充运营仿真指标库，加强指标库建设，深入研究市场化电力产品及服务设计方法，提升平台仿真模拟能力；从纵向研究，深入开展数据域建设，多角度挖掘数据，完善数据域，提升实验室平台能力。为此，本专利技术采用如下的技术方案：一种基于电力大数据的能源资讯系统，包括电力栏目模块、数据爬取模块、数据分析模块、数据挖掘模块和智能推荐模块，数据爬取为能源资讯平台的基础，主要用来提供原始数据，数据爬取下来后数据分析模块对数据进行处理，处理成可用的数据形式，进而提炼出电力栏目，各模块之间层层递进；所述电力栏目模块，基于电力资讯的海量数据，从中提取关键词，并累计数量，按照降序排列，最终生成出现频率高的关键词作为电力栏目；通过聚合算法生成电力栏目，聚合算法包括两个层面：数据加工层和数据业务层；数据加工层，从公众号、电力官网数据源的数据、清洗和提出数据，最终进入数据池；数据业务层，数据加工层为数据业务层提供最基础的数据能力，提供数据原材料，业务层属于公共资源层，主要用来维护整个栏目体系，定义业务方需要的栏目，创建栏目实例，执行电力栏目实例，提供相应数据；所述的数据爬取模块，通过网络爬虫工具爬取公众号、电力官网等等数据源的数据，获取电力行业信息；所述的数据分析模块，对获取的行业信息进行数据处理分析，包括数据清洗、数据转换、数据集成、数据消减、标签管理、贴标签和统计分析；按模型数据要求对基础数据进行数据清洗、转换、集成和消减，保证数据的可用性和完整性；通过标签管理、贴标签和统计分析形成数据标签；所述的数据挖掘模块，包括挖掘建模、模型成果和应用优化，建模人员选用恰当的模型技术，利用训练数据集来训练并建立模型，输出模型成果，包括三个输出物：模型说明文档、模型结果数据和模型成果应用建议书，在应用中使用模型挖掘结果数据，并通过分组对比和专题评价，对模型应用进行全面的评估；结合评估结果，进一步优化模型，直至达到所要求的模型应用效果为止；所述的智能推荐模块，用于给用户推荐标签，包括用户建模、推荐算法和标签推荐，智能推荐模块通过用户行为，建立用户模型，通过内容的信息，建立推荐对象模型，通过用户兴趣匹配内容的特征信息，再经过推荐算法计算筛选，找到用户感兴趣的推荐对象，然后推荐给用户；所述智能推荐模块推荐的数据标签通过前端进行展示。数据加工层主要基于爬取的电力行业资讯，清洗聚合生成原始数据，业务层主要是用户在使用过程中，收藏，点赞，关注度，重新生成个性化电力栏目。进一步地，所述的数据爬取模块包括爬取任务子模块、数据导出子模块和爬取数据源，根据爬取任务子模块中的任务，利用网络爬虫自动抓取当前主流系统获取行业信息，将行业信息导出并储存于爬取数据源中。进一步地，所述的网络爬虫工具，按照设定的规则，自动地抓取网络信息的程序或者脚本，被广泛用于互联网搜索引擎或其他类似网站，自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。进一步地，所述挖掘建模的过程如下：在取得多份样本后，将部分样本作为训练数据集，其余样本则作为验证数据集；选用最恰当的模型技术，利用训练数据集来训练并建立模型，利用验证数据集来验证在已经建立的模型；验证数据集和训练数据集是互相独立的，所建立的模型只“见过”训练数据集的数据，而验证数据集对已建立的模型来说则是全新的数据，用来验证已建立的模型是否可以维持大致相同的模型准确性。进一步地，如果利用验证数据集验证已建本文档来自技高网...

【技术保护点】
1.一种基于电力大数据的能源资讯系统，其特征在于，包括电力栏目模块、数据爬取模块、数据分析模块、数据挖掘模块和智能推荐模块；所述电力栏目模块，基于电力资讯的海量数据，从中提取关键词，并累计数量，按照降序排列，最终生成出现频率高的关键词作为电力栏目；通过聚合算法生成电力栏目，聚合算法包括两个层面：数据加工层和数据业务层；数据加工层，从公众号、电力官网数据源收集、清洗和提出数据，最终进入数据池；数据业务层，数据加工层为数据业务层提供最基础的数据能力，提供数据原材料，业务层属于公共资源层，主要用来维护整个栏目体系，定义业务方需要的栏目，创建栏目实例，执行电力栏目实例，提供相应数据；所述的数据爬取模块，通过网络爬虫工具爬取公众号、电力官网，获取电力行业信息；所述的数据分析模块，对获取的行业信息进行数据处理分析，包括数据清洗、数据转换、数据集成、数据消减、标签管理、贴标签和统计分析；按模型数据要求对基础数据进行数据清洗、转换、集成和消减，保证数据的可用性和完整性；通过标签管理、贴标签和统计分析形成数据标签；所述的数据挖掘模块，包括挖掘建模、模型成果和应用优化，建模人员选用恰当的模型技术，利用训练数据集来训练并建立模型，输出模型成果，包括三个输出物：模型说明文档、模型结果数据和模型成果应用建议书，在应用中使用模型挖掘结果数据，并通过分组对比和专题评价，对模型应用进行全面的评估；结合评估结果，进一步优化模型，直至达到所要求的模型应用效果为止；所述的智能推荐模块，用于给用户推荐标签，包括用户建模、推荐算法和标签推荐，智能推荐模块通过用户行为，建立用户模型，通过内容的信息，建立推荐对象模型，通过用户兴趣匹配内容的特征信息，再经过推荐算法计算筛选，找到用户感兴趣的推荐对象，然后推荐给用户；所述智能推荐模块推荐的数据标签通过前端进行展示。...

【技术特征摘要】
1.一种基于电力大数据的能源资讯系统，其特征在于，包括电力栏目模块、数据爬取模块、数据分析模块、数据挖掘模块和智能推荐模块；所述电力栏目模块，基于电力资讯的海量数据，从中提取关键词，并累计数量，按照降序排列，最终生成出现频率高的关键词作为电力栏目；通过聚合算法生成电力栏目，聚合算法包括两个层面：数据加工层和数据业务层；数据加工层，从公众号、电力官网数据源收集、清洗和提出数据，最终进入数据池；数据业务层，数据加工层为数据业务层提供最基础的数据能力，提供数据原材料，业务层属于公共资源层，主要用来维护整个栏目体系，定义业务方需要的栏目，创建栏目实例，执行电力栏目实例，提供相应数据；所述的数据爬取模块，通过网络爬虫工具爬取公众号、电力官网，获取电力行业信息；所述的数据分析模块，对获取的行业信息进行数据处理分析，包括数据清洗、数据转换、数据集成、数据消减、标签管理、贴标签和统计分析；按模型数据要求对基础数据进行数据清洗、转换、集成和消减，保证数据的可用性和完整性；通过标签管理、贴标签和统计分析形成数据标签；所述的数据挖掘模块，包括挖掘建模、模型成果和应用优化，建模人员选用恰当的模型技术，利用训练数据集来训练并建立模型，输出模型成果，包括三个输出物：模型说明文档、模型结果数据和模型成果应用建议书，在应用中使用模型挖掘结果数据，并通过分组对比和专题评价，对模型应用进行全面的评估；结合评估结果，进一步优化模型，直至达到所要求的模型应用效果为止；所述的智能推荐模块，用于给用户推荐标签，包括用户建模、推荐算法和标签推荐，智能推荐模块通过用户行为，建立用户模型，通过内容的信息，建立推荐对象模型，通过用户兴趣匹...

【专利技术属性】
技术研发人员：于晓彦，朱国荣，冯昊，陆晓芬，劳咏昶，叶玲节，孙秋洁，杨云露，徐晨静，袁翔，
申请(专利权)人：国网浙江省电力有限公司经济技术研究院，
类型：发明
国别省市：浙江,33