一种电力数据可视化系统技术方案

本发明专利技术涉及一种电力数据可视化系统，用于展示居民用电的详细数据和相应的变化趋势，所述系统包括：数据采集模块，用于通过爬虫的手段采集电力数据；挖掘模块，用于对数据采集模块采集的电力数据进行挖掘；数据可视化模块，用于将挖掘后的电力数据进行图示化，展示具体的电力数据以及电力数据的变化趋势；数据库，用于存储数据采集模块采集的电力数据和挖掘模块挖掘后的电力数据。与现有技术相比，本发明专利技术具有数据展示直观、数据详细、展示方面广以及展示精度高等优点。

【技术实现步骤摘要】

本专利技术涉及电力系统领域，尤其是涉及一种电力数据可视化系统。
技术介绍
数据可视化起源于1960s计算机图形学，人们使用计算机创建图形图表，可视化提取出来的数据，将数据的各种属性和变量呈现出来。随着计算机硬件的发展，人们创建更复杂规模更大的数字模型，发展了数据采集设备和数据保存设备。同理也需要更高级的计算机图形学技术及方法来创建这些规模庞大的数据集。随着数据可视化平台的拓展，应用领域的增加，表现形式的不断变化，以及增加了诸如实时动态效果、用户交互使用等，数据可视化像所有新兴概念一样边界不断扩大。而我们熟悉的那些饼图、直方图、散点图、柱状图等，是最原始的统计图表，它们是数据可视化的最基础和常见应用。但最原始统计图表只能呈现基本的信息，发现数据之中的结构，可视化定量的数据结果。面对复杂或大规模异型数据集，比如商业分析、财务报表、人口状况分布、媒体效果反馈、用户行为数据等，数据可视化面临处理的状况会复杂得多。大型的数据可视化作品或项目的创建，需要多领域专业人士的协同工作才能取得成功，尤其是BI商业智能。人类能够操纵和解释如此来源多样、错综复杂跨领域的信息，其本身就是一门艺术。目前数据可视化的应用范围很广，但是针对电力数据的可视化系统目前比较缺乏。
技术实现思路
本专利技术的目的是针对上述问题提供一种电力数据可视化系统。本专利技术的目的可以通过以下技术方案来实现：一种电力数据可视化系统，用于展示居民用电的详细数据和相应的变化趋势，所述系统包括：数据采集模块，用于通过爬虫的手段采集电力数据；挖掘模块，用于对数据采集模块采集的电力数据进行挖掘；数据可视化模块，用于将挖掘后的电力数据进行图示化，展示具体的电力数据以及电力数据的变化趋势；数据库，用于存储数据采集模块采集的电力数据和挖掘模块挖掘后的电力数据。所述数据采集模块包括：Scrapy爬虫单元，用于对电力数据通过爬虫的手段进行爬取采集，并将采集的电力数据传输至数据库；消息传输队列，用于传输Scrapy爬虫单元产生的爬取记录，将爬取记录传输至数据库，并对Scrapy爬虫单元内部进行任务分配和负载平衡。所述Scrapy爬虫单元包括Scrapy爬虫框架，所述Scrapy爬虫框架的数量不少于2个。所述Scrapy爬虫框架包括：Scrapy引擎，用于作为Scrapy爬虫框架的核心控制整个Scrapy爬虫框架的数据处理流程；调度机，用于发出抓取网页的请求并将请求传输至Scrapy引擎；下载器，用于接受由Scrapy引擎传来的抓取网页的请求，并根据请求从网络上抓取网页；蜘蛛，用于对抓取的网页进行解析，采集电力数据并将电力数据传输至Scrapy引擎，或根据解析结果产生新的抓取网页的请求并将请求反馈至Scrapy引擎；项目管道组件，用于从Scrapy引擎处获取并保存蜘蛛采集的电力数据。所述消息传输队列由Kafka或Zookeeper实现。所述挖掘模块包括：第一API接口，用于从数据库中调用数据采集模块采集的电力数据；数据预处理单元，用于对第一API接口调用的电力数据进行预处理；聚类和分类单元，用于对预处理后的电力数据进行聚类和分类，并将聚类和分类后的电力数据存储至数据库中。所述预处理包括分词、特征表示和特征提取。所述数据可视化模块包括：第二API接口，用于从数据库中调用挖掘模块挖掘后的电力数据；可视化单元，用于将第二API接口调用的数据以图表的形式进行展示。所述可视化单元通过Echarts、GoogleCharts、Leaflet、Dygraphs或FushionCarts实现。与现有技术相比，本专利技术具有以下有益效果：(1)数据采集模块通过Scrapy爬虫单元对网络数据进行爬取，比起调用数据商提供的数据API相比，获取数量大且节省成本，同时也可以加快数据的采集速度。(2)Scrapy爬虫单元中采取至少2个Scrapy框架，可以加快数据的爬取速度，同时也能增加获取的数据数量。(3)利用消息队列对Scrapy爬虫单元内的多个Scrapy爬虫框架进行任务分配和负载平衡，避免了出现部分Scrapy爬虫框架闲置的情况，进一步提高了数据采集的效率和质量。(4)挖掘模块和数据可视化模块都通过API接口从数据库中获取数据，而非直接调用上一模块的数据，这样避免了某一模块瘫痪而导致整个系统崩溃的情况，增强了系统的稳定性。(5)整个系统分为数据采集模块、挖掘模块、数据可视化模块和数据库四大部分，整个系统模块化，便于维护和维修。(6)可视化单元包括Echarts、GoogleCharts、Leaflet、Dygraphs和FushionCarts等目前主流的可视化工具，可以针对实际情况进行相应的选择，保障了数据可视化的效果。(7)挖掘模块首先对数据进行预处理后再进行聚类和分类，增强了挖掘的效果，提高了挖掘数据的质量。附图说明图1为本专利技术的结构示意图；图2为Scrapy爬虫框架的结构示意图；图3为数据可视化的效果图，其中(3a)为主页面，(3b)为居民用电热点图，(3c)为商业热点迁徙图，(3d)为综合数据图；其中，1为数据采集模块，2为挖掘模块，3为数据可视化模块，4为数据库，11为Scrapy爬虫单元，12为消息传输队列，111为Scrapy引擎，112为调度机，113为下载器，114为蜘蛛，115为项目管道组件，21为第一API接口，22为数据预处理单元，23为聚类和分类单元，31为第二API接口，32为可视化单元。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。如图1所示，为电力数据可视化系统，用于展示居民用电的详细数据和相应的变化趋势，该系统包括：数据采集模块1，用于通过爬虫的手段采集电力数据；挖掘模块2，用于对数据采集模块1采集的电力数据进行挖掘；数据可视化模块3，用于将挖掘后的电力数据进行图示化，展示具体的电力数据以及电力数据的变化趋势；数据库4，用于存储数据采集模块1采集的电力数据和挖掘模块2挖掘后的电力数据。其中，数据采集模块1包括：Scrapy爬虫单元11，用于对电力数据通过爬虫的手段进行爬取采集，并将采集的电力数据传输至数据库4；消息传输队列12，通过Kafka或Zookeeper实现，用于传输Scrapy爬虫单元11产生的爬取记录，将爬取记录传输至数据库4，并对Scrapy爬虫单元11内部进行任务分配和负载平衡。Scrapy爬虫单元11包括Scrapy爬虫框架，如图2所示，该Scrapy爬虫框架的数量不少于2个，每个Scrapy爬虫框架包括：Scrapy引擎111，用于作为Scrapy爬虫框架的核心控制整个Scrapy爬虫框架的数据处理流程；调度机112，用于发出抓取网页的请求并将请求传输至Scrapy引擎；下载器113，用于接受由Scrapy引擎传来的抓取网页的请求，并根据请求从网络上抓取网页；蜘蛛114，用于对抓取的网页进行解析，采集电力数据并将电力数据传输至Scrapy引擎，或根据解析结果产生新的抓取网页的请求并将请求反馈至Scrapy引擎；项目管道组件115，用于从Scrapy引擎处获取并保存蜘蛛采集的电力数据。蜘蛛114的整个抓取流程(周期)是这本文档来自技高网...

【技术保护点】
一种电力数据可视化系统，用于展示居民用电的详细数据和相应的变化趋势，其特征在于，所述系统包括：数据采集模块，用于通过爬虫的手段采集电力数据；挖掘模块，用于对数据采集模块采集的电力数据进行挖掘；数据可视化模块，用于将挖掘后的电力数据进行图示化，展示具体的电力数据以及电力数据的变化趋势；数据库，用于存储数据采集模块采集的电力数据和挖掘模块挖掘后的电力数据。

【技术特征摘要】
1.一种电力数据可视化系统，用于展示居民用电的详细数据和相应的变化趋势，其特征在于，所述系统包括：数据采集模块，用于通过爬虫的手段采集电力数据；挖掘模块，用于对数据采集模块采集的电力数据进行挖掘；数据可视化模块，用于将挖掘后的电力数据进行图示化，展示具体的电力数据以及电力数据的变化趋势；数据库，用于存储数据采集模块采集的电力数据和挖掘模块挖掘后的电力数据。2.根据权利要求1所述的电力数据可视化系统，其特征在于，所述数据采集模块包括：Scrapy爬虫单元，用于对电力数据通过爬虫的手段进行爬取采集，并将采集的电力数据传输至数据库；消息传输队列，用于传输Scrapy爬虫单元产生的爬取记录，将爬取记录传输至数据库，并对Scrapy爬虫单元内部进行任务分配和负载平衡。3.根据权利要求2所述的电力数据可视化系统，其特征在于，所述Scrapy爬虫单元包括Scrapy爬虫框架，所述Scrapy爬虫框架的数量不少于2个。4.根据权利要求3所述的电力数据可视化系统，其特征在于，所述Scrapy爬虫框架包括：Scrapy引擎，用于作为Scrapy爬虫框架的核心控制整个Scrapy爬虫框架的数据处理流程；调度机，用于发出抓取网页的请求并将请求传输至Scrapy引擎；下载器，用于接受由Scrapy引擎传来的抓取网页的请求，并根据请...

【专利技术属性】
技术研发人员：瞿海妮，许唐云，张鹏飞，
申请(专利权)人：国网上海市电力公司，华东电力试验研究院有限公司，
类型：发明
国别省市：上海;31