一种海量电力计量数据的快速检索方法技术

本发明专利技术公开了一种海量电力计量数据快速检索方法，它包括终端、数据采集层和数据层，其特征在于：该方法首先从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据，并基于LVS技术进行服务器均衡进行快速入库；然后将大规模数据按格式上送云平台，云存储平台采用Hadoop分布式文件系统HDFS，具有高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；根据系统对各计量点电量、线损等的精确统计与计算，用户可通过数据检索服务，实施对电力计量数据的快速检索。为对电流、电压、功率因素、表码等这类电力计量大规模数据能有效快速的提供检索服务。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种海量电力计量数据快速检索方法，它包括终端、数据采集层和数据层，其特征在于：该方法首先从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据，并基于LVS技术进行服务器均衡进行快速入库；然后将大规模数据按格式上送云平台，云存储平台采用Hadoop分布式文件系统HDFS，具有高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；根据系统对各计量点电量、线损等的精确统计与计算，用户可通过数据检索服务，实施对电力计量数据的快速检索。为对电流、电压、功率因素、表码等这类电力计量大规模数据能有效快速的提供检索服务。【专利说明】
本专利技术涉及集群管理、云存储服务、云数据库服务、数据查询、监控管理、信息快速检索等领域，具体为一种基于云计算技术的电力计量数据快速检索方法。
技术介绍
近年来，电网公司不断投入电能计量自动化系统的建设，各供电局已基本建成了涵盖各种计量点及采集终端的集信息采集、监控、分析和计量管理于一体的计量自动化应用平台，完成了对电厂、变电站、公变、专变、低压集抄等发电侧、供电侧、配电侧、售电侧的综合性统一数据的自动采集监。供电企业的抄表结算、电能计量管理、营销管理、线损管理、错峰管理、节能及优质服务等多项核心业务从手工人工水平发展到系统自动化水平，实现对居民用电的远程集中抄表功能。计量自动化系统与营销管理系统、生产调度系统等均不同程度的通过数据接口实现了数据共享。规范了计量现场管理，提高了计量准确率，为供电企业经济运行、配网生产管理、线损管理、电力营销服务提供了先进的技术手段，提高了营销管理自动化、信息化水平。然而，随着系统的日趋完善和计量数据的积累，如何快速、有效地对计量数据进行检索，已经成为当前电力企业越来越迫切想要解决的问题，如用电异常分析中最为直接和最为重要的指标是线损异常，而线损异常分析需基于采集终端及相关计量系统收集到的电流、电压、功率因素、表码等数据，这些数据每日上亿数据，每年几百亿，要对这类海量数据进行存储，还要对数据进行快速检索，传统技术很难处理，目前的关系型数据库到I亿条的数据量将难以有效的进行管理和检索查询。因此以往关系型数据库完全不能满足需求，要能实现数据快速的检索并支持模糊查询，需要用到云计算相关技术。本专利技术针对区计量主站系统的各类数据，研究电力计量信息的快速检索方法，设计基于云计算技术的运算平台。采用LVS(Linux Virtual Server)技术,实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS (Hadoop DistributedFile System);云存储数据库建立基于HBase (Hadoop database),使用Hive进行结构化存储和检索，并提供相应的数据服务接口 ；搭建Ganglia监控，实时监控各个节点的状态、性能、网络。
技术实现思路
本专利技术的目的是提供一种基于云计算技术的海量电力计量数据的快速检索系统，以解决现有计量数据量大，难以进行有效的电力管理和检索查询等问题。为了达到上述目的，本专利技术所采用的技术方案为: ，它包括终端、数据采集层和数据层，其特征在于包括: 数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方式与终端进行数据交互。所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与数据采集层通信；集抄终端通过短信通信与与数据采集层通信。所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号等通信方式与数据采集层及数据应用层联系。所述的数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份。所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要 有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接；主节点负责负载调度(Load Balancing Scheduler),将用户发出的请求调度到各服务器节点上,从而使得服务器集群的结构对客户是透明的，用户端访问集群系统提供的网络服务就像在访问一台高性能、高可用的服务器一样。本海量电力计量数据的快速检索方法，基于云计算技术的运算平台，采用LVS技术，实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS，存储数据以及存储云数据库元数据；云存储数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口 ；可通过数据检索服务，快速对实时负荷、电流电压、负载率的快速检索；搭建Ganglia监控，以实时监控各个节点的状态、性能、网络。用户端实现对电流、电压、功率因素、表码等相关数据快速检索可通过下面步骤完成: 步骤1:计量数据抽取，包括以下子步骤: S1.1:确定抽取数据 确定检索数据需用到的基础数据信息，如线损分析需抽取电流、电压、功率因素、表码等计量数据信息； 51.2:抽取实时数据 从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据； 步骤2:服务器均衡，包括以下子步骤: 应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS (Least-ConnectionScheduling)调度算法； 52.1:应用LVS技术 应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器；LVS (LinuxVirtual Server)集群采用IP负载均衡技术和基于内容请求分发技术；从LVS-DR均衡调度器为集群服务器的唯一入口点，用于接收用户的请求，采用IP负载均衡算法选取一台采集节点机，将包转发过去； S2.2:采集节点机部署 各个采集节点机部署采集程序及Keepalived模块，Keepalived模块负责对各节点进行健康状况的检测，确保处理TCP数据的节点可用； S2.3:服务器负载分配 采用加权LCS调度算法确定服务器负载分配；权LCS调度算法实现； 步骤3:数据入库，基于步骤2实现服务器均衡，进行大规模的数据快速入库；用1^5技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS调度算法； 步骤4:大数据导入云平台，包括以下子步骤: S4.1:建立云存储平台 云存储平台采用Hadoop分布式文件系统HDFS，HDFS设计成适合运行在通用硬件commodity hardware上的分布式文件系统,它和现有的分布式文件系统有很多共同点；同时，它和其他的分布式文件系统的区别也是很明显的，具有高度容错性，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用； S4.2:建立云数据库服务 云数据库建立基于HBase，使用Hive进行结构化存储和本文档来自技高网...

【技术保护点】
一种海量电力计量数据的快速检索方法，它包括终端、数据采集层和数据层，其特征在于：数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方式与终端进行数据交互；快速检索包括以下步骤：步骤1：计量数据抽取；步骤2：服务器均衡；步骤3：数据入库；步骤4：大数据导入云平台；步骤5：数据快速检索。

【技术特征摘要】

【专利技术属性】
技术研发人员：何艺，刘路，黄富凡，陈俊，李刚，曾博，秦丽娟，唐利涛，张良均，陈俊德，刘名军，樊哲，郑宗锐，
申请(专利权)人：广西电网公司电力科学研究院，从兴技术有限公司，
类型：发明
国别省市：广西;45