一种基于HBase的输电线路综合数据存储方法技术

本发明专利技术公开了一种基于HBase的输电线路综合数据存储方法，包括：采集输电线路综合数据，所述输电线路综合数据包括结构化数据及非结构化数据；将所述输电线路综合数据进行分类处理；根据分类结果构建HBase表；将所述HBase表内的输电线路综合数据转换为字节数组；将所述字节数组按照HBase表格式，依次存储至HBase分布式数据库，所述HBase分布式数据库构建于HDFS上。采用本发明专利技术，将输电线路综合数据与HDFS、HBase相结合，解决了原有数据信息共享性差、信息呈孤岛、非结构化数据难以处理等问题。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，包括：采集输电线路综合数据，所述输电线路综合数据包括结构化数据及非结构化数据；将所述输电线路综合数据进行分类处理；根据分类结果构建HBase表；将所述HBase表内的输电线路综合数据转换为字节数组；将所述字节数组按照HBase表格式，依次存储至HBase分布式数据库，所述HBase分布式数据库构建于HDFS上。采用本专利技术，将输电线路综合数据与HDFS、HBase相结合，解决了原有数据信息共享性差、信息呈孤岛、非结构化数据难以处理等问题。【专利说明】
本专利技术涉及电力信息化
，尤其涉及一种基于HBase的输电线路综合数据 存储方法。
技术介绍
信息和能源始终是世界关注的两大焦点话题。随着电网智能化、信息化、集成化程 度的不断加深和提高，由此产生的大量数据为电网的发展带来了新的挑战和机遇。在电力 系统的整个生产过程中，包括发、输、变、配、用、调度、协调等各个环节都伴随着各种各样的 信息流。输电线路作为保障电网安全可靠运行的重要组成部分，在实际运行中会产生种类 繁多、数量巨大的各类数据，包括线路自身的属性信息、各种状态监测数据、投运前离线实 验数据、电网运行数据、地理信息数据、公共安全信息数据、线路自身的运维记录数据等结 构化和非结构化数据。并且随着测量采集点越来越多，电网运行和设备检/监测产生的数 据量呈指数增长，构成了当今信息学界所关注的大数据。 早在2011年全球知名的咨询公司麦肯锡发布了一份关于大数据的详尽报告，就 大数据的影响、关键技术和应用领域等都做了详尽的分析，阐明了大数据研究的地位以及 蕴含的巨大的社会价值。中国电机工程学会信息化专委会于2013年3月出版发布了《中国 电力大数据发展白皮书》，该书对电力大数据的起源、内涵、特征、价值分析、应用前景、发展 挑战、关机技术以及发展策略给出了详细的解释和说明。 输电线路分为架空线和电力电缆两种。输电线路分布地域广、跨度大，与其相关 的数据分散、类型繁杂，如：架空线和电缆的生产日期、规格型号、离线实验、家族缺陷等属 性信息类数据；架空线杆塔坐标、电缆标识球位置坐标、电缆某段敷设方式等地理信息类数 据；微气象、雷击、覆冰、外力破坏、塔基滑坡等公共安全类数据；导线温度、弧垂、架空线绝 缘子泄漏电流、架空线视频监测、电缆护层环流等在线监测类数据；线路运行电流值等电网 运行类数据；线路的运行维护记录等运维数据等。输电线路综合数据种类繁多并呈现多样 化，数据对实时性的要求也不一致，如线路的运行电流值对于系统的调度影响重大，要求数 据实时、一致、准确；而其他类型的数据的如状态检测类数据对实时性的要求则较低。因此， 有区别的对数据规范化采集管理和科学、有效的处理非常必要。 另一方面，架空线和电缆的架设方式、结构特性、环境影响差别大，导致两者的数 据类型和数据源不尽相同，如：覆冰数据、微气象、弧垂、视频监测、绝缘子泄漏电流是架空 线才有的数据，而电缆护层环流、电缆敷设方式则是电缆独有的数据，因此，在数据的采集、 清洗、转换和存储过程中要区别对待。其中，数据的多源性体现为数据来源于不同的子系 统。中山供电局的输电线路管理水平走在全国的前列，目前，在输电管理所装有电缆环流在 线检测系统、电缆可视化子系统、绝缘子泄露电流在线检测系统、架空线路视频检测系统、 输电线路智能故障诊断系统、塔基滑坡灾害监测系统、线路弧垂在线监测系统、生产管理信 息系统，各类型的数据大部分来源于以上各系统。还有一些如线路的属性信息是来自生产 厂家，线路运行电流值则来自EMS系统。以中山供电局为例，在图1中给出了输电线路综合 数据的详细数据信息。 输电线路数据的异构性是建立在其复杂性和多源性的基础之上。复杂性和多源性 一定程度上决定了数据内在结构的不同，这些复杂的、多源的数据可以进一步细分为结构 化数据和非结构化数据。输电线路综合数据中结构化数据与非结构化数据的构成与划分如 图2所示。 结构化数据是指存储在关系数据库中的数据，输电线路综合数据中的大部分数据 是这种形式，如：微气象、弧垂、绝缘子泄漏电流、电缆护层环流等，随着信息技术的发展和 智能电网建设的逐步推进，测量采集装置的增多以及采样频率的提高，这部分数据将会很 快地增长。 相对于结构化数据而言，不方便用数据库二维逻辑表来存储和展示的数据即称为 非结构化数据。这部分数据增长非常迅速，互联网数据中心的一项调查报告指出：企业中 80%的数据都是非结构化数据，这些数据每年都按指数增长60%。在输电线路综合数据中， 电缆可视化子系统中的图片图像数据、架空线路视频监测的视频图像数据都是属于非结构 化数据。目前，大多数的电缆可视化系统均为"静态"系统，在电缆敷设时，对电缆的名称、 敷设类型（电缆槽、电缆沟、埋管、顶管)、与该段电缆相连的标识球编号等静态数据进行记 录并存储，只在显示时进行调用。在电缆可视化系统中重要的是标识球位置图，在敷设和更 新时对标识球位置现场的环境拍摄图片，当电缆发生故障需要维护检修时就要借助电缆可 视化系统中的标识球位置图帮助检修人员快速、准确的找到电缆实际的位置。 现在较为常用的架空线视频监控方法是通过终端摄像头采集图像并编码后通过 MESH无线网络将数据接入供电企业的电力光纤通信网络，通过TCP/IP协议将数据传输到 线路监测中心。以中山供电局架空线路视频监测为例，说明该部分非结构化数据的规模和 体量问题。中山局供电局输电管理所现下辖38个视频监测点，这些监测点安装在比较重要 的和易受外力破坏的杆塔上，若摄像机采用8路、512 Kbps定码率录像，每天采集视频图像 12 h，则每小时产生的数据量为512X3 600/8/1 024=225 MB，每年所有的摄像头采集到的 数据量为38X365X 12X225 MB=36 571.29 GB=35. 71 TB，数据体量巨大，具有电网大数据 中规模大的特点，并且随着监测点的增多，数据量会越来越大。 因此，现有的关系数据库已经无法满足大数据的存储需求，表现在以下4个方面： (1) 大数据的数据体量为TB或PB级，关系数据库已无法处理； (2) 数据访问时输入输出耗时，数据响应速度受到关系数据库的制约，导致大数据快速 访问能力较低； (3) 针对视频图像、图片、文档等非结构化数据缺乏处理能力； (4) 对海量数据处理的可扩展性差。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于HBase的输电线路综合数据存储 方法，可解决原有数据信息共享性差、信息呈孤岛、非结构化数据难以处理等问题。 为了解决上述技术问题，本专利技术提供了一种基于HBase的输电线路综合数据存储 方法，包括：采集输电线路综合数据，所述输电线路综合数据包括结构化数据及非结构化数 据；将所述输电线路综合数据进行分类处理；根据分类结果构建HBase表；将所述HBase表 内的输电线路综合数据转换为字节数组；将所述字节数组按照HBase表格式，依次存储至 HBase分布式数据库，所述HBase分布式数据库构建于HDFS上。 作为上述方案的改进，所述HBase表的列定义由多个列族构成，每个列族可以包本文档来自技高网...

【技术保护点】
一种基于HBase的输电线路综合数据存储方法，其特征在于，包括：采集输电线路综合数据，所述输电线路综合数据包括结构化数据及非结构化数据；将所述输电线路综合数据进行分类处理； 根据分类结果构建HBase表；将所述HBase表内的输电线路综合数据转换为字节数组；将所述字节数组按照HBase表格式，依次存储至HBase分布式数据库，所述HBase分布式数据库构建于HDFS上。

【技术特征摘要】

【专利技术属性】
技术研发人员：彭子平，刘波，王干军，于恒友，陈清江，戴征献，杨晓勇，郭栩文，王荣鹏，罗应文，聂文翔，
申请(专利权)人：广东电网公司中山供电局，广州运维电力科技有限公司，
类型：发明
国别省市：广东;44