一种Hadoop的智能电网数据安全存储技术制造技术

本发明专利技术针对智能电网下海量数据的存储问题及数据保密性和完整性需求，分析了现有安全存储方案的特点，结合智能电网应用环境的特殊场合，利用了HBase高性能优势和现代密码技术，将密钥与密文的管理分离，具有安全性好、密钥管理方便及效率高特点;开发了一种基于Hadoop的智能电网数据安全存储技术。

A Hadoop smart grid data security storage technology

The present invention is directed to the problem of massive data storage in smart grid and data confidentiality and integrity requirements, analyzes the characteristics of the existing security storage solutions, combined with the special occasions of smart grid application environment, using the HBase high performance advantage and modern cryptography, the separate management of the key and the ciphertext, with good security, key management convenient and high efficiency characteristics; the development of a Hadoop data storage technology based on smart grid security.

【技术实现步骤摘要】
一种Hadoop的智能电网数据安全存储技术
本专利技术涉及Hadoop技术,同时涉及网络安全存储技术。
技术介绍
信息化贯穿在智能电网的所有环节，各种信息化系统(如SG186,SG-ERP)及各种白动化系统(用电信息采集、配电白动化、输变电设备状态监测等)都对海量数据的计算和存储等资源提出了巨大的需求;云计算与云存储能够解决智能电网对海量数据的存储的难题，最大限度地整合系统的存储能力，减少电网的重复投资，大幅提高当前系统的整体性能，对智能电网的发展起到巨大的推动作用;智能电网是信息通信与电力系统充分融合的能源网络，信息交互贯穿于智能电网的各个环节，特别是在电力市场化的趋势下，电网与运营商、服务商供应商、用户等利益相关方的联系更为密切，信息安全问题更为突出。
技术实现思路
Hadoop的智能电网数据安全存储技术开发需要的相关技术-云计算与云存储:云计算是一个以数据计算和处理为核心的系统，它将分布在众多计算机中的大量数据资源和处理器资源整合在一起协同工作;云存储是在云计算概念上延仲和发展出来的，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。Hadoop的智能电网数据安全存储技术开发需要的相关技术-开源Hadoop平台与HBase数据库:1.Hadoop是一个分布式系统基础架构，是基于云计算技术的开源平台;用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储;Hadoop包含两个部分:一个分布式文件系统HDFS(HadoopDistributedFileSystem)和一个MapReduce实现;2.HBase是一个Hadoop上的高可靠性、高性能、面向列、可仲缩的分布存储系统，利用HBase技术可在廉价PCServe:上搭建起大规模结构化存储集群;HBase是一个稀疏的，排序的，长期存储在硬盘上的，多维度的映射表;这张表的索引是行关键字，列关键字和时问戳，每个值是一个的字符数组;数据都是字符串且每一行都有一个可排序的主键和任意多的列;数据行有三种基本类型的定义:行关键字(RowKeys、时问戳CTimeStamp)和列(ColnmW;行关键字是数据行在表中的唯一标示，时问戳是每次数据操作对应关联的时问戳;列定义为:<family><label>(<列族>:<标签>)，列名都以列族作为前缀，通过这两部分可以唯一地指定一个数据的存储列。存储方案设计:由于云安全的核心是密码技术和加固技术，因此可以使用密码技术来保护云存储中智能电网数据的保密性和完整性;云中存储的数据是加密的，如果没有相应的密钥信息，没有人能看到其中的信息;对于完整性，对要存储的数据预先生成一个消息摘要，这样当读取数据的时候，就能够验证云中数据的完整性;此外，为了方便对密钥信息的操作，方案将密文和密钥的信息的存储解祸，使得对密钥信息的任何操作都不会对密文造成影响;存储数据时具体的步骤如下:第一步，生成摘要:首先用消息摘要算法对要存储的数据生成一个数字摘要;第二步，加密数据:利用密钥生成函数生成随机密钥，并用这个密钥对所要存储的数据进行加密，得到相应的密文;第三步，随机密钥隐藏:对第一步中得到的随机密钥进行信息隐藏;第四步，存储密文:将密文存储到云(HDFS)中;第五步，保存相关信息:在密文成功存储到云以后，将第一，三步得到的密钥信息与数字摘要信息，并同文件名存储到HBase中;(1)随机密钥信息的隐藏方案设计:为了解决对称加密算法的密钥管理问题，需要对随机密钥进行信息隐藏;加密是一种十分有效的信息隐藏方案;因此，为了对随机密钥进行信息隐藏，我们设计了以下的密钥隐藏方案,在方案中，利用数据源的各种属性及一个填充数生成摘要信息，再通过Hash函数生成所需要的密钥;属性中可以包含用户密码信息，这样当用户修改了密码信息后，随机密钥信息随之改变，却不需要对所有的密文重新加密，提高了效率，降低了复杂性;此外，对于用户和系统来说，只有密码信息需要管理，简化了密钥的管理;(2)HBase中MetaTable表的设计:为了将密钥信息和摘要信息存入HBase中,设计了表MetaTable的结构;MetaTable主要有三列，分别是行关键字RowKey用于存储文件名，时问戳Timestamp及列族Metadata,Metadata包含hiddenKey和messageDiggest两个标签分别保存密钥信息和摘要信息;此外，对于不需要加密的数据来说，采用hiddenKey为全0来加以区别，而messageDiggest则正常使用检查数据的完整性。数据读取方案设计:当读取数据时，主要有两部分工作获取保密的信息和完整性检查;首先从HBase和HDFS中获取相应的数据，然后根据密钥信息确定HDFS中数据是否为密文并根据实际情况进行相应处理，最后检查数据的完整性，以确定数据的完整性;具体的步骤如下:第一步，数据读取:从HDFS中读取密文,从HBase中读取相关数据;第二步，判断数据类型:根据密钥信息，确定从HDFS中的数据是否需要解密;如果密钥信息是0，则说明读取的数据是明文，不需要解密直接跳第四步;若不为0，则说明需要解密密文数据;第三步，获取随机密钥:利用数据源属性(密码信息)获取密钥，并对密钥信息进行信息恢复得到随机密钥;第四步，解密数据:用第三步得到密钥，对密文进行解密;第五步，检查完整性:生成密文的数字摘要信息，并与第一步中摘要信息相比较，确定数据的完整性;如果不一样，则说明云中的数据被篡改了,若一样，则说明数据正常。技术分析:技术中对于数据的完整性和保密性，都是通过密码学的方法来实现的，如果选取了恰当的加密算法和消息摘要算法，能充分保证云存储中智能电网数据的完整性和保密性;此外,该技术还具有以下优点:(1)安全性高:对于每个加密文件来说，每一次的加密所用的密钥都是不同的，因此可以说其基本上达到了一次一密的效果，安全性很高;即使任何一个密文被破解，其他的文件仍然很安全;(2)密钥管理方便:对于用户来说，可以只有一个普通的密码而已甚至没有密码，方便使用;(3)用户更改密码方便:当用户出于安全方面考虑需要更改密码时,不需要对所有的密文解密然后再用新的密钥加密，提高了系统的效率。研究了基于云存储的智能电网数据安全存储问题,分析了智能电网信息系统的安全问题，设计出一种基于智能电网的数据安全存储技术;开发了原型系统，并对其优点和性能进行了分析。本文档来自技高网...

【技术保护点】
一种Hadoop的智能电网数据安全存储技术，其特征在于：用HBase高性能优势和密码技术，将密钥与密文的管理分离，开发了一种基于Hadoop的智能电网数据安全存储的技术;该技术具有密钥管理灵活方便，效率高的优势，能够有效保护云存储中数据的保密性的完整性。

【技术特征摘要】
1.一种Hadoop的智能电网数据安全存储技术，其特征在于：用HBase高性能优势和密码技术，将密钥与密文的管理分离，开发了一种基于Hadoop的智能电网数据安全存储的技术;该技术具有密钥管理灵活方便，效率高的优势，能够有效保护云存储中数据的保密性的完整性。2.根据权利要求...

【专利技术属性】
技术研发人员：余漫游，
申请(专利权)人：湖南移商动力网络技术有限公司，
类型：发明
国别省市：湖南,43