基于喷泉码的智能电能表误差大数据安全存储装置及方法制造方法及图纸

一种基于喷泉码的智能电能表误差大数据安全存储装置及方法，所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储，本发明专利技术的技术效果：提升了存储效率；提升了存储空间利用率；解决了传统由于DataNode失效而导致的存储数据丢失问题；确保了用户数据的私密性保护。

Intelligent data storage device and method for error of electric energy meter based on fountain code

An intelligent electric energy meter fountain code device and method for secure storage of error based on the data of the device includes the intelligent electric energy meter calibration device, self-service HDFS client, Hadoop large data storage platform; the intelligent electric energy meter calibration device for self-help, acquisition of smart meter data measured; the HDFS client for the collected intelligent electric meter data preprocessing, and the preprocessed data compiled code; the Hadoop data storage platform for intelligent electric energy meter error data distributed storage, the technical effect of the invention: to enhance storage efficiency; enhance storage space to solve the data storage utilization; traditional DataNode due to failure caused the loss of the problem; to ensure the privacy protection of user data.

【技术实现步骤摘要】

本专利技术涉及电能计量及营销大数据的存储
，属于分布式计算、信息安全的信息技术类应用领域，具体是一种基于喷泉码的智能电能表误差大数据安全存储装置及方法。
技术介绍
近年来，随着智能电能表大规模安装应用，电力用户侧数据呈指数级增长，海量数据的存储变得越来越重要。传统意义的基于Oracle等大型关系数据库的电力数据存储系统，具有分析速度慢、可伸缩性与可靠性差等缺点，难以适应智能电网时代电力大数据对数据存储与分析的需求，已成为智能电网建设的瓶颈所在。HDFS(HadoopDistributedFileSystem)是云计算Hadoop框架平台数据存储管理的基础，是基于流数据模式访问和处理超大文件等的需求而开发的，并可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了可靠的存储，为超大数据集(LargeDataSet)的应用处理带来了很多便利。Hadoop平台中电力数据的存储和数据收集方式直接影响着电力数据的可用性。数据持久性通常是衡量感知数据在网络中可用性的主要指标。传统HDFS系统中提高数据持久性的基本思想是部署一定数量的冗余节点，设法把感知数据以一定的方式拷贝“备份”存储在其它节点上，使得任意节点发生故障时，其数据皆有机会在其它节点数据中继续存活。但这样的方案通常具有较低的数据恢复性，且复杂度高，此外，HDFS的典型配置是每个文件块需要存3份拷贝，空间利用率仅为33％；另一方面，将海量电力数据交由第三方的资源平台提供的云服务器来管理，用户最终失去了对数据的控制权，电力数据信息的安全和用户隐私保障依赖于云服务商。虽然云服务商能提供更高可靠性的数据备份和数据恢复能力，但不能排除云服务商们出于自身利益考虑和外界因素的干扰，出现泄漏、隐藏、丢失用户存放在云端的数据或者被恶意篡改等情况。为提升存储空间的利用率，保障数据拥有者的利益以及数据用户查询数据的真实性和完整性，需要一个高效的电力大数据安全存储机制。
技术实现思路
基于以上问题，本专利技术在充分利用Hadoop分布式计算平台的开源、高效、稳定、容错性高等优势的基础上，结合智能电表误差数据的波动具有稀疏特性的信源特点，首先对采集到的智能电表误差数据进行稀疏表示，再将一种新的信道编码技术—喷泉码应用到Hadoop云存储系统中，以满足智能电能表误差大数据存储空间高利用率与安全机密性的处理要求。本专利技术的技术方案：一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。HDFS服务器连接所述HDFS客户端用以控制管理HDFS客户端。所述HDFS客户端还包括喷泉码应用服务器。所述Hadoop大数据存储平台设置有多个机架，每个机架上存放存储器，用以实现智能电能表误差大数据进行分布式存储。一种基于喷泉码的智能电能表误差大数据安全存储方法，其特征在于，所述方法包括智能电能表误差数据写入和读取方法，所述的智能电能表误差数据写入方法包括如下步骤：(1)客户端通过身份验证，建立TCP/IP连接，通过一个可配置端口，连接到NameNode并发起RPC远程请求；(2)NameNode检查待创建的文件是否已经存在，创建者是否有权限进行操作；成功则为文件创建一个记录，否则向客户端抛出异常；(3)客户端写入智能电能表误差数据，HDFS客户端代理服务器首先对写入的误差数据进行稀疏表示预处理，然后将数据文件等分成多个packets，利用喷泉码将packets编码生成稍多于源报文的编码包，并在内部以数据队列的形式管理这些packets，同时将编码矩阵信息存储在代理服务器中；(4)根据名字节点NameNode提供的数据地址开始写入数据。写入流程开始后，数据包以流的方式存入第一个DataNode，这个包完成写入后，数据包开始写入第二个DataNode，直到成功写入最后一个DataNode，数据包写入完成后，反馈一个成功信息，完成一次智能电能表误差数据写入。所述步骤(3)的喷泉码编码技术为LT(LubyTransform)码。所述的智能电能表误差数据读取方法包括如下步骤：a.客户端代理服务器首先向NameNode发出读取数据操作申请，NameNode提供数据包在集群中的存储地址；b.根据提供的存储地址信息，客户端从相应的DataNode中读取所需数据块，客户端利用喷泉码译码算法，结合接收到的编码包以及存储在HDFS客户端的编码矩阵信息，解码信息包；c.代理服务器解码成功后，通知请求客户端读操作完毕，客户端断开与DataNode的连接。所述步骤b的喷泉码译码技术为改进的高斯消元法OFG(On-the-FlyGaussianElimination)。所述改进的高斯消元法具体步骤如下，1)假设原始编码符号序列为S＝[s1,s2,…,sK]，初始化分配一个K×K的系数矩阵G和一个K×1的编码符号向量2)寻找编码符号tn(tn=si1⊕si2⊕...⊕sidn=gn→·s→)]]>的系数向量中最左1的坐标i；(a)如果Gii＝0，令G的第i行为的第i行为tn，接收插入tn+1到G中，重复步骤2)；(b)如果中1的个数小于G的第i行中1的个数，将与G的第i行交换，tn与的第i行交换，重复步骤2)；(c)否则，令的第i行，的第i行，如果重复步骤(2)；否则丢弃和tn，接收tn+1，重复步骤2)；3)当G为上三角矩阵时，回代求解输入符号。所述方法用于安全高效管理智能电能表误差数据。本专利技术的技术效果：通过对智能电表误差数据进行稀疏预处理，去除了冗余信息，提升了存储效率；通过喷泉码编码技术对误差数据进行编码，而不是传统的将误差数据备份存储，提升了存储空间利用率；利用喷泉码编译码复杂度低，译码成功率高，解决了传统由于DataNode失效而导致的存储数据丢失问题；并进一步地通过将编码矩阵信息存储在HDFS客户端，未授权用户在访问得到DataNode所存储的编码包本文档来自技高网...

【技术保护点】
一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；所述智能电能表自助误差校准装置用于采集被测智能电能表数据；所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。

【技术特征摘要】
1.一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包
括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；
所述智能电能表自助误差校准装置用于采集被测智能电能表数据；
所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编
译码；
所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。
2.根据权利要求1所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征
在于：HDFS服务器连接所述HDFS客户端用以控制管理HDFS客户端。
3.根据权利要求1或2所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特
征在于：所述HDFS客户端还包括喷泉码应用服务器。
4.根据权利要求1所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征
在于：所述Hadoop大数据存储平台设置有多个机架，每个机架上存放存储器，用以实现智能
电能表误差大数据进行分布式存储。
5.一种基于喷泉码的智能电能表误差大数据安全存储方法，其特征在于，所述方法包
括智能电能表误差数据写入和读取方法，所述的智能电能表误差数据写入方法包括如下步
骤：
(1)客户端通过身份验证，建立TCP/IP连接，通过一个可配置端口，连接到NameNode并
发起RPC远程请求；
(2)NameNode检查待创建的文件是否已经存在，创建者是否有权限进行操作；成功则为
文件创建一个记录，否则向客户端抛出异常；
(3)客户端写入智能电能表误差数据，HDFS客户端代理服务器首先对写入的误差数据
进行稀疏表示预处理，然后将数据文件等分成多个packets，利用喷泉码将packets编码生
成稍多于源报文的编码包，并在内部以数据队列的形式管理这些packets，同时将编码矩阵
信息存储在代理服务器中；
(4)根据名字节点NameNode提供的数据地址开始写入数据。写入流程开始后，数据包以
流的方式存入第一个DataNode，这个包完成写入后，数据包开始写入第二个DataNode，直到
成功写入最后一个DataNode，数据包写入完成后，...

【专利技术属性】
技术研发人员：郭雨，陈俊，易本顺，郭玥，汪司珂，邓桂平，黄太奇，陈应龙，刘恒，毕伟，
申请(专利权)人：国家电网公司，国网湖北省电力公司电力科学研究院，
类型：发明
国别省市：北京;11