一种节约空间的安全性信息数据管理储存方法技术

本发明专利技术涉及数据存储技术领域，具体涉及一种节约空间的安全性信息数据管理储存方法，步骤：S1由数据源头获取信息数据，并将获取的数据存储至HDFS系统；S2将HDFS系统上的信息数据或外部信息数据转换成键值对的形式；S3将S2中的数据进行划分，作为信息函数输入；S4将S3过程中，信息函数处理的结果保存在本地文件作为过渡；S5利用Writable函数，将处理结果序列化为字节流，并传递到reduce函数中作为输入端；S6将处理后的信息数据进行归并，利用信息数据转换接口将结果保存成GeoJson类型并存储在HDFS元数据管理节点中。本发明专利技术在保证数据可靠性的同时，尽可能地降低数据冗余，提高存储效率是海量数据存储系统可靠性。

【技术实现步骤摘要】
一种节约空间的安全性信息数据管理储存方法
本专利技术涉及数据存储
，具体涉及一种节约空间的安全性信息数据管理储存方法。
技术介绍
上个世纪90年代，为满足TB级、PB级的存储需求，存储区域网络SAN、网络附加存储NAS、IP-SAN、P2P网络存储、分布式集群存储、网格存储等技术先后涌现。进入20世纪以后，随着个人电脑及信息设备的高速发展和普及，随着信息技术在各个行业的突飞猛进的应用和发展，特别在科学计算、商业计算等众多应用领域中产生了规模巨大的数据，出现了以综合P2P网络存储、分布式集群存储、网格存储等技术优点的海量数据存储系统，具有代表性的有GFS、WAS、S3等。在海量数据存储系统中，存储节点规模少则几万，多则几十万。面对如此大规模的存储系统，显然，数据可靠性增强技术已是海量数据存储系统研究与设计所面临的一项关键技术。较低的数据冗余、安全的数据保证、高效的数据访问效率是数据可靠性增强技术的重要指标。增加数据冗余已是数据可靠性增强技术的一般途径，即当存储系统中出现数据丢失时，可以通过访问冗余数据满足访问需求。冗余虽然提本文档来自技高网...

【技术保护点】
1.一种节约空间的安全性信息数据管理储存方法，其特征在于，所述储存方法包括以下步骤：/nS1由数据源头获取信息数据，并将获取的数据存储至HDFS系统；/nS2将HDFS系统上的信息数据或外部信息数据转换成键值对的形式；/nS3将S2中的数据进行划分，作为信息函数输入；/nS4将S3过程中，信息函数处理的结果保存在本地文件作为过渡；/nS5利用Writable函数，将处理结果序列化为字节流，并传递到reduce函数中作为输入端；/nS6将处理后的信息数据进行归并，利用信息数据转换接口将结果保存成GeoJson类型并存储在HDFS元数据管理节点中。/n

【技术特征摘要】
1.一种节约空间的安全性信息数据管理储存方法，其特征在于，所述储存方法包括以下步骤：
S1由数据源头获取信息数据，并将获取的数据存储至HDFS系统；
S2将HDFS系统上的信息数据或外部信息数据转换成键值对的形式；
S3将S2中的数据进行划分，作为信息函数输入；
S4将S3过程中，信息函数处理的结果保存在本地文件作为过渡；
S5利用Writable函数，将处理结果序列化为字节流，并传递到reduce函数中作为输入端；
S6将处理后的信息数据进行归并，利用信息数据转换接口将结果保存成GeoJson类型并存储在HDFS元数据管理节点中。


2.根据权利要求1所述的节约空间的安全性信息数据管理储存方法，其特征在于，所述S2中，如果信息数据从外部来，根据信息数据的格式，调用信息数据格式转换接口对其格式进行转换。


3.根据权利要求1所述的节约空间的安全性信息数据管理储存方法，其特征在于，所述S3中，根据用户的需求对空间数据更新时，则对信息函数进行设计进行实现。


4.根据权利要求1所述的节约空间的安全性信息数据管理储存方法，其特征在于，所述S4中，通Writable函数，将字节流反序列化转换成相应的空间数据键值对。


5.根据权利要求1所述的节约空间的安全性信息数据管理储存方法，其特征在于，所述方法中，新增信息数据对象需要传入信息数据的属性信息及拓扑信息，信息函数将这些信息按照统一的接口构建key/value键值对，并将键值对作为中间结果传递给reduce函数。


6.根据权利要求5所述的节约空间的安全性信息数据管理储存方法，其特征在于，在reduce函数中构建成可以在HDFS上存储的GeoJson数据，并由Master节点调控把数据存储在相应的HDFS节点上，完成信息数据对象的新增。

...

【专利技术属性】
技术研发人员：郦俊岭，
申请(专利权)人：深圳市数存科技有限公司，
类型：发明
国别省市：广东;44