基于Map/Dedup的数据存储云化和云备份方法技术

本发明专利技术公开了一种基于Map/Dedup的数据存储云化和云备份方法，包括数据存储云化的步骤和服务器数据备份的步骤，其中数据存储云化的步骤包括：定制Map模块的映射规则以及重复数据删除模块的重复数据删除方式；Map服务器的预处理模块对获取的数据进行预处理，得到结构化数据；Map服务器将结构化数据按映射规则映射到存储服务器上；重复数据删除模块按重复数据删除方式对数据进行重复数据删除；存储数据。服务器数据备份步骤包括：扫描源文件的历史备份，打开源文件的增量备份的索引文件和内容文件；根据索引文件，建立索引网络；根据索引网络，读出增量备份的各数据块到内存；将数据块的数据与源文件中对应的数据作比较，对此数据块生成新的增量备份的索引文件。

【技术实现步骤摘要】

本专利技术涉及一种计算机存储领域的海量数据存储和备份方法，尤其涉及一种基于 Map/Dedup (映射/重复数据删除)的数据存储云化和云备份方法。
技术介绍
在当今的信息化、网络化社会里，计算机在工作和生活中扮演着极其重要的角色。 越来越多的企业、商家、政府机关和个人通过计算机来获取信息、处理信息，同时将大量的信息以数据文件的形式保存在计算机中。随着信息社会的发展，越来越多的信息被数据化， 尤其是伴随着Internet、云计算、物联网等技术的发展，数据呈爆炸式增长。由此产生的海量数据给以数据为中心的各大中型企业的高效存储带来了新的挑战包括(1)面对计算机产生的各行各业的数据，服务器需要进行高效的管理；(2)面对部分重要的数据丢失或者发生其他不可预见的事故，个人、商家、企业乃至政府机关需要最小化此类事故造成的损失。由此，人们开始关注如何高效存储数据以及如何确保数据完好的问题。面对信息量越来越丰富、数据量越来越大，很多海量数据平台正逐步出现数据存储瓶颈、数据备份恢复庞大而缓慢等问题，而数据存储云化和云备份技术因此应运而生。申请号为7650331的美国专利“高效大规模数据处理系统和方法”本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：邹恒明，金娟，文珊珊，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：