一种用于数据存储及数据灾备的存储分层技术制造技术

本发明专利技术涉及计算机技术领域，且公开了一种用于数据存储及数据灾备的存储分层技术，一种用于数据存储及数据灾备的存储分层技术，包括：①通过储存模块将所述数据存储及数据灾备中的储存对象进行分段处理；②通过合并处理模块确定所述步骤①中分段数据是否含有相同或类似的数据块，若是，则采用预设合并规则，保留重复的数据块中的一个数据块。该用于数据存储及数据灾备的存储分层技术，通过储存模块先对数据存储及数据灾备中的储存对象进行分段处理，并通过合并处理模块对具有相同或类似的数据块进行合并产生待迁移数据，和对不具备相同或类似的数据块进行分区储存，达到简单方便分类及储存的效果。

A storage layering technology for data storage and data disaster recovery

【技术实现步骤摘要】
一种用于数据存储及数据灾备的存储分层技术
本专利技术涉及计算机
，具体为一种用于数据存储及数据灾备的存储分层技术。
技术介绍
数据存储及数据灾备是数据大集中而形成的集成IT应用环境，它是各种IT应用服务的提供中心，是数据计算、网络和存储的中心，数据存储及数据灾备实现了安全策略的统一部署，IT基础设施、业务应用和数据的统一运维管理，数据存储及数据灾备是当前运营商和各大企业的IT建设重点，运营商、金融、电力、政府、能源、交通、教育、制造业、大型企业、网站和电子商务公司等正在进行或已经完成数据中心建设，考试大提示通过数据中心的建设，实现对IT系统的整合和集中管理，提升内部的运营和管理效率以及对外的服务水平，同时降低IT建设的整体TCO，数据大集中的同时也对数据安全提出了更高的要求，如何应对“将鸡蛋放在一个篮子里所带来的风险”，已成为众多用户关注的重点，为了应对各种自然灾难(火灾、水灾和地震等)和人为灾难(误操作和病毒等)对企业数据安全带来的冲击，近年来，数据存储及数据灾备已成为数据保护的发展趋势。传统的网络存储系统一般采用集中的存储服务器在存放数据过程中，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，故而提出一种用于数据存储及数据灾备的存储分层技术来解决上述问题。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种用于数据存储及数据灾备的存储分层技术，具备存储分层等优点，解决了传统的网络存储系统一般采用集中的存储服务器在存放数据过程中，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要的问题。(二)技术方案为实现上述存储分层的目的，本专利技术提供如下技术方案：一种用于数据存储及数据灾备的存储分层技术，包括：①通过储存模块将所述数据存储及数据灾备中的储存对象进行分段处理；②通过合并处理模块确定所述步骤①中分段数据是否含有相同或类似的数据块，若是，则采用预设合并规则，保留重复的数据块中的一个数据块，并将其他重复数据块中的属性信息合并到保留的数据块的属性信息中，再将属性信息满足分级储存条件的数据块作为待迁移数据，若否，则通过储存模块将步骤①中所述数据存储及数据灾备中的储存对象进行分区储存；③通过地址获取模块获取步骤②中所述待迁移数据在所述分级储存条件对应的设备地址，根据所述分级储存条件对应的设备地址，并通过地址修改模块修改步骤②中所述待迁移数据所对应的元数据中指向所述待迁移数据的地址；④通过接受模块接收数据访问请求，所述数据访问请求包括步骤③中所述待迁移数据的数据块标识，再通过访问模块根据数据请求查询并获取所述数据块标识对应的元数据中指向所述数据块标识的地址，根据所述数据块标识对应的元数据中指向所述数据块标识的地址访问所述数据块标识对应的数据块中的数据信息；⑤通过迁移模块将步骤②中所述待迁移数据迁移到步骤④中所述数据块标识所对应的储存设备中，从而完成数据的存储及分层。优选的，所述分级储存条件包括以下一种或多种的组合：特定用户信息、特定创建时间、特定访问时间、特定修改时间、特定访问频率和特定数据块信息所属的文件类型；或者特定用户信息范围、特定创建时间范围、特定访问时间范围、特定修改时间范围、特定访问频率范围和特定数据块信息所属的文件类型范围。优选的，所述特定数据块信息包括以下一种或多种的组合：所述数据块的用户信息、创建时间、访问时间、修改时间、访问频率和所述数据块所述的文件类型。优选的，所述储存模块为支持重复数据删除的快速存储设备、支持重复数据删除的慢速存储设备或者支持重复数据删除的中速存储设备中的一种或多种组合等，所述快速存储设备的性能高于中速存储设备的性能，中速存储设备的性能高于慢速存储设备的性能。优选的，所述储存模块采用安全散列算法、信息摘要算法等将向该储存模块上存储的数据流划分成数据块，并在每个数据块中记录该数据块的属性信息，数据块的属性信息具体为反应该数据块特征的特征值，该属性信息为一个或多个特征值的组合。(三)有益效果与现有技术相比，本专利技术提供了一种用于数据存储及数据灾备的存储分层技术，具备以下有益效果：该用于数据存储及数据灾备的存储分层技术，通过储存模块先对数据存储及数据灾备中的储存对象进行分段处理，并通过合并处理模块对具有相同或类似的数据块进行合并产生待迁移数据，和对不具备相同或类似的数据块进行分区储存，达到简单方便分类及储存的效果，同时，通过地址获取模块获取所述待迁移数据对应分级储存条件对应的设备地址，并通过地址修改模块修改待迁移数据的元数据中指向地址，最后通过接受模块、访问模块和迁移模块对待迁移数据进行精准迁移和存储，达到高效精准存储及分层的效果，避免集中的存储服务器在存放数据过程中因自然灾难(火灾、水灾和地震等)和人为灾难(误操作和病毒等)而导致数据储存速度慢和数据丢失的情况发生，从而提高了该存储分层技术的实用性，使得该数据存储及数据灾备的存储分层技术便于推广。具体实施方式下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种用于数据存储及数据灾备的存储分层技术，包括：①通过储存模块将所述数据存储及数据灾备中的储存对象进行分段处理；②通过合并处理模块确定所述步骤①中分段数据是否含有相同或类似的数据块，若是，则采用预设合并规则，保留重复的数据块中的一个数据块，并将其他重复数据块中的属性信息合并到保留的数据块的属性信息中，再将属性信息满足分级储存条件的数据块作为待迁移数据，若否，则通过储存模块将步骤①中所述数据存储及数据灾备中的储存对象进行分区储存；③通过地址获取模块获取步骤②中所述待迁移数据在所述分级储存条件对应的设备地址，根据所述分级储存条件对应的设备地址，并通过地址修改模块修改步骤②中所述待迁移数据所对应的元数据中指向所述待迁移数据的地址；④通过接受模块接收数据访问请求，所述数据访问请求包括步骤③中所述待迁移数据的数据块标识，再通过访问模块根据数据请求查询并获取所述数据块标识对应的元数据中指向所述数据块标识的地址，根据所述数据块标识对应的元数据中指向所述数据块标识的地址访问所述数据块标识对应的数据块中的数据信息；⑤通过迁移模块将步骤②中所述待迁移数据迁移到步骤④中所述数据块标识所对应的储存设备中，从而完成数据的存储及分层。优选的，所述分级储存条件包括以下一种或多种的组合：特定用户信息、特定创建时间、特定访问时间、特定修改时间、特定访问频率和特定数据块信息所属的文件类型；或者特定用户信息范围、特定创建时间范围、特定访问时间范围、特定修改时间范围、特定访问频率范围和特定数据块信息所属的文件类型范围。优选的，所述特定数据块本文档来自技高网...

【技术保护点】
1.一种用于数据存储及数据灾备的存储分层技术，其特征在于，包括：/n①通过储存模块将所述数据存储及数据灾备中的储存对象进行分段处理；/n②通过合并处理模块确定所述步骤①中分段数据是否含有相同或类似的数据块，若是，则采用预设合并规则，保留重复的数据块中的一个数据块，并将其他重复数据块中的属性信息合并到保留的数据块的属性信息中，再将属性信息满足分级储存条件的数据块作为待迁移数据，若否，则通过储存模块将步骤①中所述数据存储及数据灾备中的储存对象进行分区储存；/n③通过地址获取模块获取步骤②中所述待迁移数据在所述分级储存条件对应的设备地址，根据所述分级储存条件对应的设备地址，并通过地址修改模块修改步骤②中所述待迁移数据所对应的元数据中指向所述待迁移数据的地址；/n④通过接受模块接收数据访问请求，所述数据访问请求包括步骤③中所述待迁移数据的数据块标识，再通过访问模块根据数据请求查询并获取所述数据块标识对应的元数据中指向所述数据块标识的地址，根据所述数据块标识对应的元数据中指向所述数据块标识的地址访问所述数据块标识对应的数据块中的数据信息；/n⑤通过迁移模块将步骤②中所述待迁移数据迁移到步骤④中所述数据块标识所对应的储存设备中，从而完成数据的存储及分层。/n...

【技术特征摘要】
1.一种用于数据存储及数据灾备的存储分层技术，其特征在于，包括：
①通过储存模块将所述数据存储及数据灾备中的储存对象进行分段处理；
②通过合并处理模块确定所述步骤①中分段数据是否含有相同或类似的数据块，若是，则采用预设合并规则，保留重复的数据块中的一个数据块，并将其他重复数据块中的属性信息合并到保留的数据块的属性信息中，再将属性信息满足分级储存条件的数据块作为待迁移数据，若否，则通过储存模块将步骤①中所述数据存储及数据灾备中的储存对象进行分区储存；
③通过地址获取模块获取步骤②中所述待迁移数据在所述分级储存条件对应的设备地址，根据所述分级储存条件对应的设备地址，并通过地址修改模块修改步骤②中所述待迁移数据所对应的元数据中指向所述待迁移数据的地址；
④通过接受模块接收数据访问请求，所述数据访问请求包括步骤③中所述待迁移数据的数据块标识，再通过访问模块根据数据请求查询并获取所述数据块标识对应的元数据中指向所述数据块标识的地址，根据所述数据块标识对应的元数据中指向所述数据块标识的地址访问所述数据块标识对应的数据块中的数据信息；
⑤通过迁移模块将步骤②中所述待迁移数据迁移到步骤④中所述数据块标识所对应的储存设备中，从而完成数据的存储及分层。


2.根据权利要求1所述的一种用于数据存储及数据灾备的存储...

【专利技术属性】
技术研发人员：黄汝林，胡玉晟，
申请(专利权)人：柏科数据技术深圳股份有限公司，
类型：发明
国别省市：广东;44