一种在线DDP与离线DDP相结合的方法及其相关装置制造方法及图纸

本申请实施例公开了一种在线DDP与离线DDP相结合的方法及其相关装置，用于智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。本申请实施例方法包括：获取主机的请求；根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP，所述离线DDP速率与所述系统所述负载程度相对应。

A method of combining online DDP with off-line DDP and related devices

The embodiment of this application discloses a combination method of online DDP and offline DDP and its related devices, which intelligently combines online DDP and offline DDP. It can guarantee the service processing capability in case of business burst, and has no great influence on the integrity of the system. The embodiment method of the application includes: acquiring the request of the host computer; determining whether the request is an online DDP according to the online DDP ratio, the online DDP ratio corresponds to the load level of the system; if the request is determined to be an online DDP, sending the data corresponding to the request to the DDP module so that the data can be made an online DDP; If it is determined that the request is not an on-line DDP, the data is written to an off-line DDP according to the off-line DDP rate, which corresponds to the load level of the system.

【技术实现步骤摘要】
一种在线DDP与离线DDP相结合的方法及其相关装置
本申请涉及存储领域，尤其涉及一种在线DDP与离线DDP相结合的方法及其相关装置。
技术介绍
现今，计算机越来越普及，计算机用户一般都会存储很多数据，且用户计算机内一般总会有一些重复的数据，这些重复的数据存在于存储空间中相当浪费数据存储空间。重复数据删除(deduplication，DDP)是一种可减少数据存储空间的核心技术，尤其是在存储空间成本较高的全闪存存储阵列(aLLflasharray，AFA)，DDP已经成为必备的特性。DDP一般算法为：将新写入的数据计算一个指纹，然后与已存储的指纹对比，如果发现有相同指纹，则记录相同数据的位置，当前数据不写盘。现有的DDP技术主要分为2种：第一种是在线DDP：即在数据写入硬盘前，计算指纹，重复数据的比较等操作。第二种是离线DDP：即新的数据先写入硬盘快速返回响应给主机，系统后续在后台将这些数据读起来再做指纹计算，重复数据删除等操作。这两种技术各有优缺点，离线DDP虽然能做到快速返回响应给主机，但总体上会增加读盘的次数，导致整体性能下降；在线DDP整体性能上有优势，目前主流的AFA厂商基本都采用的此项技术，但是它的性能消耗主要在计算单元上(比如中央处理器(centralprocessingunit，CPU)或专用计算硬件)，一旦前端有突发的过量业务时，性能的计算单元就会成为整体性能的瓶颈(尤其是直接用CPU计算的)。当然基于上述问题，也有人提出将在线DDP和离线DDP结合使用的方式，但是采用的是人为手动切换的方式，而且要么全部在线DDP，要么全部离线DDP，切换的时候主机业务容易发生抖动。
技术实现思路
本申请实施例提供了一种在线DDP与离线DDP相结合的方法及其相关装置，用于智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。本申请实施例的第一方面提供了一种在线DDP与离线DDP相结合的方法，其特征在于，包括：获取主机的请求；根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP，所述离线DDP速率与所述系统所述负载程度相对应。在一种可能的设计中，在本申请实施例第一方面的第一种实现方式中，所述根据在线DDP比例确定所述请求是否做在线DDP之前，所述方法还包括：通过过载控制模块确定所述系统的负载等级；根据所述负载等级确定所述在线DDP比例与所述离线DDP速率。在一种可能的设计中，在本申请实施例第一方面的第二种实现方式中，所述方法还包括：若所述负载程度大于阈值，则降低所述在线DDP比例和所述离线DDP速率。在一种可能的设计中，在本申请实施例第一方面的第三种实现方式中，所述方法还包括：若所述负载程度小于所述阈值，则提高所述在线DDP比例和所述离线DDP速率。在一种可能的设计中，在本申请实施例第一方面的第四种实现方式中，所述将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP包括：将所述数据写盘，并记录所述数据为未做DDP的数据；根据预置周期读取所述数据；将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。本申请实施例的第二方面提供了一种在线DDP与离线DDP相结合的装置，其特征在于，包括：获取单元，用于获取主机的请求；第一确定单元，用于根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；第一处理单元，用于当确定所述请求做在线DDP时，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；第二处理单元，用于当确定所述请求不做在线DDP时，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。在一种可能的设计中，在本申请实施例第二方面的第一种实现方式中，所述装置还包括：第二确定单元，用于通过过载控制模块确定所述系统的负载等级；第三确定单元，用于根据所述负载等级确定所述在线DDP比例与所述离线DDP速率。在一种可能的设计中，在本申请实施例第二方面的第二种实现方式中，所述装置还包括：降低单元，用于当所述负载程度大于阈值时，降低所述在线DDP比例和所述离线DDP速率。在一种可能的设计中，在本申请实施例第二方面的第三种实现方式中，所述装置还包括：提高单元，用于当所述负载程度小于所述阈值时，提高所述在线DDP比例和所述离线DDP速率。在一种可能的设计中，在本申请实施例第二方面的第四种实现方式中，所述第二处理单元包括：处理子单元，用于将所述数据写盘，并记录所述数据为未做DDP的数据；读取子单元，用于根据预置周期读取所述数据；发送子单元，用于将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。本申请的又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。从以上技术方案可以看出，本申请实施例具有以下优点：本申请实施例中，装置获取主机的请求；然后根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP。本实施例中，智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。附图说明图1为本申请实施例中在线DDP与离线DDP相结合的方法的一个实施例示意图；图2为本申请实施例中在线DDP与离线DDP相结合的方法的另一个实施例示意图；图3为本申请实施例中动态调整一个流程示意图；图4为本申请实施例中在线DDP与离线DDP相结合的装置的一种结构示意图；图5为本申请实施例中在线DDP与离线DDP相结合的装置的另一种结构示意图；图6为本申请实施例中在线DDP与离线DDP相结合的装置的另一种结构示意图。具体实施方式本申请实施例提供了一种在线DDP与离线DDP相结合的方法及其相关装置，用于智能结合在线DDP与离线DDP，既能在业务突发时保证业务处理能力，又不会对系统的整体性有太大的影响。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。请参阅本文档来自技高网...

【技术保护点】
1.一种在线重复数据删除DDP与离线DDP相结合的方法，其特征在于，包括：获取主机的请求；根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP，所述离线DDP速率与所述系统所述负载程度相对应。

【技术特征摘要】
1.一种在线重复数据删除DDP与离线DDP相结合的方法，其特征在于，包括：获取主机的请求；根据在线DDP比例确定所述请求是否做在线DDP，所述在线DDP比例与系统的负载程度相对应；若确定所述请求做在线DDP，则将所述请求对应的数据发送至DDP模块，使得所述数据做在线DDP；若确定所述请求不做在线DDP，则将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP，所述离线DDP速率与所述系统所述负载程度相对应。2.根据权利要求1所述的方法，且特征在于，所述根据在线DDP比例确定所述请求是否做在线DDP之前，所述方法还包括：通过过载控制模块确定所述系统的负载等级；根据所述负载等级确定所述在线DDP比例与所述离线DDP速率。3.根据权利要求2所述的方法，且特征在于，所述方法还包括：若所述负载程度大于阈值，则降低所述在线DDP比例和所述离线DDP速率。4.根据权利要求3所述的方法，且特征在于，所述方法还包括：若所述负载程度小于所述阈值，则提高所述在线DDP比例和所述离线DDP速率。5.根据权利要求1至4中任一项所述的方法，且特征在于，所述将所述数据写盘，使得所述数据根据离线DDP速率做离线DDP包括：将所述数据写盘，并记录所述数据为未做DDP的数据；根据预置周期读取所述数据；将所述数据发送至所述DDP模块，使得所述数据做离线DDP，所述周期与所述离线DDP速率相对应。6.一种在线重复...

【专利技术属性】
技术研发人员：何孝金，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41