【技术实现步骤摘要】
混合重复数据删除调度方法及系统
[0001]本申请涉及数据处理
，具体涉及一种混合重复数据删除调度方法及一种混合重复数据删除调度系统。
技术介绍
[0002]随着大数据时代的发展，日益增长的数据对存储系统的存储能力提出了更高的要求，也就导致了更高的存储成本。为了提高存储系统的存储效率，现代存储系统通常使用重复删除技术检查存储设备中的冗余数据，通过消除设备中的冗余数据，优化存储设备的可用空间，降低冗余数据对存储成本的影响。
[0003]在现有重复数据的删除方法中，主要存在离线重复数据删除和在线重复数据删除两种。其中，离线重复数据删除技术是在数据写入存储设备后再执行重复数据删除操作，其优点为不会降低用户的访问时延，但是因为需要将数据写入设备后再进行删除，这对于存储空间小和网络带宽不足的存储设备来说，会极大影响用户的体验度。而在线重复数据删除技术是在数据写入存储设备之前执行重复数据删除操作，由于重复数据不会被存储，减少了需要存储的数据量，该方式能有效减少存储设备的IO操作和网络带宽消耗，但是由于在线重复数据删除操作的...
【技术保护点】
【技术特征摘要】
1.一种混合重复数据删除调度方法，其特征在于，所述方法包括：获取IO请求的请求指令；基于所述请求指令确定调度业务类型；获取实时IO路径的运行参数；根据所述实时IO路径的运行参数和所述调度业务类型，选择重复数据删除调度方案；基于所述重复数据删除调度方案执行重复数据删除。2.根据权利要求1所述的方法，其特征在于，所述调度业务类型包括：时延敏感型和带宽敏感型；所述基于所述请求指令确定调度业务类型，包括：若所述请求指令表示IO请求为小块单深度IO请求，确定调度业务类型为时延敏感型；若所述请求指令表示IO请求为非小块单深度IO请求，确定调度业务类型为带宽敏感型；其中，所述小块单深度IO请求表示I＝O请求数据的体量小于小块上限阈值且IO通道唯一。3.根据权利要求2所述的方法，其特征在于，时延敏感型调度业务的重复数据删除操作方式为：离线重复数据删除；带宽敏感型调度业务的重复数据删除操作方式为：离线重复数据删除和/或在线重复数据删除。4.根据权利要求3所述的方法，其特征在于，所述IO路径包括存储节点和客户端，所述客户端通过网络向所述存储节点发起IO请求；所述存储节点基于云存储系统构建，用于存放文件数据；所述客户端用于执行文件的创建和删除，以及文件数据的读、写和更新操作。5.根据权利要求4所述的方法，其特征在于，所述实时IO路径的运行参数包括：存储节点的CPU利用率、网络带宽利用率、存储节点的存储空间使用率、当前业务IO数据的重删率。6.根据权利要求5所述的方法，其特征在于，所述根据所述实时IO路径的运行参数和所述调度业务类型，选择重复数据删除调度方案，包括：在确定调度业务类型为时延敏感型的情况下，根据当前存储节点的CPU利用率判断当前存储节点的CPU繁忙程度，其中，存储节点的CPU繁忙程度具有三个等级：繁忙、适中和空闲；根据当前存储节点的CPU繁忙程度选择重复数据删除调度方案：若当前存储节点的CPU繁忙程度为繁忙，选择重复数据删除调度方案为：待业务负载空闲时执行离线重复数据删除；若当前存储节点的CPU繁忙程度为适中或空闲，选择重复数据删除调度方案为：立即执行重复数据删除。7.根据权利要求6所述的方法，其特征在于，存储节点的CPU繁忙程度的各个等级分别对应不同的CPU利用率范围；所述根据当前存储节点的CPU利用率判断当前存储节点的CPU繁忙程度，包括：判断实时存储节点的CPU利用率所属的CPU利用率范围，确定当前存储节点的CPU繁忙
程度的等级。8.根据权利要求7所述的方法，其特征在于，所述根据所述实时IO路径的运行参数和所述调度业务类型，选择重复数据删除调度方案，还包括：在确定调度业务类型为带宽敏感型，且所述请求指令表示IO请求为小块多深度IO请求的情况下：根据当前存储节点的CPU利用率判断当前存储节点的CPU繁忙程度；根据当前存储节...
【专利技术属性】
技术研发人员：张峥，李勇，张全中，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。