一种数据处理方法、装置及设备制造方法及图纸

本申请提供一种数据处理方法、装置及设备，该方法包括：获取容量物理硬盘对应的目标决策信息；基于所述目标决策信息确定垃圾回收操作对应的目标时刻；在所述目标时刻，对所述容量物理硬盘中的重复数据进行垃圾回收操作。通过本申请的技术方案，能够在合适时间进行垃圾回收操作，避免垃圾回收操作抢占数据读取操作的带宽，使得容量物理硬盘能够满足快速读写的需求。的需求。的需求。

【技术实现步骤摘要】
一种数据处理方法、装置及设备


[0001]本申请涉及互联网
，尤其涉及一种数据处理方法、装置及设备。

技术介绍

[0002]云计算(cloud computing)是分布式计算的一种，指的是通过网络“云”将数据计算处理程序分解成无数个小程序，然后，通过大量服务器组成的系统对这些小程序进行分析和处理，得到处理结果后返回给用户。云计算具有虚拟化动态可扩展、按需部署、灵活性高、可靠性高、性价比高、可扩展性等特点。
[0003]随着云计算技术的高速发展，对物理硬盘的性能要求也日益提升。为了支持云计算技术，可以采用各种类型的物理硬盘对用户数据进行存储。
[0004]比如说，主流的物理硬盘有两种类型，第一种类型的物理硬盘，具有读写速度快但容量小的特点，在采用这种类型的物理硬盘对用户数据进行存储时，无法满足大容量的存储需求，比如说，云计算场景下通常需要存储大量用户数据，物理硬盘无法同时存储这些用户数据。
[0005]第二种类型的物理硬盘，具有容量大但读写速度慢的特点，如QLC(Quad Level Cell，四层单元)物理硬盘等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于存储设备，所述存储设备包括高速物理硬盘和容量物理硬盘，用户数据通过追加写方式存储到所述高速物理硬盘，在所述高速物理硬盘满足迁移条件时，通过追加写方式将所述高速物理硬盘中的用户数据迁移到所述容量物理硬盘，所述方法包括：获取所述容量物理硬盘对应的目标决策信息；基于所述目标决策信息确定垃圾回收操作对应的目标时刻；在所述目标时刻，对所述容量物理硬盘中的重复数据进行垃圾回收操作。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标决策信息确定垃圾回收操作对应的目标时刻，包括：基于所述目标决策信息确定垃圾回收操作对应的目标垃圾回收阈值；确定所述容量物理硬盘中的重复数据的数据量达到所述目标垃圾回收阈值的时刻，将所述时刻确定为垃圾回收操作对应的目标时刻。3.根据权利要求2所述的方法，其特征在于，所述目标决策信息包括所述容量物理硬盘的剩余存储空间；所述基于所述目标决策信息确定垃圾回收操作对应的目标垃圾回收阈值，包括：若所述剩余存储空间小于预设第一存储空间阈值，则降低已配置的初始垃圾回收阈值，得到所述目标垃圾回收阈值；或者，若所述剩余存储空间大于预设第二存储空间阈值，则增加已配置的初始垃圾回收阈值，得到所述目标垃圾回收阈值；或者，若所述剩余存储空间不小于预设第一存储空间阈值且不大于预设第二存储空间阈值，将所述初始垃圾回收阈值确定为所述目标垃圾回收阈值。4.根据权利要求2所述的方法，其特征在于，所述目标决策信息包括所述容量物理硬盘的垃圾比，所述垃圾比表示重复数据的数据量与总数据量的比例；所述基于所述目标决策信息确定垃圾回收操作对应的目标垃圾回收阈值，包括：若所述垃圾比小于预设第一垃圾比阈值，则增加已配置的初始垃圾回收阈值，得到所述目标垃圾回收阈值；或者，若所述垃圾比大于预设第二垃圾比阈值，则降低已配置的初始垃圾回收阈值，得到所述目标垃圾回收阈值；或者，若所述垃圾比不小于预设第一垃圾比阈值且不大于预设第二垃圾比阈值，将所述初始垃圾回收阈值确定为所述目标垃圾回收阈值。5.根据权利要求1所述的方法，其特征在于，统计周期被划分为多个时间段，所述目标决策信息包括每个时间段对应的IO总数量；针对每个时间段对应的IO总数量，所述IO总数量是该时间段内，针对所述高速物理硬盘的写操作数量和读操作数量，与针对所述容量物理硬盘的读操作数量之和；所述基于所述目标决策信息确定垃圾回收操作对应的目标时刻，包括：基于每个时间段对应的IO总数量，若时间段对应的IO总数量大于预设IO数量阈值，则基于该时间段确定垃圾回收操作对应的目标时刻；其中，所述目标时刻位于该时间段的起始时刻之前。6.根据权利要求1所述的方法，其特征在于，
所述在所述高速物理硬盘满足迁移条件时，通过追加写方式将所述高速物理硬盘中的用户数据迁移到所述容量物理硬盘，包括：获取所述高速物理硬盘对应的热点数据分布信息；基于所述热点数据分布信息确定迁移操作对应的目标迁移阈值；在所述高速物理硬盘中的用户数据的数据量达到所述目标迁移阈值时，确定所述高速物理硬盘满足迁移条件，并通过追加写方式将所述高速物理硬盘中的用户数据迁移到所述容量物理硬盘。7.根据权利要求6所述的方法，其特征在于，所述热点数据分布信息包括热点数据总数量，所述热点数据总数量是所述高速物理硬盘中的热点数据数量与所述容量物理硬盘中的热点数据数量之和；所述基于所述热点数据分布信息确定迁移操作对应的目标迁移阈值，包括：若所述热点数据总数量大于预设第一数量阈值，则增加已配置的初始迁移阈值，得到所述目标迁移阈值；或者，若所述热点数据总数量小于预设第二数量阈值，则降低已配置的初始迁移阈值，得到所述目标迁移阈值；或者，若所述热点数据总数量不大于预设第一数量阈值且不小于预设第二数量阈值，则将所述初始迁移阈值确定为所述目标迁移阈值。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述在所述目标时刻，对所述容量物理硬盘中的重复数据进行垃圾回收...

【专利技术属性】
技术研发人员：洪元东，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：