【技术实现步骤摘要】
对象去重方法及装置
[0001]本申请实施例涉及计算机
，尤其涉及一种对象去重方法、装置、计算机设备、计算机可读存储介质。
技术介绍
[0002]随着计算机技术的发展，针对各类数据的海量存储、读写成为了当前的热点问题。在数据存储中，对象存储作为一种重要的数据存储方式，由于其可靠性高、可扩展性强、访问速度快等优势，受到越来越广泛的关注和应用。但是，随着数据量的不断增长，对象存储中会出现大量的重复数据，不仅浪费空间，而且增加管理和维护成本。
[0003]需要说明的是，上述内容并不必然是现有技术，也不用于限制本申请的专利保护范围。
技术实现思路
[0004]本申请实施例提供一种对象去重方法、装置、计算机设备、计算机可读存储介质，以解决或缓解上面提出的一项或更多项技术问题。
[0005]本申请实施例的一个方面提供了一种对象去重方法，所述方法包括：
[0006]获取第一对象的第一哈希值和第一对象标识；
[0007]根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对...
【技术保护点】
【技术特征摘要】
1.一种对象去重方法，其特征在于，所述方法包括：获取第一对象的第一哈希值和第一对象标识；根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象；在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作；其中，所述第二对象包括在存储系统中与所述第一对象重复的对象。2.根据权利要求1所述的方法，其特征在于，所述第一对象为待上传对象。3.根据权利要求2所述的方法，其特征在于，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；在未检索到所述第二哈希值的情况下，确定所述第一对象不属于重复对象；其中，在确定所述第一对象不属于重复对象的情况下，所述第一对象物理存储至所述存储系统中。4.根据权利要求2所述的方法，其特征在于，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；在检索到所述第二哈希值，且所述第一对象标识和所述第二对象标识相同的情况下，确定所述第一对象属于重复对象；其中，在确定所述第一对象属于重复对象的情况下，返回表示响应成功的消息。5.根据权利要求2所述的方法，其特征在于，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；在检索到所述第二哈希值，且所述第一对象标识和所述第二对象标识不同的情况下，物理存储所述第一对象；通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：异步建立第一映射关系，所述第一映射关系表示所述第一对象标识和第一元数据的映射关系；其中，所述第一元数据包括所述第一对象在所述存储系统中的物理存储地址；异步建立第二映射关系，所述第二映射关系表示所述第一哈希值和所述第一对象标识的映射关系；对应地，通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复，包括：在所述第一哈希值和所述第二哈希值产生哈希碰撞，且所述第一对象标识和所述第二对象标识不相同的下，获取所述第一对象标识关联的第一对象以及与所述第二对象标识关联的第二对象；其中，所述第二哈希值和所述第二对象标识为映射关系；在所述第一对象和所述第二对象逐字节相同的情况下，确定所述第一对象和所述第二对象重复。7.根据权利要求6所述的方法，其特征在于，在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作，包括：
在确定所述第一对象和所述第二对象重复的情况下，根据所述第一对象的生命周期信息和所述第二对象的生命周期信息，选择所述第一对象或所述第二对象作为可回收对象；物理删除所述存储系统中的可回收对象；及对所述第一对象的第一元数据和/或所述第二对象的第二元数据进行信息更新。8.根据权利要求6所述的方法，其特征在于，通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象...
【专利技术属性】
技术研发人员：刘易，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。