用于数据去重的方法和设备技术

技术编号:13301839 阅读:91 留言:0更新日期:2016-07-09 19:12
本发明专利技术的实施例公开了一种用于数据去重的方法,包括:在所述数据中获取一个当前文件;根据所述当前文件中至少一个预定位置处的采样数据块,确定是否存有相似的历史文件;响应于不存在相似的历史文件,以文件为单位存储所述当前文件以及相应的元数据;响应于存在相似的历史文件,对所述当前文件采用以块为单位的去重操作。通过本申请的方案,能够提高数据去重的效率。

【技术实现步骤摘要】
201410755974

【技术保护点】
一种用于数据去重的方法,包括:在所述数据中获取一个当前文件;根据所述当前文件中至少一个预定位置处的采样数据块,确定是否存有相似的历史文件;响应于不存在相似的历史文件,以文件为单位存储所述当前文件以及相应的元数据;响应于存在相似的历史文件,对所述当前文件采用以块为单位的去重操作。

【技术特征摘要】

【专利技术属性】
技术研发人员:朱国峰方敏郑家阳
申请(专利权)人:国际商业机器公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1