【技术实现步骤摘要】
201410755974
【技术保护点】
一种用于数据去重的方法,包括:在所述数据中获取一个当前文件;根据所述当前文件中至少一个预定位置处的采样数据块,确定是否存有相似的历史文件;响应于不存在相似的历史文件,以文件为单位存储所述当前文件以及相应的元数据;响应于存在相似的历史文件,对所述当前文件采用以块为单位的去重操作。
【技术特征摘要】
【专利技术属性】
技术研发人员:朱国峰,方敏,郑家阳,
申请(专利权)人:国际商业机器公司,
类型:发明
国别省市:美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。