一种数据布局优化方法及系统技术方案

本发明专利技术涉及一种数据布局优化方法，具体包括以下步骤：步骤1：接收业务系统输入的连续数据流；步骤2：将数据流划分为连续无交叉的多个数据块；步骤3：判断待处理的数据块是否达到缓存上限，如果是，进行下一步；否则，跳转至步骤1；步骤4：计算得到缓存中的所有数据块的指纹；步骤5：将缓存中数据块的指纹与指纹列表中的指纹进行匹配，将匹配的数据块标记为重复数据块；将不指纹匹配的指纹存入指纹列表中；步骤6：更新数据块信息表中的数据块的物理位置信息；步骤7：根据数据块信息表中的各个数据块的物理位置信息存储对应的数据块。本发明专利技术提高了数据的顺序性，降低了数据布局的离散化，提高了重复数据删除系统的顺序读写性能。

【技术实现步骤摘要】

【技术保护点】
一种数据布局优化方法，其特征在于，具体包括以下步骤：步骤1：接收业务系统输入的连续数据流；步骤2：将数据流划分为连续无交叉的多个数据块，并将数据块保存到缓存中；步骤3：判断缓存中的待处理的数据块是否达到缓存上限，如果是，进行下一步；否则，跳转至步骤1；步骤4：计算缓存中的所有数据块的哈希值，并将每个哈希值作为对应数据块的指纹；步骤5：将缓存中数据块的指纹与指纹列表中的指纹进行匹配，将与指纹列表中的指纹相匹配的指纹所对应的数据块标记为重复数据块；将不与指纹列表中的指纹匹配的指纹存入指纹列表中，所述不匹配的指纹对应的数据块集合在一起构成数据块信息表，得到更新后的指纹列表和数据块信息表；步骤6：根据指纹列表中指纹对应的物理位置信息更新数据块信息表中的数据块的物理位置信息；步骤7：根据数据块信息表中的各个数据块的物理位置信息存储对应的数据块。

【技术特征摘要】

【专利技术属性】
技术研发人员：周晓阳，王树鹏，张永铮，吴广君，王海平，李斌斌，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11