一种车辆物联网云存储系统重复数据删除方法技术方案

一种车辆物联网云存储系统重复数据删除方法，涉及信息存储领域，步骤如下：将固定窗口置于未分块的起始位置，滑动窗口寻找不小于极大值的字节作为分块点、生成块指纹Chunk

【技术实现步骤摘要】
一种车辆物联网云存储系统重复数据删除方法
本专利技术涉及信息存储领域，是一种降低系统资源额外开销、加快分块速度，保障重复数据删除率的同时提高系统数据吞吐率的车辆物联网云存储系统重复数据删除方法。
技术介绍
随着车辆网技术的飞速发展，汽车车辆可以使用车辆网络与其他公共设施交换相关信息，并将这些信息上传至云端进行存储。不同设备之间存在大量的冗余数据，这些数据存储已经成为云存储中的严峻挑战。而重复数据删除技术是一种通过检测消除冗余数据的技术，已经被广泛应用于云存储中。重复数据删除可以检测出冗余数据，消除并存储唯一副本。块级重复数据删除技术将文件分为多个数据块，对每个块进行哈希处理(例如MD5,SHA-1,SHA-256)，形成指纹(即哈希摘要)，将其作为唯一块标识。如果两个数据块有相同的指纹，则不予存储，否则将存储唯一数据块。虽然块级重复数据删除系统可以检测更多的冗余数据，但是需要更多的计算时间，成为了块级重复数据删除技术的瓶颈。原因在于块级重复数据删除技术分为以下四个阶段:(1)分块、(2)生成指纹、(3)指纹索引查找、(4)存储数本文档来自技高网...

【技术保护点】
1.一种车辆物联网云存储系统重复数据删除方法，其特征在于包括如下步骤：/n步骤a：将基于内容分块算法的固定窗口置于数据流的未分块的起始位置，记录固定窗口内字节的极大值V

【技术特征摘要】
1.一种车辆物联网云存储系统重复数据删除方法，其特征在于包括如下步骤：
步骤a：将基于内容分块算法的固定窗口置于数据流的未分块的起始位置，记录固定窗口内字节的极大值Vmax,基于内容分块算法的滑动窗口逐字节的寻找大于等于极大值Vmax的字节作为分块点；使用哈希函数对分块点和前一个分块点之间的字节内容生成块指纹Chunkfp；
步骤b：记录滑动窗口中字节的极大值记录步骤a获得的分块点和前一个分块点之间的字节长度SizeChunk；
步骤c：重复步骤a、步骤b，直至数据流剩余长度小于2KB，不再寻找分块点，将剩余长度小于2KB的数据作为最后一个分块，数据流全部分块完成；
步骤d：建立三元组列表：根据数据流分块的顺序依次排列其三元组数据、形成三元组列表；任意一个分块的三元组数据为为该分块滑动窗口中字节的极大值，Chunkfp为该分块的块指纹，SizeChunk+1为下一分块的字节长度；
步骤e：当有新的数据流输入时，执行步骤a，在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，判定三元组列表为新输入的数据流的对照分块列表；未找到时，执行步骤b，判定三元组列表需更新；
步骤f：当判定三元组列表为新输入的数据流的对照分块列表时，将三元组列表中自具有相同块指纹的三元组数据起向后的各三元组数据中的SizeChunk+1依次作为对新输入的数据流分块的字节长度，对新输入的数据流进行分块，直至分块完成；
步骤g：当判定三元组列表需更新时，对未分块的数据执行步骤a、步骤b，记录上一分块的三元组数据，使用该三元组数据对三元组列表进行实时更新：将该三元组数据排列在三元组列表尾端，使用当前分块上一分块的字节长度SizeChunk更新其上一个三元组数据中的字节长度SizeChunk+1；在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，判定三元组列表为新输入的数据流的对照分块列表，执行步骤f；未找到时，判定三元组列表需更新，重复步骤g，直至新输入的数据流剩余长度小于2KB，将剩余长度小于2KB的数据作为最后一个分块，分块完成。
本发明步骤f中，当三元组列表结束时仍未能对新输入的数据流完成分块时，将剩余的未分块数据作为新输入的数据流，重复步骤e、步骤f、步骤g。


2.根据权利要求1所述的车辆物联网云存储系统重复数据删除方法，其特征在于所述的步骤e为：当有新的数据流输入时，执行步骤a，在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，且当前分块仅有一个极大值，判定三元组列表为新输入的数据流的对照分块列表，步骤f；否则，执行步骤b，判定三元组列表需更新；
所述的步骤g为：当判定三元组列表需更新时，对未分块的数据执行步骤a、步骤b，记录上一分块的三元组数据；当在三元组列表中寻找到与上一分块的块指纹相同的三元组数据时，使用上一分块的块长度数据SizeChunk对三元组列表中与上一分块的块指纹相同的三元组数据的上一个三元组数据的SizeChunk+1进行实时更新；当在三元组列表中未找到有与上一分块的块指纹相同的三元组数据时，使用该三元组数据对三元组列表进行实时更新：将该三元组数据排列在三元组列表尾端，使用上一分块的长度SizeChunk更新其前一个三元组数据中的字节长度SizeChunk+1；在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，且当前分块仅有一个极大值，判定三元组列表为新输入的数据流的对照分块列表，执行步骤f；否则，判定三元组列表需更新，执行步骤b；重复步骤g，直至新输入的数据流剩余长度小于2KB，将剩余长度小于2KB的数据作为最后一个分块，分块完成。


3.根据权利要求1所述的车辆物联网云存储系统重复数据删除方法，其特征在于所述的步骤e为：当有新的数据流输入时，执行步骤a，在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到...

【专利技术属性】
技术研发人员：朱东杰，胡浩，王大方，杨博文，王兴成，李旭，黄奂奇，
申请(专利权)人：哈尔滨工业大学威海，苏州玄盾汽车科技有限公司，
类型：发明
国别省市：山东;37