数据冗余识别方法技术

一种数据冗余识别方法，包括：在待计算数据内容的字节序列中确定窗口长度；确定并行计算的窗口数及跳转间隔；根据已算得的窗口指纹值并行计算各窗口的指纹值；标记窗口指纹值符合预定的数据分块边界条件的窗口位置为数据分块边界；计算数据分块的散列值，并标记数据分块的散列值与已存储的数据分块散列值相等的为冗余数据块。该数据冗余识别方法通过并行窗口同时计算多个窗口的指纹值并与预定的分块条件和冗余条件进行比对以确定数据分块边界和冗余数据块，识别速率高、可适应高速大容量存储、高带宽数据传输的要求。

【技术实现步骤摘要】

本专利技术涉及一种通信中的数据压缩方法，具体地，本专利技术涉及一种网络压缩中用于网络冗余删除的。
技术介绍
网络冗余删除技术作为一种新型的网络压缩技术受到学术界和工业界的广泛关注，其主要功能是识别网络中重复传输的数据，极大地缩减网络传输数据量，提高网络带宽的利用率，从而提高应用性能和节省运营成本。网络冗余删除技术需要对传输的数据进行划分，找出相同的部分，并用指纹(或签名)取代相同数据的传输来实现数据的压缩。目前主要有两种数据块划分方式，固定长度划分和可变长度划分。固定长度划分是以固定长度的数据内容划分数据，由于不能智能地根据数据自身内容的变化来调整数据分块的边界，如对编辑的重复数据处理低效，存在一定的局限性。可变长度划分主要采用滑动窗口技术，基于数据的内容来确定数据分块的边界，其原理是:从数据起始端开始，将固定大小相互重叠的活动窗口中的数据序列看成组成数据的各个部分，在窗口的每个位置，该窗口中数据序列的拉宾(Rabin)指纹被计算出来，当指纹满足某个条件时，如当它的值模某个指定的整除数为O时，则把此时滑动窗口右边界位置作为数据分块的边界，不断地重复这个过程，直到将传输的所有数据划分本文档来自技高网...

【技术保护点】
一种数据冗余识别方法，包括：在待计算数据内容的字节序列中确定窗口长度；确定并行计算的窗口数及跳转间隔；根据已算得的窗口指纹值并行计算各窗口的指纹值；标记窗口指纹值符合预定的数据分块边界条件的窗口位置为数据分块边界；计算数据分块的散列值，并标记数据分块的散列值与已存储的数据分块散列值相等的为冗余数据块。

【技术特征摘要】
1.一种数据冗余识别方法，包括: 在待计算数据内容的字节序列中确定窗口长度； 确定并行计算的窗口数及跳转间隔； 根据已算得的窗口指纹值并行计算各窗口的指纹值； 标记窗口指纹值符合预定的数据分块边界条件的窗口位置为数据分块边界； 计算数据分块的散列值，并标记数据分块的散列值与已存储的数据分块散列值相等的为冗余数据块。2.如权利要求1所述的数据冗余识别方法，其特征在于:所述窗口指纹值由拉宾指纹函数计算。3.如权利要求1所述的数据冗余识别方法，其特征在于:所述窗口指纹值的计算方式为:RF ( a j ^ α2、 α3......α e) = (a jp^ + a 2p0-1+...+ a a {J)mod M ；其中a p a 2、a 3......a 0为待计算数据内容中的字节序列，RF(a ^ a 2、a 3......a 0)表示窗口长度为β的字节序列的指纹值，P和M为可选的常数。4.如权利要求1所述的数据冗余识别方法，其特征在于:所述跳转间隔为所述并行计算的窗口数的整数倍。5.如权利要求1所述的数据冗余识别方法，其特征在于...

【专利技术属性】
技术研发人员：刘进，须成忠，闫茜，邱健聪，彭贤斌，陈凯，向洁，陈文静，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：