一种去重数据的生成方法及装置制造方法及图纸

本发明专利技术公开了一种去重数据的生成方法及装置。其中，所述方法包括：系在已排序的B树中,根据所述B树的结构定位满足初始条件的第一行数据，并取出所述第一行数据；根据取出的第一行数据生成查找键值，并根据所述B树的结构定位到大于所述查找键值的第一行数据，并取出所述第一行数据；返回根据取出的第一行数据生成查找键值，直至所述B树中没有大于所述查找键值的数据；根据取出的第一行数据生成去重数据。可以利用已排序B树的结构特征定位非重复数据，无需遍历B树结构中的所有行数据。能够减少处理的数据量，进而减少去重处理时间。

【技术实现步骤摘要】
一种去重数据的生成方法及装置
本专利技术涉及数据处理
，尤其涉及一种去重数据的生成方法及装置。
技术介绍
数据去重是一种用于消除冗余数据的数据压缩技术。在典型的去重过程中，将第一数据与存储数据进行比较以检测副本，即，识别或确定第一数据是否唯一。然后，当第一数据被识别为不唯一时，冗余的第一数据被消除且替换成指向存储数据的小的引用。目前，数据去重可以采用如下算法：首先获取第一行数据放在临时缓存区中；步骤二：有一行新的数据时，新行与缓存区中的数据一一比较，找到相同的数据，那么此行新数据可以丢弃；如果没有找到，那么将新行数据放入缓冲区；步骤三：尝试获取新的数据，如果有重复，则重复步骤二。否则，缓冲区中的数据就是去重后的数据。上述算法存在如下问题：如果无重复的数据很大，则需要很大的临时空间存放集合。此外需要遍历所有待处理的数据，如果待处理的数据很多，则采用该方法会非常耗时。另外一种算法则是事先对数据进行排序。对排序后的数据去重：首先第一行数据可以直接输出，保留这行数据；第二步：获取一个新行，如果新行与保留的行相同，那么新行抛弃；如果新行与保留行不同，那么输出新行，并且保留新行设置为保留行本文档来自技高网...

【技术保护点】
一种去重数据的生成方法，其特征在于，包括：在已排序的B树中,根据所述B树的结构定位满足筛选条件中起始条件的第一行数据，并取出所述第一行数据；根据取出的第一行数据的键值生成新的查找键值，并根据所述B树的结构定位到大于所述查找键值的第一行数据，并取出所述第一行数据；返回执行根据取出的第一行数据的键值生成新的查找键值，并根据所述B树的结构定位到大于所述新的查找键值的第一行数据，并取出所述第一行数据的操作，直至所述新的查找键值大于筛选条件中终止条件对应的键值；根据所有取出的第一行数据生成去重数据。

【技术特征摘要】
1.一种去重数据的生成方法，其特征在于，包括：在已排序的B树中,根据所述B树的结构定位满足筛选条件中起始条件的第一行数据，并取出所述第一行数据；根据取出的第一行数据的键值生成新的查找键值，并根据所述B树的结构定位到大于所述查找键值的第一行数据，并取出所述第一行数据；返回执行根据取出的第一行数据的键值生成新的查找键值，并根据所述B树的结构定位到大于所述新的查找键值的第一行数据，并取出所述第一行数据的操作，直至所述新的查找键值大于筛选条件中终止条件对应的键值；根据所有取出的第一行数据生成去重数据。2.根据权利要求1所述的方法，其特征在于，所述根据B树的结构定位到大于所述查找键值的第一行数据，包括：确定所述新的查找键值所在的叶子节点；在所述叶子节点对应的页面中查找键值大于所述新的查找键值的第一行数据，如果查找到，则在所述叶子节点的页面中定位到大于所述新的查找键值的第一行数据；否则，在靠近所述叶子节点右侧的兄弟节点所对应的页面中定位所述大于所述新的查找键值的第一行数据。3.根据权利要求2所述的方法，其特征在于，所述在所述叶子节点对应的页面中查找键值大于所述新的查找键值的第一行数据，包括：采用页内二分法在所述页面中定位大于所述新的查找键值的第一行数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述B树的结构定位满足筛选条件中起始条件的第一行数据，包括：在起始条件为缺省时,定位所述B树最左侧叶子节点的第一行数据。5.根据权利要求1所述的方法，其特征在于，所述直至所述新的查找键值大于筛选条件中终止条件对应的键值，包括：在终止条件为缺省时，直至所述B树中没有大于所述新的查找键值的行数据。6.根据权利要求1...

【专利技术属性】
技术研发人员：张钦，张黎敏，朱仲颖，
申请(专利权)人：上海达梦数据库有限公司，
类型：发明
国别省市：上海,31