一种应用于BOSS系统的数据重删方法及系统技术方案

本发明专利技术涉及一种应用于BOSS系统的数据重删方法及系统，所述方法包括：步骤1，将BOSS系统产生的业务文件载入预设的重删机制，并在该重删机制中基于文件重删方式或内存重删方式处理载入的业务文件，生成重删数据文件；步骤2，采用定长方式或滑块方式将重删数据文件划分为若干个数据块；步骤3，对每个划分好的数据块进行哈希运算，产生相应的哈希值；步骤4，选定或新增一个数据块，并将其对应的哈希值与其他所有数据块对应的哈希值进行比较，若出现相同的哈希值，则删除该数据块，否则存储该数据块。本发明专利技术将重删机制引入BOSS系统，大大降低了BOSS系统的存储空间使用率和需要月备的数据量。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种应用于BOSS系统的数据重删方法及系统，所述方法包括：步骤1，将BOSS系统产生的业务文件载入预设的重删机制，并在该重删机制中基于文件重删方式或内存重删方式处理载入的业务文件，生成重删数据文件；步骤2，采用定长方式或滑块方式将重删数据文件划分为若干个数据块；步骤3，对每个划分好的数据块进行哈希运算，产生相应的哈希值；步骤4，选定或新增一个数据块，并将其对应的哈希值与其他所有数据块对应的哈希值进行比较，若出现相同的哈希值，则删除该数据块，否则存储该数据块。本专利技术将重删机制引入BOSS系统，大大降低了BOSS系统的存储空间使用率和需要月备的数据量。【专利说明】一种应用于BOSS系统的数据重删方法及系统
本专利技术涉及BOSS系统领域，特别是涉及一种应用于BOSS系统的数据重删方法及 系统。
技术介绍
随着运营商业务的迅速发展，业务支撑压力越来越大，其中业务数据的存储在时 间空间上均面临较大压力，主要体现在空间越来越紧张，月备时间越来越长，如果长此以 往，将会产生添加存储也不能解决的问题。 造成存储空间紧张，月备时间冗长的主要原因如下： 1)模块间冗余数据巨大 如预处理入口、出口、错单、剔重，各环节间计费关键要素重复频率极高。 2)模块内冗余数据巨大 -个环节内的某些字段只能有几个取值范围，字段重复频率极高。 3)历史话单有一定的保存周期，占用较大存储空间 可知boss系统存储的主要问题有两点：一是历史话单不能轻易删除；二是历史话 单重复率极高。 针对上述问题，本专利技术提出了一种应用于BOSS系统的数据重删方法及系统。
技术实现思路
本专利技术所要解决的技术问题是提供一种应用于BOSS系统的数据重删方法及系 统，用于解决BOSS系统中冗余数据多、存储空间使用率低的技术问题。 本专利技术解决上述技术问题的技术方案如下：一种应用于BOSS系统的数据重删方 法，包括： 步骤1，将BOSS系统产生的业务文件载入预设的重删机制，并在该重删机制中基 于文件级重删方式或内存级重删方式处理载入的业务文件，生成重删数据文件； 步骤2,采用定长方式或滑块方式将重删数据文件划分为若干个数据块； 步骤3,对每个划分好的数据块进行哈希运算，产生相应的哈希值； 步骤4,选定或新增一个数据块，并将其对应的哈希值与其他所有数据块对应的哈 希值进行比较，若出现相同的哈希值，则删除该数据块，否则存储该数据块。 对应地，本专利技术的技术方案还包括一种应用于BOSS系统的数据重删系统，包括： 预处理模块，其用于将BOSS系统产生的业务文件载入预设的重删机制，并在该重 删机制中基于文件级重删方式或内存级重删方式处理载入的业务文件，生成重删数据文 件； 分块模块，其用于采用定长方式或滑块方式将预处理后的重删数据文件划分为若 干个数据块； 运算模块，其用于对每个划分好的数据块进行哈希运算，产生相应的哈希值； 重删判断模块，其用于选定或新增一个数据块，并将其对应的哈希值与其他所有 数据块对应的哈希值进行比较，若出现相同的哈希值，则删除该数据块，否则存储该数据 块。 本专利技术的有益效果是：本专利技术采用文件级重删方式和内存级重删方式将重删机制 引入BOSS系统，大大降低了 BOSS系统的存储空间使用率，同时需要月备的数据量也将大大 降低，即缩短了月备时间，可以给运营商在存储硬件投入上减低很大一笔开支。 【专利附图】【附图说明】 图1为本专利技术所述应用于BOSS系统的数据重删方法的流程示意图； 图2为本专利技术所述应用于BOSS系统的数据重删系统的结构示意图； 图3为实施例中采用文件级重删方式对重删数据文件进行预处理的示意图； 图4为实施例中采用内存级重删方式对重删数据文件进行预处理的示意图； 图5为实施例中重删算法设计思路示意图； 图6为实施例中采用定长方式分块的示意图； 图7为实施例中采用滑块方式分块的示意图； 图8为实施例中重删机制的存储结构示意图； 图9为实施例中重删数据池的数据结构示意图； 图10为实施例中进行数据重删的效果示意图。 【具体实施方式】 以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并 非用于限定本专利技术的范围。 如图1所示，本实施例给出了一种应用于BOSS系统的数据重删方法，包括： 步骤1，将BOSS系统产生的业务文件载入预设的重删机制，并在该重删机制中基 于文件级重删方式或内存级重删方式处理载入的业务文件，生成重删数据文件； 步骤2,采用定长方式或滑块方式将重删数据文件划分为若干个数据块； 步骤3,对每个划分好的数据块进行哈希运算，产生相应的哈希值； 步骤4,选定或新增一个数据块，并将其对应的哈希值与其他所有数据块对应的哈 希值进行比较，若出现相同的哈希值，则删除该数据块，否则存储该数据块； 步骤5,存储数据块时，将数据块存储至重删机制管理的重删数据池中，当新增有 数据块时，调用重删数据池中所有数据块的哈希值与新增的数据块的哈希值进行比较。 如图2所示，对应上述步骤，本实施例还给出了相应的应用于BOSS系统的数据重 删系统，包括以下模块： 预处理模块，其用于将BOSS系统产生的业务文件载入预设的重删机制，并在该重 删机制中基于文件级重删方式或内存级重删方式处理载入的业务文件，生成重删数据文 件； 分块模块，其用于采用定长方式或滑块方式将预处理后的重删数据文件划分为若 干个数据块； 运算模块，其用于对每个划分好的数据块进行哈希运算，产生相应的哈希值； 重删判断模块，其用于选定或新增一个数据块，并将其对应的哈希值与其他所有 数据块对应的哈希值进行比较，若出现相同的哈希值，则删除该数据块，否则存储该数据 块； 存储配置模块，其用于存储数据块时，将数据块存储至重删机制管理的重删数据 池中，当新增有数据块时，调用重删数据池中所有数据块的哈希值与新增的数据块的哈希 值进行比较。 基于上述的应用于BOSS系统的数据重删方法及系统的基本技术方案，其具体的 实施过程如下所述。 一、业务文件的载入 本实施例的技术方案应用于BOSS系统，即是使用相应的重删机制将BOSS系统生 成的原始业务文件（包括话单文件和错单文件等）按相应的规则分隔、编码、存储，实现数 据重删。具体地，即是将BOSS系统产生的业务载入预设的重删机制中，将业务文件作为重 删机制的入口文件进行重删，以便生成重删数据文件。 二、业务文件的重删预处理 本实施例采用基于文件级重删方式或内存级重删方式对业务文件进行预处理。 1)文件级重删方式 如图3所示，基于文件级重删方式处理载入的业务文件具体包括：在BOSS系统产 生的业务文件落地后，再将落地的业务文件载入至预设的重删机制中，经重删机制处理生 成重删数据文件。BOSS系统的各子系统产生的业务文件都会对应产生落地文件，如预处理 和剔重子系统产生的落地话单和落地错单都作为重删机制的入口文件，由重删机制对这 些文件进行重删，生成重删数据文件。 可知，文件级重删方式是在BOSS系统本文档来自技高网...

【技术保护点】
一种应用于BOSS系统的数据重删方法，其特征在于，包括：步骤1，将BOSS系统产生的业务文件载入预设的重删机制，并在该重删机制中基于文件重删方式或内存重删方式处理载入的业务文件，生成重删数据文件；步骤2，采用定长方式或滑块方式将重删数据文件划分为若干个数据块；步骤3，对每个划分好的数据块进行哈希运算，产生相应的哈希值；步骤4，选定或新增一个数据块，并将其对应的哈希值与其他所有数据块对应的哈希值进行比较，若出现相同的哈希值，则删除该数据块，否则存储该数据块。

【技术特征摘要】

【专利技术属性】
技术研发人员：朱云章，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11