一种冗余数据处理方法、系统、计算机设备和存储介质技术方案

本发明专利技术实施例涉及数据处理领域，具体公开了一种冗余数据处理方法、系统、计算机设备和存储介质。本发明专利技术实施例通过将第一存储区中的冗余数据转移至第二存储区；提取所述冗余数据中的有用数据，并将所述有用数据转移至第三存储区；将所述第二存储区格式化；监测所述第三存储区中有用数据在设定时间内的调用情况，并删除没有调用的有用数据。能够将存储空间分区进行冗余数据处理，提取冗余数据中的有用数据，并对有用数据在设定时间内进行调用监控，最终将冗余数据中的无用数据和有用数据中的不调用数据全部删除，从而在删除冗余数据，减小存储浪费的同时，保存冗余数据中的一些重要的有用数据，避免存储的数据不完整。避免存储的数据不完整。避免存储的数据不完整。

【技术实现步骤摘要】
一种冗余数据处理方法、系统、计算机设备和存储介质


[0001]本专利技术属于数据处理领域，尤其涉及一种冗余数据处理方法、系统、计算机设备和存储介质。

技术介绍

[0002]数据冗余发生在数据库系统中，指的是一个字段在多个表里重复出现。数据冗余会导致数据异常和损坏，一般来说设计上应该被避免。数据库规范化防止了冗余而且不浪费存储容量。适当的使用外键可以使得数据冗余和异常降到最低。但是，如果考虑效率和便利，有时候也会设计冗余数据，而不考虑数据被破坏的风险。
[0003]在现有的冗余数据处理过程中，通常都是将冗余数据直接删除，用以减小存储的浪费，但是，冗余数据并不都是没有用的数据，单纯的直接删除冗余数据，往往会将一些有用数据删除，导致数据不完整，有时还可能将一些重要的数据删除，影响用户的使用。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种冗余数据处理方法、系统、计算机设备和存储介质，旨在解决
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：一种冗余数据处理方法，所述方法具体包括以下步骤：将第一存储区中的冗余数据转移至第二存储区；提取所述冗余数据中的有用数据，并将所述有用数据转移至第三存储区；将所述第二存储区格式化；监测所述第三存储区中有用数据在设定时间内的调用情况，并删除没有调用的有用数据。
[0006]作为本专利技术实施例技术方案进一步的限定，所述将第一存储区中的冗余数据转移至第二存储区具体包括以下步骤：将数据存储空间划分为第一存储区、第二存储区和第三存储区；设置所述第一存储区为数据存储库；提取所述数据存储库中的冗余数据；将所述冗余数据转移至所述第二存储区。
[0007]作为本专利技术实施例技术方案进一步的限定，所述提取所述数据存储库中的冗余数据具体包括以下步骤：为所述数据存储库中的每个数据建立数据表单，所述数据表单中记录有该数据的数据结构、来源地址和获取过程；判断是否存在相似的数据表单，并在存在相似的数据表单时，设置该数据表单对应的数据为冗余数据并提取。
[0008]作为本专利技术实施例技术方案进一步的限定，所述判断是否存在相似的数据表单，
并在存在相似的数据表单时，设置该数据表单对应的数据为冗余数据并提取具体包括以下步骤：获取来源地址和获取过程相同的两个数据表单；对比这两个数据表单的数据结构相似度，并在数据结构相似度较大时，设置这两个数据表单对应的两个数据为冗余数据并提取。
[0009]作为本专利技术实施例技术方案进一步的限定，所述对比这两个数据表单的数据结构相似度，并在数据结构相似度较大时，设置这两个数据表单对应的两个数据为冗余数据并提取具体包括以下步骤：对比这两个数据表单的数据结构相似度是否大于预设值；在所述数据结构相似度大于预设值时，设置这两个数据表单对应的两个数据为冗余数据并提取；在所述数据结构相似度不大于预设值时，判断这两个数据表单对应的两个数据不是冗余数据。
[0010]作为本专利技术实施例技术方案进一步的限定，所述提取所述冗余数据中的有用数据，并将所述有用数据转移至第三存储区具体包括以下步骤：设置有用数据的筛选类型；根据所述筛选类型对所述冗余数据进行筛选；将筛选出的数据设置为有用数据，并所述有用数据转移至第三存储区。
[0011]作为本专利技术实施例技术方案进一步的限定，所述监测所述第三存储区中有用数据在设定时间内的调用情况，并删除没有调用的有用数据具体包括以下步骤：设置监测时间；判断所述第三存储区中有用数据在监测时间内是否被调用；若所述有用数据没有调用，则删除所述有用数据；若所述有用数据被调用，则将所述有用数据转移至数据存储库。
[0012]本专利技术实施例的另一目的在于提供一种冗余数据处理系统，所述系统包括冗余数据转移单元、有用数据提取单元、格式化单元和调用监测单元，其中：冗余数据转移单元，用于将第一存储区中的冗余数据转移至第二存储区；有用数据提取单元，用于提取所述冗余数据中的有用数据，并将所述有用数据转移至第三存储区；格式化单元，用于将所述第二存储区格式化；调用监测单元，用于监测所述第三存储区中有用数据在设定时间内的调用情况，并删除没有调用的有用数据；所述冗余数据转移单元具体包括：存储空间划分模块，用于将数据存储空间划分为第一存储区、第二存储区和第三存储区；数据存储库设置模块，用于设置所述第一存储区为数据存储库；冗余数据提取模块，用于提取所述数据存储库中的冗余数据；冗余数据转移模块，用于将所述冗余数据转移至所述第二存储区；所述冗余数据提取模块具体包括：
数据表单建立子模块，用于为所述数据存储库中的每个数据建立数据表单，所述数据表单中记录有该数据的数据结构、来源地址和获取过程；相似判断处理子模块，用于判断是否存在相似的数据表单，并在存在相似的数据表单时，设置该数据表单对应的数据为冗余数据并提取。
[0013]本专利技术实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述一种冗余数据处理方法的步骤。
[0014]本专利技术实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述一种冗余数据处理方法的步骤。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术实施例通过将第一存储区中的冗余数据转移至第二存储区；提取所述冗余数据中的有用数据，并将所述有用数据转移至第三存储区；将所述第二存储区格式化；监测所述第三存储区中有用数据在设定时间内的调用情况，并删除没有调用的有用数据。能够将存储空间分区进行冗余数据处理，提取冗余数据中的有用数据，并对有用数据在设定时间内进行调用监控，最终将冗余数据中的无用数据和有用数据中的不调用数据全部删除，从而在删除冗余数据，减小存储浪费的同时，保存冗余数据中的一些重要的有用数据，避免存储的数据不完整。
附图说明
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例。
[0017]图1示出了本专利技术实施例提供的方法的网络实施环境图。
[0018]图2示出了本专利技术实施例提供的方法的流程图。
[0019]图3示出了本专利技术实施例提供的方法中冗余数据转移的流程图。
[0020]图4示出了本专利技术实施例提供的方法中冗余数据提取的流程图。
[0021]图5示出了本专利技术实施例提供的方法中冗余数据设置的流程图。
[0022]图6示出了本专利技术实施例提供的方法中数据结构相似度对比的流程图。
[0023]图7示出了本专利技术实施例提供的方法中有用数据转移的流程图。
[0024]图8示出了本专利技术实施例提供的方法中有用数据监测的流程图。
[0025]图9示出了本专利技术实施例提供的系统的应用架构图。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冗余数据处理方法，其特征在于，所述方法具体包括以下步骤：将第一存储区中的冗余数据转移至第二存储区；提取所述冗余数据中的有用数据，并将所述有用数据转移至第三存储区；将所述第二存储区格式化；监测所述第三存储区中有用数据在设定时间内的调用情况，并删除没有调用的有用数据；所述将第一存储区中的冗余数据转移至第二存储区具体包括以下步骤：将数据存储空间划分为第一存储区、第二存储区和第三存储区；设置所述第一存储区为数据存储库；提取所述数据存储库中的冗余数据；将所述冗余数据转移至所述第二存储区；所述提取所述数据存储库中的冗余数据具体包括以下步骤：为所述数据存储库中的每个数据建立数据表单，所述数据表单中记录有该数据的数据结构、来源地址和获取过程；判断是否存在相似的数据表单，并在存在相似的数据表单时，设置该数据表单对应的数据为冗余数据并提取。2.根据权利要求1所述的一种冗余数据处理方法，其特征在于，所述判断是否存在相似的数据表单，并在存在相似的数据表单时，设置该数据表单对应的数据为冗余数据并提取具体包括以下步骤：获取来源地址和获取过程相同的两个数据表单；对比这两个数据表单的数据结构相似度，并在数据结构相似度较大时，设置这两个数据表单对应的两个数据为冗余数据并提取。3.根据权利要求2所述的一种冗余数据处理方法，其特征在于，所述对比这两个数据表单的数据结构相似度，并在数据结构相似度较大时，设置这两个数据表单对应的两个数据为冗余数据并提取具体包括以下步骤：对比这两个数据表单的数据结构相似度是否大于预设值；在所述数据结构相似度大于预设值时，设置这两个数据表单对应的两个数据为冗余数据并提取；在所述数据结构相似度不大于预设值时，判断这两个数据表单对应的两个数据不是冗余数据。4.根据权利要求1所述的一种冗余数据处理方法，其特征在于，所述提取所述冗余数据中的有用数据，并将所述有用数据转移至第三存储区具体包括以下步骤：设置有用数据的筛选类型；根据所述筛选类型对所述冗余数据进行筛选；将筛选出的数据设置为有用数据，并所述有...

【专利技术属性】
技术研发人员：张毅博，漆娅，
申请(专利权)人：深圳中科智能技术有限公司，
类型：发明
国别省市：