一种冗余数据识别过滤方法及系统技术方案

本发明专利技术涉及冗余数据处理技术领域，具体公开了一种冗余数据识别过滤方法及系统。本发明专利技术通过获取用户的身份信息，对传输数据分类处理；与多个其他设备进行交互更新调整；进行冗余分级预处理；周期性记录调用信息，进行分级优化处理；进行反馈更新优化，生成多个冗余分级优化标签。能够根据用户的身份信息进行数据分类处理和冗余分级处理标签生成更新，进而通过多个冗余分级调整标签进行冗余分级预处理，再根据周期性的调用信息进行数据的分级优化处理和标签的反馈更新优化，从而能够根据用户的实际需求，进行数据分类、冗余分级预处理和分级优化处理，避免重要数据出现数据完全缺失和数据部分破坏，从而便于用户获取完整、有效的重要数据。的重要数据。的重要数据。

A method and system for identifying and filtering redundant data

【技术实现步骤摘要】
一种冗余数据识别过滤方法及系统


[0001]本专利技术属于冗余数据处理
，尤其涉及一种冗余数据识别过滤方法及系统。

技术介绍

[0002]数据冗余发生在数据库系统中，指的是一个字段在多个表里重复出现。数据冗余会导致数据异常和损坏，一般来说设计上应该被避免。数据库规范化防止了冗余而且不浪费存储容量，适当的使用外键可以使得数据冗余和异常降到最低。但是，如果考虑效率和便利，有时候也会设计冗余数据，而不考虑数据被破坏的风险。
[0003]现有的对于冗余数据的处理中，通常都是对传输数据进行冗余数据的识别，并将识别的冗余数据进行全部过滤清理，从而释放更多的存储空间。然而，这种粗暴的冗余数据识别过滤方法，不能够根据用户的实际需求进行分级过滤，导致有的数据完全缺失、有的数据部分破坏，从而不便于用户获取完整、有效的目标数据。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种冗余数据识别过滤方法及系统，旨在解决
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：一种冗余数据识别过滤方法，所述方法具体包括以下步骤：获取当前设备的用户的身份信息，实时接收传输数据，根据所述身份信息，对所述传输数据进行分类处理，生成多个分类数据；根据所述身份信息，生成多个冗余分级处理标签，并构建与多个其他设备的连接，进行交互更新调整，生成多个冗余分级调整标签；按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级预处理，生成多个分类预处理数据；周期性记录多个所述分类预处理数据的调用信息，根据多个所述调用信息，对多个所述分类预处理数据进行分级优化处理，生成多个分类分级优化数据；根据多个所述分类分级优化数据，对多个所述冗余分级调整标签进行反馈更新优化，生成多个冗余分级优化标签。
[0006]作为本专利技术实施例技术方案进一步的限定，所述获取当前设备的用户的身份信息，实时接收传输数据，根据所述身份信息，对所述传输数据进行分类处理，生成多个分类数据具体包括以下步骤：获取当前设备的用户的身份信息；根据所述身份信息，匹配对应的标准分类需求；实时接收传输数据；根据所述标准分类需求，对所述传输数据进行分类处理，生成多个分类数据。
[0007]作为本专利技术实施例技术方案进一步的限定，所述根据所述身份信息，生成多个冗余分级处理标签，并构建与多个其他设备的连接，进行交互更新调整，生成多个冗余分级调整标签具体包括以下步骤：根据所述身份信息进行冗余分级分析，生成多个冗余分级处理标签；进行连接构建情景分析，根据所述身份信息，进行设备连接构建筛选，生成构建筛选结果；根据所述构建筛选结果，构建与多个其他设备的连接；基于所述冗余分级处理标签，与多个所述其他设备进行交互更新调整，生成多个冗余分级调整标签。
[0008]作为本专利技术实施例技术方案进一步的限定，所述按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级预处理，生成多个分类预处理数据具体包括以下步骤：按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级识别，得到多个分类分级冗余数据；对多个所述分类分级冗余数据进行冗余分级预处理，生成多个分类预处理数据。
[0009]作为本专利技术实施例技术方案进一步的限定，所述周期性记录多个所述分类预处理数据的调用信息，根据多个所述调用信息，对多个所述分类预处理数据进行分级优化处理，生成多个分类分级优化数据具体包括以下步骤：周期性记录多个所述分类预处理数据的调用信息；根据多个所述调用信息，对多个所述分类预处理数据进行分级优化标记，生成优化标记信息；根据所述优化标记信息，对多个所述分类预处理数据进行分级优化处理，生成多个分类分级优化数据。
[0010]作为本专利技术实施例技术方案进一步的限定，所述根据多个所述分类分级优化数据，对多个所述冗余分级调整标签进行反馈更新优化，生成多个冗余分级优化标签具体包括以下步骤：将多个所述分类分级优化数据与多个所述分类预处理数据进行优化比较，生成优化比较结果；按照所述优化比较结果，对多个所述冗余分级调整标签进行反馈更新优化，生成多个冗余分级优化标签。
[0011]一种冗余数据识别过滤系统，所述系统包括数据分类处理单元、标签生成调整单元、冗余分级预处理单元、分级优化处理单元和标签反馈优化单元，其中：数据分类处理单元，用于获取当前设备的用户的身份信息，实时接收传输数据，根据所述身份信息，对所述传输数据进行分类处理，生成多个分类数据；标签生成调整单元，用于根据所述身份信息，生成多个冗余分级处理标签，并构建与多个其他设备的连接，进行交互更新调整，生成多个冗余分级调整标签；冗余分级预处理单元，用于按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级预处理，生成多个分类预处理数据；分级优化处理单元，用于周期性记录多个所述分类预处理数据的调用信息，根据
多个所述调用信息，对多个所述分类预处理数据进行分级优化处理，生成多个分类分级优化数据；标签反馈优化单元，用于根据多个所述分类分级优化数据，对多个所述冗余分级调整标签进行反馈更新优化，生成多个冗余分级优化标签。
[0012]作为本专利技术实施例技术方案进一步的限定，所述数据分类处理单元具体包括：身份信息获取模块，用于获取当前设备的用户的身份信息；分类需求匹配模块，用于根据所述身份信息，匹配对应的标准分类需求；传输数据接收模块，用于实时接收传输数据；数据分类处理模块，用于根据所述标准分类需求，对所述传输数据进行分类处理，生成多个分类数据。
[0013]作为本专利技术实施例技术方案进一步的限定，所述标签生成调整单元具体包括：冗余分级分析模块，用于根据所述身份信息进行冗余分级分析，生成多个冗余分级处理标签；连接构建筛选模块，用于进行连接构建情景分析，根据所述身份信息，进行设备连接构建筛选，生成构建筛选结果；设备连接构建模块，用于根据所述构建筛选结果，构建与多个其他设备的连接；交互更新调整模块，用于基于所述冗余分级处理标签，与多个所述其他设备进行交互更新调整，生成多个冗余分级调整标签。
[0014]作为本专利技术实施例技术方案进一步的限定，所述冗余分级预处理单元具体包括：冗余分级识别模块，用于按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级识别，得到多个分类分级冗余数据；冗余分级预处理模块，用于对多个所述分类分级冗余数据进行冗余分级预处理，生成多个分类预处理数据。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术实施例通过获取用户的身份信息，对传输数据分类处理；与多个其他设备进行交互更新调整；进行冗余分级预处理；周期性记录调用信息，进行分级优化处理；进行反馈更新优化，生成多个冗余分级优化标签。能够根据用户的身份信息进行数据分类处理和冗余分级处理标签生成更新，进而通过多个冗余分级调整标签进行冗余分级预处理，再根据周期性的调用信息进行数据的分级优化处理和标签的反馈更新优化，从而能够根据用户的实际需求，进行数据分类、冗余分级预处理和分级优化处理，避免重要数据出现数据完全缺失和数据部分破坏，从而便于用户获取完整本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冗余数据识别过滤方法，其特征在于，所述方法具体包括以下步骤：获取当前设备的用户的身份信息，实时接收传输数据，根据所述身份信息，对所述传输数据进行分类处理，生成多个分类数据；根据所述身份信息，生成多个冗余分级处理标签，并构建与多个其他设备的连接，进行交互更新调整，生成多个冗余分级调整标签；按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级预处理，生成多个分类预处理数据；周期性记录多个所述分类预处理数据的调用信息，根据多个所述调用信息，对多个所述分类预处理数据进行分级优化处理，生成多个分类分级优化数据；根据多个所述分类分级优化数据，对多个所述冗余分级调整标签进行反馈更新优化，生成多个冗余分级优化标签。2.根据权利要求1所述的冗余数据识别过滤方法，其特征在于，所述获取当前设备的用户的身份信息，实时接收传输数据，根据所述身份信息，对所述传输数据进行分类处理，生成多个分类数据具体包括以下步骤：获取当前设备的用户的身份信息；根据所述身份信息，匹配对应的标准分类需求；实时接收传输数据；根据所述标准分类需求，对所述传输数据进行分类处理，生成多个分类数据。3.根据权利要求1所述的冗余数据识别过滤方法，其特征在于，所述根据所述身份信息，生成多个冗余分级处理标签，并构建与多个其他设备的连接，进行交互更新调整，生成多个冗余分级调整标签具体包括以下步骤：根据所述身份信息进行冗余分级分析，生成多个冗余分级处理标签；进行连接构建情景分析，根据所述身份信息，进行设备连接构建筛选，生成构建筛选结果；根据所述构建筛选结果，构建与多个其他设备的连接；基于所述冗余分级处理标签，与多个所述其他设备进行交互更新调整，生成多个冗余分级调整标签。4.根据权利要求1所述的冗余数据识别过滤方法，其特征在于，所述按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级预处理，生成多个分类预处理数据具体包括以下步骤：按照多个所述冗余分级调整标签，对多个所述分类数据进行冗余分级识别，得到多个分类分级冗余数据；对多个所述分类分级冗余数据进行冗余分级预处理，生成多个分类预处理数据。5.根据权利要求1所述的冗余数据识别过滤方法，其特征在于，所述周期性记录多个所述分类预处理数据的调用信息，根据多个所述调用信息，对多个所述分类预处理数据进行分级优化处理，生成多个分类分级优化数据具体包括以下步骤：周期性记录多个所述分类预处理数据的调用信息；根据多个所述调用信息，对多个所述分类预处理数据进行分级优化标记，生成优化标记信息；
根据所述优化标记信息，对多个所述分类预处理数据进行分级优化处理，生成多个分类分级优化数据。6.根据权利要求1所述的冗余数据识...

【专利技术属性】
技术研发人员：张毅博，漆娅，
申请(专利权)人：深圳中科智能技术有限公司，
类型：发明
国别省市：