数据过滤方法和系统、电子设备及存储介质技术方案

本申请公开了一种数据过滤方法和系统、电子设备及存储介质，方法包括：接收待过滤的数据，并确定数据的标签值；将数据输入一级过滤器，确定期望值和尾值；期望值用于表征基于数据连续性确定的标签值，尾值用于表征二级过滤器中最早的有效标签值；若标签值等于期望值，通过一级过滤器对数据进行过滤处理，确定过滤后的目标数据；一级过滤器用于过滤具有连续标签值的数据；或者，若标签值不等于期望值，且标签值大于或等于尾值，将数据输入二级过滤器，通过二级过滤器对数据进行过滤处理，确定过滤后的目标数据；二级过滤器用于过滤非连续标签值对应的数据。本申请实施例有利于提升数据处理效率。本申请可以广泛应用于网络通信技术领域。

【技术实现步骤摘要】

本申请涉及网络通信，尤其涉及一种数据过滤方法和系统、电子设备及存储介质。

技术介绍

1、重复数据过滤应用是一种用于识别和删除数据集中重复记录的工具。它可以应用于各种数据类型，包括文本、数字、图像等。重复数据是指在数据集中存在多个相同或相似的记录，可能是由于数据输入错误、系统故障或其他原因导致的。重复数据过滤应用的主要目标是提高数据质量和准确性。通过检测和删除重复记录，可以减少数据冗余，提高数据分析和处理的效率。相关技术中，重复数据过滤应用通常基于算法和技术来识别重复记录。这些算法可以比较数据集中的不同记录，并根据预定义的相似度度量标准来确定它们之间的相似性。一旦重复记录被识别出来，应用程序可以采取适当的操作，如删除、合并或标记重复记录。然而，相关技术中的过滤方法通常降低了数据的转发性能，影响数据的处理消息。

技术实现思路

1、本申请实施例的主要目的在于提出一种高效的数据过滤方法和系统、电子设备及存储介质。

2、为实现上述目的，本申请实施例的一方面提出了一种数据过滤方法，所述方法包括：接收待过滤的数本文档来自技高网...

【技术保护点】

1.一种数据过滤方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述二级过滤器包括若干过滤节点，所述过滤节点包括边界记录和标记单元；所述通过所述二级过滤器对所述数据进行过滤处理，包括：

3.根据权利要求2所述的方法，其特征在于，所述第二过滤节点包括第二边界记录和第二标记单元；所述根据所述标签值，在所述二级过滤器中注册第二过滤节点，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据第一标记单元对所述数据进行过滤处理，包括：

5.根据权利要求2所述的方法，其特征在于，所述过滤节点还包括定时器，所述定时器从建立...

【技术特征摘要】

1.一种数据过滤方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述二级过滤器包括若干过滤节点，所述过滤节点包括边界记录和标记单元；所述通过所述二级过滤器对所述数据进行过滤处理，包括：

3.根据权利要求2所述的方法，其特征在于，所述第二过滤节点包括第二边界记录和第二标记单元；所述根据所述标签值，在所述二级过滤器中注册第二过滤节点，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据第一标记单元对所述数据进行过滤处理，包括：

5.根据权利要求2所述的方法，其特征在于，所述过滤节点还包括定时器，所述定时器从建立所述过滤节点时开始计时；所述方法还包括：<...

【专利技术属性】
技术研发人员：谷龙龙，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：