数据删除方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据删除方法、装置、计算机设备及存储介质。本发明专利技术应用于大数据中的数据查询领域。所述方法包括：若检测到写入时序数据，判断时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将下一时间段内的时序数据写入到新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将过期的布隆过滤器删除。通过实施本发明专利技术实施例的方法可实现布隆过滤器的删除操作，扩展布隆过滤器应用到时序数据，提高空间效率和查询效率。

Data deletion methods, devices, computer equipment and storage media

The embodiment of the present invention discloses a data deletion method, device, computer equipment and storage medium. The invention is applied to the field of data query in large data. The method includes: if the time label of the time series data is detected, judging whether the time label of the time series data is in the corresponding time period of the current Bloom filter; if the time label of the time series data is not in the corresponding time period of the current Bloom filter, establishing a new Bloom filter according to the next time period corresponding to the time label of the time series data, and then setting up a new Bloom filter in the next time period. Timing data is written into the new Bloom filter; the number of established Bloom filters is used to determine whether there is an expired Bloom filter; if there is an expired Bloom filter, the expired Bloom filter is deleted. By implementing the method of the embodiment of the present invention, the deletion operation of the Bloom filter can be realized, the application of the Bloom filter to time series data can be extended, and the spatial efficiency and query efficiency can be improved.

【技术实现步骤摘要】
数据删除方法、装置、计算机设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据删除方法、装置、计算机设备及存储介质。
技术介绍
随着信息与科技的发展，人们的日常生活中每时每刻不停地产生着巨量的数据，数据的价值越来越被重视，数据的处理也愈发重要。传统的数据查询方法，通常是将数据存储到磁盘中，然后通过链表、树以及哈希表等进行查询，然而随着时间的推移数据量的不断增长，需要的存储空间越来越大，查询的时间越来越长，导致空间消耗大，查询效率低。现有的布隆过滤器(BloomFilter)是一种快速判断某个元素是否存在于集合中的算法，具有空间效率高和查询效率高的优点，但是在时序数据的处理过程中，时序数据的去重通常需要将过期数据删除，而布隆过滤器不支持删除操作，从而导致布隆过滤器的使用受限。
技术实现思路
本专利技术实施例提供了一种数据删除方法、装置、计算机设备及存储介质，旨在解决布隆过滤器不支持删除操作而导致使用受限的技术问题。第一方面，本专利技术实施例提供了一种数据删除方法，其包括：若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。第二方面，本专利技术实施例还提供了一种数据删除装置，其包括：第一判断单元，用于若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；建立单元，用于若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；第二判断单元，用于根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；删除单元，用于若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。本专利技术实施例提供了一种数据删除方法、装置、计算机设备及存储介质。其中，所述方法包括：若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。本专利技术实施例通过根据时间段建立布隆过滤器，每个时间段对应一个布隆过滤器，每个布隆过滤器写入对应时间段内的时序数据，当已建立的布隆过滤器中存在过期的布隆过滤器时，将过期的布隆过滤器删除，可实现布隆过滤器的删除操作，扩展布隆过滤器应用到时序数据，提高空间效率和查询效率。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的数据删除方法的流程示意图；图2为本专利技术实施例提供的数据删除方法的子流程示意图；图3为本专利技术另一实施例提供的数据删除方法的流程示意图；图4为本专利技术实施例提供的数据删除方法的子流程示意图；图5为本专利技术另一实施例提供的数据删除方法的流程示意图；图6为本专利技术实施例提供的数据删除装置的示意性框图；图7为本专利技术实施例提供的数据删除装置的具体单元的示意性框图；图8为本专利技术另一实施例提供的数据删除装置的示意性框图；以及图9为本专利技术另一实施例提供的数据删除装置的示意性框图；以及图10为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1，图1为本专利技术实施例提供的数据删除方法的示意性流程图。该数据删除方法应用于服务器中，基于布隆过滤器实现，布隆过滤器是一种快速判断某个元素是否存在于集合中的算法，具有空间效率高和查询效率高的优点。然而由于布隆过滤器本身的特性不支持删除操作，通过布隆过滤器处理时序数据会导致过期数据无法删除，降低了布隆过滤器空间效率和查询效率。因此，通过本方案所提出的一种数据删除方法以实现时序数据在布隆过滤器中的删除操作。图1是本专利技术实施例提供的数据删除方法的流程示意图。如图所示，该方法包括以下步骤S110-S140。S110、若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内。在一实施例中，时序数据指的是按照时间顺序记录的数据，时间段指的是根据用户需求设置的时间区间，例如，一个月，一天，一小时以及一分钟等。由于时序数据的特性，其数据本身即存在有时间标记，时间标记指的是数据生成时标记的时刻，在时序数据写入时将时间标记与当前的布隆过滤器对应的时间段进行对比，判断当前时间是否处于当前的隆过滤器对应的时间段内。具体地，将时序数据的时间标记与当前的隆过滤器对应的时间段的结束时间进行对比，若时间标记早于结束时间，则判定时间标记处于时间段内；若时间标记晚于结束时间，则判定时间标记不处于时间段内。例如，若时序数据的时间标记为8月29日9:00，当前的布隆过滤器对应的时间段为8月份，那么该时序数据的时间标记处于当前的布隆过滤器对应的时间段内；若时序数据的时间标记为9月1日1:00，当前的布隆过滤器对应的时间段为8月份，那么该时序数据的时间标记就不处于当前的布隆过滤器对应的时间段内。S120、若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过本文档来自技高网...

【技术保护点】
1.一种数据删除方法，其特征在于，包括：若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。

【技术特征摘要】
1.一种数据删除方法，其特征在于，包括：若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。2.根据权利要求1所述的数据删除方法，其特征在于，所述根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中，包括：新建位数组并将所述位数组中的所有位置均设置为零；将下一个时间段内的时序数据通过预设数量的哈希函数映射到所述位数组的位置上；将所述位数组中被映射到的位置均设置为一。3.根据权利要求2所述的数据删除方法，其特征在于，所述根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中之后，还包括：若检测到查询时序数据，将所述时序数据通过预设数量的哈希函数映射到所述位数组的位置上；判断所述位数组中被映射到的位置是否均为一；若所述位数组中被映射到的位置均为一，判定存在所述时序数据。4.根据权利要求1所述的数据删除方法，其特征在于，所述根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器，包括：判断已建立的布隆过滤器的数量是否超过预设数量；若已建立的布隆过滤器的数量超过预设数量，判定存在过期的布隆过滤器。5.根据权利要求1所述的数据删除方法，其特征在于，所述判断所述时序数据的时间...

【专利技术属性】
技术研发人员：李红伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44