基于数据表的数据淘汰方法及装置制造方法及图纸

本发明专利技术公开了一种基于数据表的数据淘汰方法及装置，至少能够解决现有技术中在对过期数据进行淘汰时，由于在后台设置了专门的淘汰线程进而增加了后台运行负载，使后台运行速度变慢的技术问题。该方法包括：在执行数据一致性检测时遍历各个数据表中的数据，以检测各个数据表中的数据是否一致；在遍历过程中针对任一个数据表，进一步根据该数据表对应的数据淘汰规则确定该数据表中的各个数据是否需要淘汰；对该数据表中需要淘汰的数据进行淘汰。

Data elimination method and device based on data table

The invention discloses a method and a device for elimination of data table based on the data, at least able to solve the existing technology in the expired data were eliminated, because in the background, set up a special thread out and then increased the background load, so that the background running speed becomes the technical problems of slow. The method includes: in the test execution data consistency when traversing each data table in the data, the data in the data table of each detection is consistent; in the traversal process according to a data table, according to the data table corresponding to the data elimination rules to determine whether the data in the table on the various data need to be eliminated; the data in the table need to eliminate data elimination.

【技术实现步骤摘要】
基于数据表的数据淘汰方法及装置
本专利技术涉及通信
，具体涉及一种基于数据表的数据淘汰方法及装置。
技术介绍
目前，后台系统在淘汰过期的数据时，都是在后台设置一个专门针对硬盘中过期数据的淘汰线程，通过淘汰线程来扫描并删除硬盘中需要淘汰的过期数据。但是，专利技术人在实现本专利技术的过程中发现，现有技术中的上述方式至少存在下述缺陷：由于硬盘中存储的数据容量比较大，因此设置专门的淘汰线程无疑会增加后台运行的负载，使后台中相关线程的处理速度减慢，由此降低了后台对数据的处理效率，影响后台的运行速度。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于数据表的数据淘汰方法及装置。根据本专利技术的一个方面，提供了一种基于数据表的数据淘汰方法，包括：在执行数据一致性检测时遍历各个数据表中的数据，以检测所述各个数据表中的数据是否一致；在遍历过程中针对任一个数据表，进一步根据该数据表对应的数据淘汰规则确定该数据表中的各个数据是否需要淘汰；对该数据表中需要淘汰的数据进行淘汰。可选地，所述方法执行之前，进一步包括步骤：预先根据各个数据表的数据淘汰周期设置所述数据一致性检测的执行周期；和/或，在所述方法执行过程中，进一步包括步骤：获取各个数据表的数据淘汰周期，根据获取结果调整所述数据一致性检测的执行周期。可选地，所述方法执行之前，进一步包括步骤：预先设置并存储各个数据表对应的数据淘汰规则；其中，所述数据淘汰规则包括以下中的至少一个：基于数据的温度属性进行淘汰的规则、以及基于数据的过期时间进行淘汰的规则。可选地，所述预先设置并存储各个数据表对应的数据淘汰规则的步骤之后，进一步包括步骤：按照所述数据淘汰规则将全部数据表划分为多个数据表分组，分别为每个数据表分组创建对应的线程池，由各个线程池并行执行后续步骤。可选地，所述基于数据表的数据淘汰方法进一步包括：为各个线程池分别设置对应的权重值，根据各个线程池的权重值设置各个线程池内包含的线程的数量；其中，线程池的权重值越大，线程池内包含的线程的数量越多；线程池的权重值越小，线程池内包含的线程的数量越少。可选地，所述检测所述各个数据表中的数据是否一致的步骤具体包括：提取各个数据表中键值相同的数据，计算所述键值相同的数据对应的数据校验值，根据计算结果确定各个数据是否一致。根据本专利技术的另一方面，提供了一种基于数据表的数据淘汰方装置，包括：检测模块，适于在执行数据一致性检测时遍历各个数据表中的数据，以检测所述各个数据表中的数据是否一致；确定模块，适于在遍历过程中针对任一个数据表，进一步根据该数据表对应的数据淘汰规则确定该数据表中的各个数据是否需要淘汰；淘汰模块，适于对该数据表中需要淘汰的数据进行淘汰。可选地，所述装置进一步包括：第一预处理模块，适于预先根据各个数据表的数据淘汰周期设置所述数据一致性检测的执行周期；调整模块，适于获取各个数据表的数据淘汰周期，根据获取结果调整所述数据一致性检测的执行周期。可选地，所述装置进一步包括：第二预处理模块，适于预先设置并存储各个数据表对应的数据淘汰规则；其中，所述数据淘汰规则包括以下中的至少一个：基于数据的温度属性进行淘汰的规则、以及基于数据的过期时间进行淘汰的规则。可选地，所述装置进一步包括：划分创建模块，适于按照所述数据淘汰规则将全部数据表划分为多个数据表分组，分别为每个数据表分组创建对应的线程池，由各个线程池并行执行后续步骤。可选地，所述装置进一步包括：设置模块，适于为各个线程池分别设置对应的权重值，根据各个线程池的权重值设置各个线程池内包含的线程的数量；其中，线程池的权重值越大，线程池内包含的线程的数量越多；线程池的权重值越小，线程池内包含的线程的数量越少。可选地，所述检测所述各个数据表中的数据是否一致的步骤具体包括：提取各个数据表中键值相同的数据，计算所述键值相同的数据对应的数据校验值，根据计算结果确定各个数据是否一致。在本专利技术提供的一种基于数据表的数据淘汰方法及装置中，首先在执行数据一致性检测时遍历各个数据表中的数据，以检测所述各个数据表中的数据是否一致；然后在遍历过程中针对任一个数据表，进一步根据该数据表对应的数据淘汰规则确定该数据表中的各个数据是否需要淘汰；最后对该数据表中需要淘汰的数据进行淘汰。由此可见，本专利技术解决了在对过期数据进行淘汰时，由于在后台设置了专门的淘汰线程进而增加了集群负载，进而使后台运行速度变慢的问题。本专利技术在很大程度上减轻了集群的负载，提升了后台的运行效率。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例一提供的基于数据表的数据淘汰方法流程图；图2示出了本专利技术实施例二提供的基于数据表的数据淘汰方法流程图；图3示出了本专利技术实施例三提供的基于数据表的数据淘汰装置的结构框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供了一种基于数据表的数据淘汰方法及装置，至少能够解决现有技术中在对过期数据进行淘汰时，由于在后台设置了专门的淘汰线程进而增加了后台运行负载，使后台运行速度变慢的技术问题。实施例一图1示出了本专利技术实施例一提供的基于数据表的数据淘汰方法流程图。如图1所示，该方法包括以下步骤：步骤S110：在执行数据一致性检测时遍历各个数据表中的数据，以检测各个数据表中的数据是否一致。具体地，在将数据存储(即写入)到对应的数据表中时，由于数据会被复制为多份并且每一份数据都会被分为多个数据片进行分片存储，因此不同的数据表中会对应存储内容相同的数据分片。一致性检测是指：为了严格确保各个数据表中存储的数据分片内容的准确性，降低在各个数据表中写入数据时的出错概率，对各个数据表中存储的数据对应设置一个定期或者不定期的遍历过程，在此遍历过程中，会执行对数据表中存储的相同内容数据的校验，以此来检测各个数据表中对应的数据是否一致，实现确保各个数据表中存储的数据分片内容的准确性的目的。其中，在进行上述遍历过程时，其遍历过程可以多线程并行执行，即可以通过一个线程来校验数据表中的多个数据，并同时通过多个线程同时工作来校验数据表中的多个数据，以此来提高校验过程的效率。步骤S120：在遍历过程中针对任一个数据表，进一步根据该数据表对应的数据淘汰规则确定该数据表中的各个数据是否需要淘汰。其中，数据淘汰规则为本领域技术人员根据实际情况针对数据表中的每条数据设置的淘汰规则，具体地，在设置数据淘汰规则时，其设置方式是多样的，比如可以根据各个数据表中数据的时间属性、数据的温度属性相关属性来设置，或者也可以根据数本文档来自技高网...

【技术保护点】
一种基于数据表的数据淘汰方法，包括：在执行数据一致性检测时遍历各个数据表中的数据，以检测所述各个数据表中的数据是否一致；在遍历过程中针对任一个数据表，进一步根据该数据表对应的数据淘汰规则确定该数据表中的各个数据是否需要淘汰；对该数据表中需要淘汰的数据进行淘汰。

【技术特征摘要】
1.一种基于数据表的数据淘汰方法，包括：在执行数据一致性检测时遍历各个数据表中的数据，以检测所述各个数据表中的数据是否一致；在遍历过程中针对任一个数据表，进一步根据该数据表对应的数据淘汰规则确定该数据表中的各个数据是否需要淘汰；对该数据表中需要淘汰的数据进行淘汰。2.根据权利要求1所述的方法，其中，所述方法执行之前，进一步包括步骤：预先根据各个数据表的数据淘汰周期设置所述数据一致性检测的执行周期；和/或，在所述方法执行过程中，进一步包括步骤：获取各个数据表的数据淘汰周期，根据获取结果调整所述数据一致性检测的执行周期。3.根据权利要求1或2所述的方法，其中，所述方法执行之前，进一步包括步骤：预先设置并存储各个数据表对应的数据淘汰规则；其中，所述数据淘汰规则包括以下中的至少一个：基于数据的温度属性进行淘汰的规则、以及基于数据的过期时间进行淘汰的规则。4.根据权利要求3所述的方法，其中，所述预先设置并存储各个数据表对应的数据淘汰规则的步骤之后，进一步包括步骤：按照所述数据淘汰规则将全部数据表划分为多个数据表分组，分别为每个数据表分组创建对应的线程池，由各个线程池并行执行后续步骤。5.根据权利要求4所述的方法，其中，进一步包括：为各个线程池分别设置对应的权重值，根据各个线程池的权重值设置各个线程池内包含的线程的数量；其中，线程池的权重值越大，线程池内包含的线程的数量越多；线程池的权重值越小，线程...

【专利技术属性】
技术研发人员：王文铎，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11