一种缓存数据处理方法、装置和系统制造方法及图纸

本发明专利技术实施例公开了一种缓存数据处理方法、装置和系统；本发明专利技术实施例采用对缓存的存储空间进行监控，若根据监控结果确定缓存的已使用空间超过预置阈值，则确定该缓存中是否存在超时的数据，若存在超时的数据，则删除该超时的数据，反之，若不存在超时的数据，则根据数据优先级从低到高的顺序依次删除数据，直至该缓存的已使用空间低于该预置阈值；该方案可以为不同数据提供不同级别的保护，改善计算效果，提高投放精准性。

【技术实现步骤摘要】

本专利技术涉及通信
，具体涉及一种缓存数据处理方法、装置和系统。
技术介绍
在线广告业务是在大数据的背景下应运而生的新兴业务，是大数据时代数据变现的重要途径之一。精准、海量和实时是在线广告业务的三大要素，而要保证精准，计算过程中所使用数据的准确与可靠至关重要。在实时广告业务的计算请求过程中，会涉及到大量的数据查询，包括用户画像和广告信息等，由于数据量很大，目前的数据都存放于后端的分布式κν(关键字/值，Key/Value)存储引擎中。为了保证上述的高实时性，推荐系统会在本地设置缓存模块，将从KV存储引擎中查询回来的数据缓存起来，以提高数据查询速度。然而，由于本地缓存的存储空间有限，不可能将所有数据都保存在本地，因此设有一个缓存阀值，当缓存的数据到达该值，就使用某种淘汰策略进行数据淘汰。目前推荐系统的缓存使用“超时淘汰”机制，只针对各种数据的更新频率，在超时时间上作出区分。数据写入时，保存在对应的超时链表上，当缓存写满，则优先淘汰超时节点，若没有超时节点，则在每个超时链上强制删除一些以释放空间。在对现有技术的研究和实践过程中，本专利技术的专利技术人发现，根据现有的淘汰方案，在缓存已满的情况下，每次的读写请求都会触发数据超时淘汰操作，而没有超时节点时，则在每个超时链上强制删除一些节点，因此，可能会误删除一些重要数据，使得无法为后续的计算提供准确的数据，影响计算效果，最终导致投放精准性的降低。
技术实现思路
本专利技术实施例提供一种缓存数据处理方法、装置和系统，可以为不同数据提供不同级别的保护，改善计算效果，提高投放精准性。本专利技术实施例提供一种缓存数据处理方法，包括:对缓存的存储空间进行监控；若根据监控结果确定缓存的已使用空间超过预置阈值，则确定所述缓存中是否存在超时的数据；若存在超时的数据，则删除所述超时的数据；若不存在超时的数据，则根据数据优先级从低到高的顺序依次删除数据，直至所述缓存的已使用空间低于所述预置阈值。 相应的，本专利技术实施例还提供一种缓存数据处理装置，其特征在于，包括:监控单元，用于对缓存的存储空间进行监控；判断单元，用于在根据监控结果确定缓存的已使用空间超过预置阈值时，确定所述缓存中是否存在超时的数据；第一处理单元，用于在判断单元确定存在超时的数据时，删除所述超时的数据；第二处理单元，用于在判断单元确定不存在超时的数据时，根据数据优先级从低到高的顺序依次删除数据，直至所述缓存的已使用空间低于所述预置阈值。此外，本专利技术实施例还提供一种信息推荐系统，包括本专利技术实施例所提供的任一种缓存数据处理装置。本专利技术实施例采用对缓存的存储空间进行监控，若根据监控结果确定缓存的已使用空间超过预置阈值，则确定该缓存中是否存在超时的数据，若存在超时的数据，则删除该超时的数据，反之，若不存在超时的数据，则根据数据优先级从低到高的顺序依次删除数据，直至该缓存的已使用空间低于该预置阈值；由于该方案在不存在超时数据的情况下，可以按照数据优先级的高低对数据进行删除，以释放缓存的存储空间，因此，相对于现有技术只能随机删除数据的方案而言，大大提高了操作的灵活性，可以为不同数据提供不同级别的保护，从而避免重要数据被误删，有利于为后续的计算提供准确的数据，可以改善计算效果，提高投放精准性。【附图说明】为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a是本专利技术实施例提供的信息推荐系统的示意图；图1b是本专利技术实施例提供的缓存数据处理方法的流程图；图2a是本专利技术实施例提供的缓存数据处理方法的另一流程图；图2b是本专利技术实施例提供的缓存数据处理方法中删除操作的示意图；图3是本专利技术实施例提供的缓存数据处理方法的又一流程图；图4a是本专利技术实施例提供的缓存数据处理装置的结构示意图；图4b是本专利技术实施例提供的缓存数据处理装置的另一结构示意图；图4c是本专利技术实施例提供的缓存数据处理装置的又一结构示意图。【具体实施方式】下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种缓存数据处理方法、装置和系统。如图1a所示，该信息推荐系统可以包括数据接收模块、缓存模块、计算模块和信息投放模块；以广告为例，其中，数据接收模块主要用于获取需要进行投放的广告数据，然后将这些广告数据缓存在缓存模块中，由计算模块从缓存模块中获取所需的广告数据进行计算，然后再由信息投放模块根据计算结果进行广告投放。由于缓存模块中的存储空间是有限的，因此，在已使用空间超过预置阈值时，对空间进行释放是十分必要的。本专利技术实施例所提供的任一种缓存数据处理装置，正是可以集成在该缓存模块中，主要用于对缓存的存储空间进行监控，在确定缓存的已使用空间超过预置阈值时，确定该缓存中是否存在超时的数据，若存在超时的数据，则删除该超时的数据；若不存在超时的数据，则根据数据优先级从低到高的顺序依次删除数据，直至该缓存的已使用空间低于该预置阈值，从而实现对缓存空间的释放。当然，该缓存数据处理装置也可以以独立的实体存在，另外，需说明的是，在该信息推荐系统中，还可以包括其他的模块(在图1a中并未示出)，在此不再列举。以下将分别进行详细说明。实施例一、本实施例中将从缓存数据处理装置的角度进行描述，该缓存数据处理装置具体可以集成在信息推荐系统的服务器或其他设备中。—种缓存数据处理方法，包括:对缓存的存储空间进行监控；若根据监控结果确定缓存的已使用空间超过预置阈值，则确定该缓存中是否存在超时的数据；若存在超时的数据，则删除该超时的数据；若不存在超时的数据，则根据数据优先级从低到高的顺序依次删除数据，直至该缓存的已使用空间低于该预置阈值。如图1b所示，该缓存数据处理方法的具体流程可以如下:101、对缓存的存储空间进行监控。例如，具体可以启动并调用监控进程，利用该监控进程对缓存的存储空间进行监控，等等。其中，监控的方式可以由多种，可以根据实际应用的需求而定，在此不再赘述。102、若根据监控结果确定缓存的已使用空间超过预置阈值，则确定该缓存中是否存在超时的数据；若存在超时的数据，则删除该超时的数据；若不存在超时的数据，则根据数据优先级从低到高的顺序依次删除数据，直至该缓存的已使用空间低于该预置阈值。其中，该预置阈值可以根据实际应用的需求进行设置，在此不再赘述。其中，根据存储方式的不同，步骤102的处理方式也会有所区别，例如，具体可以采用如下任意一种方式:(I)第一种方式；查找超时链表，以确定是否存在超时的数据节点；若存在超时的数据节点，则删除该超时链表中超时的数据节点；若不存在超时的数据节点，则查找优先级链表，按照数据优先级从低到高的顺序依次删除该优先级链表中的数据节点，直至该缓存的已使用空间低于该预置阈值。其中，优先级链表可以在系统启动时，根据配置的数据优先级信息来进行创建。即在步骤“对缓存的存储空间进行监控”之本文档来自技高网...

【技术保护点】
一种缓存数据处理方法，其特征在于，包括：对缓存的存储空间进行监控；若根据监控结果确定缓存的已使用空间超过预置阈值，则确定所述缓存中是否存在超时的数据；若存在超时的数据，则删除所述超时的数据；若不存在超时的数据，则根据数据优先级从低到高的顺序依次删除数据，直至所述缓存的已使用空间低于所述预置阈值。

【技术特征摘要】

【专利技术属性】
技术研发人员：缪承志，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东;44