一种数据存储结构、数据存储查询方法、终端及介质技术

本发明专利技术属于数据存储技术领域，具体涉及一种数据存储结构、数据存储查询方法、终端及介质，包括硬盘的冷数据集群、内存的热数据集群和内存的ID收录集群；所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；所述ID收录集群，用于存储设备ID。本发明专利技术将广告人群数据进行冷热数据区分，将频繁出现在互联网上的设备数据存储在内存的热数据集群中，一段时间不在互联网上出现的设备数据存储在成本较低的硬盘的冷数据集群中，从而充分利用了资源、节约了存储成本。

【技术实现步骤摘要】
一种数据存储结构、数据存储查询方法、终端及介质
本专利技术属于数据存储
，具体涉及一种数据存储结构、数据存储查询方法、终端及介质。
技术介绍
广告程序化交易对API请求的实时性要求非常高，大部分ADX(广告交易平台)都要求DSP在100ms以内完成请求的响应，请求的频率非常高，请求的数据量非常大，在API端往往需要在内存中缓存广告的人群数据，这部分数据量往往非常大，随着内存成本的水涨船高，这部分的资源消耗也成为广告程序化交易服务的一大资源开销。在程序化广告交易的竞价流量中，程序逻辑一般会通过广告流量中的设备ID获取该设备的设备数据，设备数据是一个比较庞大的集群，设备ID的量也非常大，一般在10亿规模以上，如此大规模的数据需要非常大的存储空间。为了加快API的响应效率，我们一般会把数据存储在内存中，当然这也造成了非常高的存储成本。通过观察发现，因为网民更换手机设备等原因，一部分的设备将不会再出现在互联网上，还有部分网民上网的频率比较低，如果我们一直将这部分数据存储在内存中，将会造成资源的浪费和成本的增加。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了一种数据存储结构、数据存储查询方法、终端及介质，将广告人群数据进行冷热数据区分，将频繁出现在互联网上的设备数据存储在内存的热数据集群中，一段时间不在互联网上出现的设备数据存储在成本较低的硬盘的冷数据集群中，从而充分利用了资源、节约了存储成本。第一方面，本专利技术提供了一种数据存储结构，包括硬盘的冷数据集群、内存的热数据集群和内存的ID收录集群；所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；所述ID收录集群，用于存储设备ID。第二方面，本专利技术提供了一种数据存储查询方法，基于第一方面所述的数据存储结构，包括以下步骤：获取广告请求，根据广告请求得到设备ID；查询ID收录集群；判断ID收录集群是否存储有设备ID，若是，查询热数据集群，若否，将广告请求反馈给广告出价单元；判断热数据集群是否存储有与设备ID相关的设备数据，若是，将设备数据反馈给广告出价单元，若否，则查询冷数据集群；将从冷数据集群中查询到的设备数据反馈给广告出价单元，并将设备数据作为活跃数据更新到热数据集群中；根据当前设备数据被查询的时间作为初始时间，判断在设置的时间阈值T内，设备数据是否被再次查询，若否，将设备数据从热数据集群中删除。优选地，在获取广告请求前，还包括获取设备数据，将设备数据存入冷数据集群，将设备ID存入ID收录集群。优选地，所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；所述ID收录集群，用于存储设备ID。优选地，所述冷数据集群采用Pika数据库，热数据集群和ID收录集群采用Redis数据库。优选地，所述将设备ID存入ID收录集群具体为：ID收录集群根据设备ID进行hash计算得到键值，将键值标识为1作为hash表的一个数据项进行存储。优选地，所述hash计算具体为：将设备ID做CRC32运算并得到运算结果，将运算结果对1500万进行取模得到键值。第三方面，本专利技术提供了一种终端，包括处理器和与处理器连接的存储器，其中，存储器用于存储计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，执行第二方面所述的方法。第四方面，本专利技术提供了一种计算机可读存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行第二方面所述的方法。本专利技术的有益效果为：本专利技术将广告人群数据进行冷热数据区分，将频繁出现在互联网上的设备数据存储在内存的热数据集群中，一段时间不在互联网上出现的设备数据存储在成本较低的硬盘的冷数据集群中，从而充分利用了资源、节约了存储成本。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1为本实施例中数据存储查询方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。实施例一：实施例一提供了一种数据存储结构，包括硬盘的冷数据集群、内存的热数据集群和内存的ID收录集群；所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；所述ID收录集群，用于存储设备ID。众所周知，内存的访问速度非常快，可以承受很高的吞吐量，相比之下，固态硬盘的访问速度比内存要慢得多，吞吐量也低得多，如果同一时间有大量请求涌进冷数据集群中，那么可能会把整个集群给压垮。所以，本技术方案让一部分请求命中内存的热数据集群，让另一部分请求命中硬盘的冷数据集群。热数据集群用来存储最近几天活跃过的设备数据(即活跃数据)，让大部分的请求都命中到热数据集群。冷数据集群存储有全部的设备数据，当在热数据集群中查询不到数据时，就到冷数据集群中重新查询数据。考虑到如果同一时间有大量未收录的广告请求进来时，这大量的请求会涌进冷数据集群，最终可能导致冷数据集群被压垮，所以本技术方案设有一个集群来记录收录了的设备ID，这样就可以过滤掉未收录的设备ID，从而禁止这些请求进入冷数据集群。综上所述，本实施例将广告人群数据进行冷热数据区分，将频繁出现在互联网上的设备数据存储在内存的热数据集群中，一段时间不在互联网上出现的设备数据存储在成本较低的硬盘的冷数据集群中，从而充分利用了资源、节约了存储成本。实施例二：实施例二提供了一种数据存储查询方法，基于第一方面所述的数据存储结构，如图1所示，包括以下步骤：S1，获取设备数据，将设备数据存入冷数据集群，将设备ID存入ID收录集群。S2，获取广告请求，根据广告请求得到设备ID；S3，查询ID收录集群；S4，判断ID收录集群是否存储有设备ID，若是，查询热数据集群，若否，将广告请求反馈给广告出价单元；S5，判断热数据集群是否存储有与设备ID相关的设备数据，若是，将设备数据本文档来自技高网...

【技术保护点】
1.一种数据存储结构，其特征在于，包括硬盘的冷数据集群、内存的热数据集群和内存的ID收录集群；所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；所述ID收录集群，用于存储设备ID。

【技术特征摘要】
1.一种数据存储结构，其特征在于，包括硬盘的冷数据集群、内存的热数据集群和内存的ID收录集群；所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；所述ID收录集群，用于存储设备ID。2.一种数据存储查询方法，基于权利要求1所述的数据存储结构，其特征在于，包括以下步骤：获取广告请求，根据广告请求得到设备ID；查询ID收录集群；判断ID收录集群是否存储有设备ID，若是，查询热数据集群，若否，将广告请求反馈给广告出价单元；判断热数据集群是否存储有与设备ID相关的设备数据，若是，将设备数据反馈给广告出价单元，若否，则查询冷数据集群；将从冷数据集群中查询到的设备数据反馈给广告出价单元，并将设备数据作为活跃数据更新到热数据集群中；根据当前设备数据被查询的时间作为初始时间，判断在设置的时间阈值T内，设备数据是否被再次查询，若否，将设备数据从热数据集群中删除。3.根据权利要求2的一种数据存储查询方法，其特征在于，在获取广告请求前，还包括获取设备数据，将设备数据存入冷数据集群，将设备ID存入ID收录集群。4.根据权利要求3所述的一种数据存储查...

【专利技术属性】
技术研发人员：谢泽帆，张清元，蔡俊涛，罗伟东，
申请(专利权)人：吉浦斯信息咨询深圳有限公司，
类型：发明
国别省市：广东,44