数据存储方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于数据处理技术领域，提供了数据存储方法、装置、终端设备及存储介质，包括：获取数据，并记录所述数据的时间戳信息，所述数据为时序型数据；将所述数据作为热数据保存至热数据存储节点，并同时保存至冷数据存储节点；其中，所述热数据存储节点用于响应热数据的查询请求；所述冷数据存储节点用于响应冷数据的查询请求；若检测到所述数据的保存时长超出预设的热数据保存时长，则判定所述数据为冷数据，并将所述数据从所述热数据存储节点删除，其中所述数据的保存时长根据所述数据的时间戳信息确定。本申请实施例能够通过有序有效的数据存储来保证之后的数据查询效率。的数据存储来保证之后的数据查询效率。的数据存储来保证之后的数据查询效率。

【技术实现步骤摘要】
数据存储方法、装置、终端设备及存储介质


[0001]本申请属于数据处理
，尤其涉及一种数据存储方法、装置、终端设备及存储介质。

技术介绍

[0002]在生活中，常常需要持续监测并记录同一目标在时间维度上的状态数据，例如持续记录同一指定区域在不同时间点的监控图像数据、同一地区在不同时间点的气象数据等，该同一目标在时间维度上的状态数据可以称为时序型数据。由于随着时间的推移，会不断产生新的时序型数据(即新的时间点对应的状态数据)，因此时序型数据的数据量通常比较庞大。
[0003]在现有技术中，通常是将时序型数据进行集中存储或者通过随机无序的数据分片的方式进行存储，然而由于时序型数据的数据量庞大，现有的存储方式会导致之后的数据查询效率较低。

技术实现思路

[0004]有鉴于此，本申请实施例提供了数据存储方法、装置、终端设备及存储介质，以解决现有技术中由于数据量庞大的时序型数据的存储不当，导致后续的数据查询效率较低的问题。
[0005]本申请实施例的第一方面提供了一种数据存储方法，包括：
[0006]获取数据，并记录所述数据的时间戳信息，所述数据为时序型数据；
[0007]将所述数据作为热数据保存至热数据存储节点，并同时保存至冷数据存储节点；其中，所述热数据存储节点用于响应热数据的查询请求；所述冷数据存储节点用于响应冷数据的查询请求；
[0008]若检测到所述数据的保存时长超出预设的热数据保存时长，则判定所述数据为冷数据，并将所述数据从所述热数据存储节点删除，其中所述数据的保存时长根据所述数据的时间戳信息确定。
[0009]本申请实施例的第二方面提供了一种数据存储装置，包括：
[0010]数据获取单元，用于获取数据，并记录所述数据的时间戳信息，所述数据为时序型数据；
[0011]数据保存单元，用于将所述数据作为热数据保存至热数据存储节点，并同时保存至冷数据存储节点；其中，所述热数据存储节点用于响应热数据的查询请求；所述冷数据存储节点用于响应冷数据的查询请求；
[0012]删除单元，用于若检测到所述数据的保存时长超出预设的热数据保存时长，则判定所述数据为冷数据，并将所述数据从所述热数据存储节点删除，其中所述数据的保存时长根据所述数据的时间戳信息确定。
[0013]本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在
所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，使得终端设备实现如所述数据存储方法的步骤。
[0014]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得终端设备实现如所述数据存储方法的步骤。
[0015]本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如第一方面中所述的数据存储方法的步骤。
[0016]本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，考虑到在时序型数据中，通常较新存储的数据(即保存时长较短)为经常被查询的热数据，因此根据数据的保存时长来区分该数据为热数据还是冷数据，使得热数据特别区分保存于专门用于响应热数据的查询请求的热数据存储节点中，从而保证数据的查询效率。具体地，第一方面，将刚获取的数据先作为热数据保存在热数据存储节点中，并在根据时间戳信息确定的数据的保存时长超出热数据保存时长时，将数据判定为冷数据，从热数据存储节点删除，从而使得热数据存储节点只专门保存热数据部分，减少热数据存储节点的数据量，从而减少响应热数据的查询时的检索范围，进而提高热数据查询效率；第二方面，在刚获取数据时，除了将其作为热数据保存在热数据存储节点外，还将其保存在冷数据存储节点中，当数据仍为热数据时，保存于冷数据存储节点中的数据能够作为热数据的备份数据，而当数据超出预设的热数据保存时长被判定为冷数据时，冷数据存储节点仍能够长久保存该数据，以供响应偶尔所需的冷数据的查询请求。综上，本申请实施例通过将数据有策略地控制保存于热数据存储节点、冷数据存储节点中，实现热数据、冷数据的区分存储，控制热数据存储节点保存的数据量，提高热数据的查询效率，同时保证冷数据也能够在需要的时候通过冷数据节点响应查询，因此能够通过有序有效的数据存储来保证之后的数据查询效率。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本申请实施例提供的一种数据存储方法应用场景的示意图
[0019]图2是本申请实施例提供的第一种数据存储方法的实现流程示意图；
[0020]图3是本申请实施例提供的第二种数据存储方法的实现流程示意图；
[0021]图4是本申请实施例提供的一种链表的示意图；
[0022]图5是本申请实施例提供的一种预设表拆分后的链表的示意图；
[0023]图6是本申请实施例提供的一种预设表合并后的链表的示意图；
[0024]图7是本申请实施例提供的一种数据存储装置的示意图；
[0025]图8是本申请实施例提供的终端设备的示意图。
具体实施方式
[0026]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具
体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0027]为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
[0028]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0029]还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0030]还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0031]如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取数据，并记录所述数据的时间戳信息，所述数据为时序型数据；将所述数据作为热数据保存至热数据存储节点，并同时保存至冷数据存储节点；其中，所述热数据存储节点用于响应热数据的查询请求；所述冷数据存储节点用于响应冷数据的查询请求；若检测到所述数据的保存时长超出预设的热数据保存时长，则判定所述数据为冷数据，并将所述数据从所述热数据存储节点删除，其中所述数据的保存时长根据所述数据的时间戳信息确定。2.如权利要求1所述的数据存储方法，其特征在于，所述热数据存储节点存储于固态存储器中，所述冷数据存储节点存储于机械存储器中。3.如权利要求1所述的数据存储方法，其特征在于，在所述若检测到所述数据的保存时长超出预设的热数据保存时长，则判定所述数据为冷数据，并将所述数据从所述热数据存储节点删除之后，还包括：获取查询请求，所述查询请求包含查询时间范围信息；若根据所述查询时间范围信息及所述热数据保存时长确定所述查询请求为热数据的查询请求，则将所述热数据存储节点确定为目标响应节点，否则将所述冷数据存储节点确定为目标响应节点；在所述目标响应节点中查询得到所述查询请求对应的数据。4.如权利要求1所述的数据存储方法，其特征在于，在所述获取数据之前，还包括：每隔预设时间，创建用于存储预设时段的时序型数据的预设表；所述获取数据，并记录所述数据的时间戳信息，包括：在预设时段内持续获取数据，记录所述数据的时间戳信息，并将所述数据及所述数据的时间戳信息对应存储至所述预设表中；对应地，所述将所述数据作为热数据保存至热数据存储节点，并同时保存至冷数据存储节点，包括：将所述预设表中的所有数据作为热数据，并将所述预设表保存至热数据存储节点和冷数据存储节点中；对应地，所述若检测到所述数据的保存时长超出预设的热数据保存时长，则判定所述数据为冷数据，并将所述数据从所述热数据存储节点删除，包括：根据所述预设表中的时间戳信息确定所述预设表中的最大时间戳；根据所述最大时间戳及当前的系统时间戳确定所述预设表对应的保存时长；若检测到所述预设表对应的保存时长大于所述热数据保存时长，则判定所述预设表中的所有数据为冷数据，并将所述预设表从所述热数据存储节点删除。5.如权利要求4所述的数据存储方法，其特征在于，所述冷数据存储节点保存了至少两个所述预设表，所述冷数据存储节点还包括用于记录预设表的信息的链表，所述链表的每个链表节点依次对应一个预设表，每个所述链表节点的节点信息包括相邻链表节点地址指针信息、预设表的标识信息及查询记录信息，其中所述预设表的标识信息用于按序确定所述链表节点与所述预设表的对应关系，对应地，所述方法还包括：在每个单位时间段内监测各个预设表的查询记录信息，并将所述查询记录信息存储至
所述预设表对应的所述链表节点中，其中所述查询记录信息至少包括查询耗时；若检测到所述链表节点中存在耗时节点，则将所述耗时节点对应的预设表拆分为L个更新后的预设表，其中所述耗时节点为存储的所述查询耗时大于预设耗时阈值的链表节点，所述L为根据所述查询耗时及所述预设耗时阈值确定的大于1的正整数；根据所述L个更新后的预设表，在所述链表中的所述耗时节点之后插入(L-1)个新建的链表节点，并分别为所述新建的链表节点、所述耗时节点、以及所述耗时节点的下一个链表节点设置各自对应的所述节点信息，以完成对所述链表的更新。6.如权利要求5所述的数据存储方法，其特征在于，所述查询记录信息还包括单位时间段内的查询次数，对应地，在所述在每个单位时间段内监测各个预设表的查询记录信息，并将所述查询记录信息存储至所述预设表对应的所述链表节点中之后，还包括：若检测到所述链表节点中存在目标节点，则根据所述目标节点的相邻链表节点地址指针信息，获取第一相邻链表节点的节点信息；所述目标节点为存储的所述查询次数为0或者小于第一预设次数的链表节点，所述第一相邻链表节点为与所述目标节点相邻的链表节点；将所述节点信息符合预设条件的所述第一相邻链表节点确定为待删除节点，并将所述目标节点对应的第一预设表与所述待删除节点对应的...

【专利技术属性】
技术研发人员：刘国伟，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：