一种基于时间分片的数据查询方法及系统技术方案

本申请涉及计算机技术领域，具体涉及一种基于时间分片的数据查询方法及系统。所述方法可以包括：接收数据查询请求；所述数据查询请求用于查询在目标页面展示的目标数据；在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成，所述目标页面为界面首页；响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据；在所述目标页面展示所述目标数据。由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待。免用户长时间等待。免用户长时间等待。

【技术实现步骤摘要】
一种基于时间分片的数据查询方法及系统


[0001]本申请涉及计算机
，具体涉及一种基于时间分片的数据查询方法及系统。

技术介绍

[0002]随着近些年来互联网技术的发展，网络中的数据量越来越多，如何快速查询到满足检索条件的数据是急需解决的问题。
[0003]例如，在网络安全场景中，需要利用全流量设备对所部署网络中的所有网络流量进行全量分析和全量存储，供用户进行攻击研判和威胁溯源。然而所有的全流量设备都会面临一个重要问题，即如何快速查询到满足检索条件的数据。

技术实现思路

[0004]有鉴于此，本申请公开一种基于时间分片的数据查询方法。所述方法可以包括：接收数据查询请求；所述数据查询请求用于查询在目标页面展示的目标数据；在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成，所述目标页面为界面首页；响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据；在所述目标页面展示所述目标数据。
[0005]在一些实施例中，在预设了冗余页的情形下，响应于所述数据查询请求，所述方法还包括：在针对所述冗余页已查询到数据的数据量未达到所述冗余页的数据量要求的情形下，对所述数据查询任务进行分片，得到低优先级的若干分片任务，以得到达到所述冗余页的数据量的冗余数据。
[0006]在一些实施例中，所述数据查询请求为响应于翻页操作所生成，所述目标页面为所述翻页操作之后得到的页面；响应于所述数据查询请求，所述方法还包括：在用于查询所述目标数据的分片任务为低优先级的情形下，将用于查询所述目标数据的分片任务为低优先级变更为高优先级。
[0007]在一些实施例中，所述响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据，包括：在已查询到数据中查询所述目标数据；响应于在所述已查询到数据中查询到达到所述目标页面的数据量要求的所述目标数据，完成所述目标数据的查询操作；响应于在所述已查询到数据中未查询到达到所述目标页面的数据量要求的所述目标数据，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。
[0008]在一些实施例中，所述已查询到数据以链表的形式存储；其中，通过所述链表查询当前数据的下一页数据和/或上一页数据。
[0009]在一些实施例中，按照树形结构存储分片任务；其中，子节点对应的分片任务由父
节点对应的任务分片得到；对所述数据查询任务进行时间分片的方法，包括：获取待分片的父级分片任务；在当前分片为针对所述数据查询请求的首次分片的情形下，按照第一预设时长，对所述父级分片任务进行分片，得到分片时长为所述第一预设时长的子级分片任务；在当前分片为针对所述数据查询请求的非首次分片的情形下，根据上一次分片任务所查询到的数据量，对所述父级分片任务进行分片，得到子级分片任务；在已查询到的所述目标数据未达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为高优先级的分片任务；在已查询到的所述目标数据达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为低优先级的分片任务。
[0010]在一些实施例中，所述根据上一次分片任务所查询到的数据量，对所述父级分片任务进行分片，得到子级分片任务，包括：在上一次分片任务所查询到的数据量达到预设数据量的情形下，减小分片时长，根据增加后的分片时长对所述父级分片任务进行分片，得到子级分片任务；在上一次分片任务所查询到的数据量未达到所述预设数据量的情形下，增大分片时长，根据减小后的分片时长对所述父级分片任务进行分片，得到子级分片任务。
[0011]在一些实施例中，所述方法还包括：将所述分片任务查询到的结果数据存储至预设高速缓冲介质；在处理响应于其它数据查询任务切出的其它分片任务的过程中，从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据；响应于在所述预设高速缓冲介质中查询到所述其它分片任务所查询的数据，将查询到的数据确定为所述其它分片任务的查询结果；响应于在所述预设高速缓冲介质中未查询到所述其它分片任务所查询的数据，从数据库中查询相应数据。
[0012]在一些实施例中，所述将所述分片任务查询到的结果数据存储至预设高速缓冲介质，包括：在所述分片任务对应的分片时间段满足预设条件的情形下，将所述分片任务查询到的结果数据存储至预设高速缓冲介质；所述对所述数据查询任务进行时间分片的方法还包括：在当前分片为针对所述数据查询任务的首次分片的情形下，将所述父级分片任务切分为满足所述预设条件的第一子级分片任务，和不满足所述预设条件的第二子级分片任务。
[0013]在一些实施例中，所述分片任务还包括查询规则；所述将所述分片任务查询到的结果数据存储至预设高速缓冲介质，包括：将所述分片时间段和查询规则的第一哈希结果作为KEY，将所述结果数据作为Value，存储至预设高速缓冲介质；所述从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据，包括：利用所述其它分片任务所包括的分片时间段和查询规则的第二哈希结果，查询所述其它分片任务所查询的数据。
[0014]前述实施例记载的方案中，可以在接收到数据查询任务之后，生成针界面首页展示的目标数据的查询请求，并通过切出高优先级的分片任务，优先查询出所述目标数据在首页进行展示。
[0015]由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待，与相关技术相比，对查询逻辑进行了优化，不需要扩大成本，并且优化效果比较明显。
附图说明
[0016]下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。
[0017]图1为本申请实施例示出的一种基于时间分片的数据查询方法的流程示意图。
[0018]图2为本申请示出的一种数据查询方法流程示意图。
[0019]图3为本申请示出的一种分片任务树形结构示意图。
[0020]图4为本申请示出的一种时间分片方法流程示意图。
[0021]图5为本申请实施例示出的一种动态调整分片时长的方法流程示意图。
[0022]图6为本申请示出的一种数据查询方法流程图。
[0023]图7为本申请示出的一种基于时间分片的数据查询系统的结构示意图。
[0024]图8为本申请示出的数据查询流程示意图。
[0025]图9本申请示出的为双向链表示意图。
[0026]图10为本申请示意的基于时间分片的数据查询装置的结构示意图。
具体实施方式
[0027]下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间分片的数据查询方法，其特征在于，所述方法包括：接收数据查询请求；所述数据查询请求用于查询在目标页面展示的目标数据；在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成，所述目标页面为界面首页；响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据；在所述目标页面展示所述目标数据。2.根据权利要求1所述的基于时间分片的数据查询方法，其特征在于，在预设了冗余页的情形下，响应于所述数据查询请求，所述方法还包括：在针对所述冗余页已查询到数据的数据量未达到所述冗余页的数据量要求的情形下，对所述数据查询任务进行分片，得到低优先级的若干分片任务，以得到达到所述冗余页的数据量的冗余数据。3.根据权利要求2所述的基于时间分片的数据查询方法，其特征在于，所述数据查询请求为响应于翻页操作所生成，所述目标页面为所述翻页操作之后得到的页面；响应于所述数据查询请求，所述方法还包括：在用于查询所述目标数据的分片任务为低优先级的情形下，将用于查询所述目标数据的分片任务为低优先级变更为高优先级。4.根据权利要求1所述的基于时间分片的数据查询方法，其特征在于，所述响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据，包括：在已查询到数据中查询所述目标数据；响应于在所述已查询到数据中查询到达到所述目标页面的数据量要求的所述目标数据，完成所述目标数据的查询操作；响应于在所述已查询到数据中未查询到达到所述目标页面的数据量要求的所述目标数据，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。5.根据权利要求4所述的基于时间分片的数据查询方法，其特征在于，所述已查询到数据以链表的形式存储；其中，通过所述链表查询当前数据的下一页数据和/或上一页数据。6.根据权利要求1至5任一所述的基于时间分片的数据查询方法，其特征在于，按照树形结构存储分片任务；其中，子节点对应的分片任务由父节点对应的任务分片得到；对所述数据查询任务进行时间分片的方法，包括：获取待分片的父级分片任务；在当前分片为针对所述数据查询请求的首次分片的情形下，按照第一预设时长，对所述父级分片任务进行分片，得到分片时长为所述第一预设时长的子级分片任务；在当前分片为针对所述数据查询请求的非...

【专利技术属性】
技术研发人员：李宁森，
申请(专利权)人：北京锐服信科技有限公司，
类型：发明
国别省市：