一种数据查询处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据查询处理方法及装置，方法包括：根据当前的查询时间间隔对待查询数据进行查询，并获取当前的查询时间间隔的查询执行时间和查询结果数据量；若查询执行时间大于时间阈值，则根据查询时间间隔、查询执行时间和时间阈值确定第一查询时间间隔；若查询结果数据量大于数据量阈值，则根据查询时间间隔、查询结果数据量和数据量阈值确定第二查询时间间隔；进一步确定更新后的查询时间间隔，并对待查询数据继续查询。通过时间阈值和数据量阈值判断当前的查询时间间隔内的查询执行时间和查询结果数据量是否符合要求，当不符合时及时调整查询时间间隔，进而限制查询的数据量，避免内存占用过大而溢出，保障了各程序的正常运行。

A Data Query Processing Method and Device

【技术实现步骤摘要】
一种数据查询处理方法及装置
本专利技术实施例涉及计算机
，具体涉及一种数据查询处理方法及装置。
技术介绍
随着计算机技术的飞速发展，计算机能够存储的数据量越来越大，在进行数据处理的过程中，需要对现有系统中的大规模的表数据进行查询，通常采用一次性查询全部数据，或者采用定长的查询步长，但是无法控制查询的数据量，也无法限制程序内存的占用大小，容易出现内存不足进而导致内存溢出的情况。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提出一种数据查询处理方法及装置。第一方面，本专利技术实施例提出一种数据查询处理方法，包括：根据当前的查询时间间隔对待查询数据进行查询，并获取当前的查询时间间隔的查询执行时间和查询结果数据量；若判断获知所述查询执行时间大于时间阈值，则根据当前的查询时间间隔、所述查询执行时间和所述时间阈值确定第一查询时间间隔；若判断获知所述查询结果数据量大于数据量阈值，则根据当前的查询时间间隔、所述查询结果数据量和所述数据量阈值确定第二查询时间间隔；根据所述第一查询时间间隔和所述第二查询时间间隔确定更新后的查询时间间隔，并根据更新后的查询时间间隔对待查询数据进行查询。第二方面，本专利技术实施例还提出一种数据查询处理装置，包括：数据获取模块，用于根据当前的查询时间间隔对待查询数据进行查询，并获取当前的查询时间间隔的查询执行时间和查询结果数据量；第一时间判断模块，用于若判断获知所述查询执行时间大于时间阈值，则根据当前的查询时间间隔、所述查询执行时间和所述时间阈值确定第一查询时间间隔；第一数据量判断模块，用于若判断获知所述查询结果数据量大于数据量阈值，则根据当前的查询时间间隔、所述查询结果数据量和所述数据量阈值确定第二查询时间间隔；时间间隔更新模块，用于根据所述第一查询时间间隔和所述第二查询时间间隔确定更新后的查询时间间隔，并根据更新后的查询时间间隔对待查询数据进行查询。第三方面，本专利技术实施例还提出一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。第四方面，本专利技术实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。由上述技术方案可知，本专利技术实施例通过时间阈值和数据量阈值判断当前的查询时间间隔内的查询执行时间和查询结果数据量是否符合要求，当不符合时及时调整查询时间间隔，进而限制查询的数据量，避免内存占用过大而溢出，保障了各程序的正常运行。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1为本专利技术一实施例提供的一种数据查询处理方法的流程示意图；图2为本专利技术另一实施例提供的一种数据查询处理方法的流程示意图；图3为本专利技术一实施例提供的一种数据查询处理装置的结构示意图；图4为本专利技术一实施例提供的电子设备的逻辑框图。具体实施方式下面结合附图，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。图1示出了本实施例提供的一种数据查询处理方法的流程示意图，包括：S101、根据当前的查询时间间隔对待查询数据进行查询，并获取当前的查询时间间隔的查询执行时间和查询结果数据量。其中，所述查询时间间隔为数据查询的周期，也称为查询时间步长。例如查询时间间隔为2s，则分别在0s、2s、4s、6s……时刻执行一次数据查询。所述待查询数据为当前系统中需要进行查询的所有数据。所述查询执行时间为当前的查询时间间隔内完成本次数据查询所用的时间。所述查询结果数据量为当前的查询时间间隔内完成本次数据查询的数据量。S102、若判断获知所述查询执行时间大于时间阈值，则根据当前的查询时间间隔、所述查询执行时间和所述时间阈值确定第一查询时间间隔。其中，所述时间阈值为预先设置的用于配置执行查询任务执行时间的最大值，单位是毫秒，如15000毫秒。当查询任务执行时间达到此值，表示查询数据量太大，执行后续查询任务应降低查询时间间隔。所述第一查询时间间隔为根据查询执行时间判断得到的查询时间间隔。S103、若判断获知所述查询结果数据量大于数据量阈值，则根据当前的查询时间间隔、所述查询结果数据量和所述数据量阈值确定第二查询时间间隔。其中，所述数据量阈值为预先设置的用于配置查询结果包含数据条数的最大值，单位是条，如100000条。当执行查询结果数据量达到此值，表示查询数据量太大，执行后续查询任务应降低查询时间间隔。所述第二查询时间间隔为根据查询结果数据量判断得到的查询时间间隔。S104、根据所述第一查询时间间隔和所述第二查询时间间隔确定更新后的查询时间间隔，并根据更新后的查询时间间隔对待查询数据进行查询。其中，所述更新后的查询时间间隔为下一查询周期所采用的查询时间间隔。具体地，在初始状态时，设置了初始的查询时间阈值和查询数据量阈值，当一个查询周期执行结束时，记录本次查询所执行的实际时间，即为所述查询执行时间，记录本次查询所查询到的数据量，即为所述查询结果数据量。在下一个查询周期内，将根据上一查询周期的查询执行时间和查询结果数据量调整查询时间步长。举例来说，在当前的查询任务，查询时间阈值为15000毫秒，查询数据量阈值为100000条，初始查询间隔600000毫秒。第一次查询时间间隔为600000毫秒，完成时，查询执行时间为13000毫秒，查询结果数据量为80000条，于是，将第二个查询时间间隔设置为min(692307，750000)毫秒。在第二个查询时间间隔内，采用692307毫秒的查询时间步长继续查询，查询执行时间为16000毫秒，查询结果数据量为120000条，于是，将第三个查询时间间隔设置为min(649037，576922)毫秒……如此循环，直至全部的待查询数据查询完毕。本实施例通过时间阈值和数据量阈值判断当前的查询时间间隔内的查询执行时间和查询结果数据量是否符合要求，当不符合时及时调整查询时间间隔，进而限制查询的数据量，避免内存占用过大而溢出，保障了各程序的正常运行。进一步地，在上述方法实施例的基础上，所述方法还包括：S105、若判断获知所述查询执行时间小于或等于时间阈值，则所述第一查询时间间隔增大第一预设时间段。S106、若判断获知所述查询结果数据量小于或等于数据量阈值，则所述第二查询时间间隔增大第二预设时间段。举例来说，在当前的查询时间间隔600000毫秒内，查询时间阈值为15000毫秒，查询数据量阈值为100000条。当完成数据查询时，用了13000毫秒，则该查询时间间隔的查询执行时间为13000毫秒。由于13000毫秒＜15000毫秒，因此第一查询时间间隔为692307毫秒。在另一实施例中，在当前的查询时间间隔600000毫秒内，查询时间阈值为15000毫秒，查询数据量阈值为100000条。当完成数据查询时，查询了80000条数据，则该查询时间间隔的查询结果数据量为80000条本文档来自技高网...

【技术保护点】
1.一种数据查询处理方法，其特征在于，包括：根据当前的查询时间间隔对待查询数据进行查询，并获取当前的查询时间间隔的查询执行时间和查询结果数据量；若判断获知所述查询执行时间大于时间阈值，则根据当前的查询时间间隔、所述查询执行时间和所述时间阈值确定第一查询时间间隔；若判断获知所述查询结果数据量大于数据量阈值，则根据当前的查询时间间隔、所述查询结果数据量和所述数据量阈值确定第二查询时间间隔；根据所述第一查询时间间隔和所述第二查询时间间隔确定更新后的查询时间间隔，并根据更新后的查询时间间隔对待查询数据进行查询。

【技术特征摘要】
1.一种数据查询处理方法，其特征在于，包括：根据当前的查询时间间隔对待查询数据进行查询，并获取当前的查询时间间隔的查询执行时间和查询结果数据量；若判断获知所述查询执行时间大于时间阈值，则根据当前的查询时间间隔、所述查询执行时间和所述时间阈值确定第一查询时间间隔；若判断获知所述查询结果数据量大于数据量阈值，则根据当前的查询时间间隔、所述查询结果数据量和所述数据量阈值确定第二查询时间间隔；根据所述第一查询时间间隔和所述第二查询时间间隔确定更新后的查询时间间隔，并根据更新后的查询时间间隔对待查询数据进行查询。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若判断获知所述查询执行时间小于或等于时间阈值，则所述第一查询时间间隔增大第一预设时间段。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：若判断获知所述查询结果数据量小于或等于数据量阈值，则所述第二查询时间间隔增大第二预设时间段。4.根据权利要求1所述的方法，其特征在于，所述根据当前的查询时间间隔对待查询数据进行查询，并获取当前的查询时间间隔的查询执行时间和查询结果数据量之前，还包括：根据区间字段范围、待查询数据和数据量阈值确定初始的查询时间间隔；其中，所述区间字段范围为区间最大值和区间最小值之差。5.根据权利要求1所述的方法，其特征在于，所述根据当前的查询时间间隔、所述查询执行时间和所述时间阈值确定第一查询时间间隔，具体包括：第一查询时间间隔＝(当前的查询时间间隔/所述查询执行时间)×所述时间阈值。6.根据权利要求1所述的方法，其特征在于，所述根据当前的查询时间间隔、所述查询结果数据量和所述数据量阈值确定第二查询时间间隔，具体包括：第二查询时间间隔＝(当前的查询时间间隔/所述查询结果数据量)×所述数据量阈值。7.根据权利要求1所述的方法，其特征在于，所述根据所述第一查询时间间隔和所述第二查询时间间隔确定更新后的查询时间间隔，并根据更新后的查询时间间隔对待查询数据进行查询，具体包括：选择所述第一查询时间间隔和所述第二查询时间间隔中的最小值作为更新后的查询时间间隔，并根据更新后的查询时间间隔对待查询数据进行查询。8.一种数据查询处理装置，其特征在于，包括：数据获取模块，用于根据当前的查询时间间隔对待查询数据进行查询，...

【专利技术属性】
技术研发人员：王彬，覃永靖，程诗尧，
申请(专利权)人：北京奇安信科技有限公司，
类型：发明
国别省市：北京,11