一种提高单表大量数据查询效率的方法技术

本发明专利技术涉及数据查询技术领域，且公开了一种提高单表大量数据查询效率的方法，包括以下步骤：S1：发送请求，在需要查询数据时，首先发送请求到service；S2：解析装置，在收到请求后，经过解析装置获取配置动态获取线程，再通过并行调用装置对数据库程序发起调用，收到响应之后通过数据归并解析装置处理数据，最后将数据返回给到调用方；S3：处理。本发明专利技术通过设计配置模块、并行解析装置、数据调用装置、数据归并解析装置、等一整套机制运作，最终通过并行解析装置对Java服务端调用数据库的连接数量进行管理，可在Java端连接数量进行动态调节，可以解决单次查询只有一个线程工作的问题，提高性能。能。能。

【技术实现步骤摘要】
一种提高单表大量数据查询效率的方法


[0001]本专利技术涉及数据查询
，具体为一种提高单表大量数据查询效率的方法。

技术介绍

[0002]因业务需要，需满足单表单次大批量数据统计的业务场景，从数据库表读取大量数据接入，经过数据处理和转换、统计等处理后，在通过http将数据返回给调用者。
[0003]现有技术中，Java服务端通过ORM框架调用数据库查询，为每个查询创建一个线程发送TCP请求，在数据库程序处理完数据查询结果集，将数据集返回到Java服务端；单线程查询数据，数据量小的时候不会出现问题，数据量大的时候，从数据查询请求发送到收到响应随着数据量增加而恐怖增加；长久的等待，无法满足业务需求，排除网络问题，一个查询对应一个线程存在性能问题，因此提出一种提高单表大量数据查询效率的方法。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种提高单表大量数据查询效率的方法，解决了从数据查询请求发送到收到响应随着数据量增加而恐怖增加；长久的等待，无法满足业务需求，排除网络问题，一个查询对应一个线程存在性能问题。
[0006](二)技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]一种提高单表大量数据查询效率的方法，包括以下步骤：
[0009]S1：发送请求，在需要查询数据时，首先发送请求到service；
[0010]S2：解析装置，在收到请求后，经过解析装置获取配置动态获取线程，再通过并行调用装置对数据库程序发起调用，收到响应之后通过数据归并解析装置处理数据，最后将数据返回给到调用方；
[0011]S3：处理，Java服务端通过MVC接收请求，在service中进行主要处理；
[0012]S4：获取配置，解析装置通过算法将参数、配置生成此次查询所需线程数量；
[0013]S5：查询，并行装置根据线程数1：1生成进行调用数据库应用查询，最后数据归并解析装置将并行调用装置获取到的数据进行汇总、处理返回给调用者。
[0014]作为本专利技术再进一步的方案，所述S2中包括解析装置，且解析装置连接有数据接收模块、配置模块、数据调用装置。
[0015]进一步的，所述S2中解析装置包括并行解析装置和数据归并解析装置。
[0016]在前述方案的基础上，所述S3中包括Java接收模块，且Java接收模块作为上行数据的入口。
[0017]进一步的，所述S4中包括配置模块，且配置模块用户根据具体情况自行配置，配置模块与并行解析装置连接，并行解析装置动态生产并行装置。
[0018]在前述方案的基础上，所述S5中包括数据调用装置和数据归并解析装置，数据调
用装置负责调用数据库程序，数据归并解析装置在并行调用数据库之后进行数据的处理、统计、汇总。
[0019](三)有益效果
[0020]与现有技术相比，本专利技术提供了一种提高单表大量数据查询效率的方法，具备以下有益效果：
[0021]1、本专利技术通过技术改造，数据查询性能根据不同数据量可以达到之前的3
‑
10倍以上，根据机器性能以及不同配置可达到更高性能。
[0022]2、本专利技术中，通过设计配置模块、并行解析装置、数据调用装置、数据归并解析装置、等一整套机制运作，最终通过并行解析装置对Java服务端调用数据库的连接数量进行管理，可在Java端连接数量进行动态调节，可以解决单次查询只有一个线程工作的问题，提高性能。
附图说明
[0023]图1为本专利技术提出的一种提高单表大量数据查询效率的方法的流程结构示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]实施例1
[0026]参照图1，一种提高单表大量数据查询效率的方法，包括以下步骤：
[0027]S1：发送请求，在需要查询数据时，首先发送请求到service；
[0028]S2：解析装置，在收到请求后，经过解析装置获取配置动态获取线程，再通过并行调用装置对数据库程序发起调用，收到响应之后通过数据归并解析装置处理数据，最后将数据返回给到调用方。
[0029]本专利技术中，S2中包括解析装置，且解析装置连接有数据接收模块、配置模块、数据调用装置，S2中解析装置包括并行解析装置和数据归并解析装置，S3中包括Java接收模块，且Java接收模块作为上行数据的入口。
[0030]实施例2
[0031]参照图1，一种提高单表大量数据查询效率的方法，包括以下步骤：
[0032]S3：处理，Java服务端通过MVC接收请求，在service中进行主要处理；
[0033]S4：获取配置，解析装置通过算法将参数、配置生成此次查询所需线程数量；
[0034]S5：查询，并行装置根据线程数1：1生成进行调用数据库应用查询，最后数据归并解析装置将并行调用装置获取到的数据进行汇总、处理返回给调用者，通过技术改造，数据查询性能根据不同数据量可以达到之前的3
‑
10倍以上，根据机器性能以及不同配置可达到更高性能。
[0035]本专利技术中，S4中包括配置模块，且配置模块用户根据具体情况自行配置，配置模块与并行解析装置连接，并行解析装置动态生产并行装置，S5中包括数据调用装置和数据归
并解析装置，数据调用装置负责调用数据库程序，数据归并解析装置在并行调用数据库之后进行数据的处理、统计、汇总。
[0036]实施例3
[0037]参照图1，一种提高单表大量数据查询效率的方法，包括以下步骤：
[0038]S1：发送请求，在需要查询数据时，首先发送请求到service；
[0039]S2：解析装置，在收到请求后，经过解析装置获取配置动态获取线程，再通过并行调用装置对数据库程序发起调用，收到响应之后通过数据归并解析装置处理数据，最后将数据返回给到调用方；
[0040]S3：处理，Java服务端通过MVC接收请求，在service中进行主要处理；
[0041]S4：获取配置，解析装置通过算法将参数、配置生成此次查询所需线程数量；
[0042]S5：查询，并行装置根据线程数1：1生成进行调用数据库应用查询，最后数据归并解析装置将并行调用装置获取到的数据进行汇总、处理返回给调用者，通过技术改造，数据查询性能根据不同数据量可以达到之前的3
‑
10倍以上，根据机器性能以及不同配置可达到更高性能。
[0043]本专利技术中，S2中包括解析装置，且解析装置连接有数据接收模块、配置模块、数据调用装置，通过设计配置模块、并行解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高单表大量数据查询效率的方法，其特征在于，包括以下步骤：S1：发送请求，在需要查询数据时，首先发送请求到service；S2：解析装置，在收到请求后，经过解析装置获取配置动态获取线程，再通过并行调用装置对数据库程序发起调用，收到响应之后通过数据归并解析装置处理数据，最后将数据返回给到调用方；S3：处理，Java服务端通过MVC接收请求，在service中进行主要处理；S4：获取配置，解析装置通过算法将参数、配置生成此次查询所需线程数量；S5：查询，并行装置根据线程数1：1生成进行调用数据库应用查询，最后数据归并解析装置将并行调用装置获取到的数据进行汇总、处理返回给调用者。2.根据权利要求1所述的一种提高单表大量数据查询效率的方法，其特征在于，所述S2中包括解析装置，且解析装置连接有数据接收模块...

【专利技术属性】
技术研发人员：陶龙都，
申请(专利权)人：辛巴网络科技南京有限公司，
类型：发明
国别省市：