一种提高单表大量数据查询效率的方法技术

技术编号:37846650 阅读:24 留言:0更新日期:2023-06-14 22:31
本发明专利技术涉及数据查询技术领域,且公开了一种提高单表大量数据查询效率的方法,包括以下步骤:S1:发送请求,在需要查询数据时,首先发送请求到service;S2:解析装置,在收到请求后,经过解析装置获取配置动态获取线程,再通过并行调用装置对数据库程序发起调用,收到响应之后通过数据归并解析装置处理数据,最后将数据返回给到调用方;S3:处理。本发明专利技术通过设计配置模块、并行解析装置、数据调用装置、数据归并解析装置、等一整套机制运作,最终通过并行解析装置对Java服务端调用数据库的连接数量进行管理,可在Java端连接数量进行动态调节,可以解决单次查询只有一个线程工作的问题,提高性能。能。能。

【技术实现步骤摘要】
一种提高单表大量数据查询效率的方法


[0001]本专利技术涉及数据查询
,具体为一种提高单表大量数据查询效率的方法。

技术介绍

[0002]因业务需要,需满足单表单次大批量数据统计的业务场景,从数据库表读取大量数据接入,经过数据处理和转换、统计等处理后,在通过http将数据返回给调用者。
[0003]现有技术中,Java服务端通过ORM框架调用数据库查询,为每个查询创建一个线程发送TCP请求,在数据库程序处理完数据查询结果集,将数据集返回到Java服务端;单线程查询数据,数据量小的时候不会出现问题,数据量大的时候,从数据查询请求发送到收到响应随着数据量增加而恐怖增加;长久的等待,无法满足业务需求,排除网络问题,一个查询对应一个线程存在性能问题,因此提出一种提高单表大量数据查询效率的方法。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足,本专利技术提供了一种提高单表大量数据查询效率的方法,解决了从数据查询请求发送到收到响应随着数据量增加而恐怖增加;长久的等待,无法满足业务需求,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高单表大量数据查询效率的方法,其特征在于,包括以下步骤:S1:发送请求,在需要查询数据时,首先发送请求到service;S2:解析装置,在收到请求后,经过解析装置获取配置动态获取线程,再通过并行调用装置对数据库程序发起调用,收到响应之后通过数据归并解析装置处理数据,最后将数据返回给到调用方;S3:处理,Java服务端通过MVC接收请求,在service中进行主要处理;S4:获取配置,解析装置通过算法将参数、配置生成此次查询所需线程数量;S5:查询,并行装置根据线程数1:1生成进行调用数据库应用查询,最后数据归并解析装置将并行调用装置获取到的数据进行汇总、处理返回给调用者。2.根据权利要求1所述的一种提高单表大量数据查询效率的方法,其特征在于,所述S2中包括解析装置,且解析装置连接有数据接收模块...

【专利技术属性】
技术研发人员:陶龙都
申请(专利权)人:辛巴网络科技南京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1