用于查询数据的方法、设备和介质技术

技术编号:32349422 阅读:60 留言:0更新日期:2022-02-20 02:13
本公开的实施例涉及用于查询数据的方法、设备和介质,所述方法包括:将所接收的关于待查询数据的语句转换为数据查询服务所使用的语句;解析所转换的语句,以便获取所述待查询数据的数据特征,所述数据特征包括所述待查询数据的数据索引、数据类型中的至少一项;基于所获取的数据特征,根据数据特征算法确定应用于所述待查询数据的数据查询服务以及数据服务集群;以不同的消息通信机制采用所述数据查询服务在所述数据服务集群中查询所述待查询数据,以便获取所述待查询数据的查询反馈以及查询结果;以及根据所获取的查询反馈,动态提供待查询数据的查询结果。供待查询数据的查询结果。供待查询数据的查询结果。

【技术实现步骤摘要】
用于查询数据的方法、设备和介质


[0001]本公开的实施例总体涉及数据处理领域,并且更具体地涉及一种用于查询数据的方法、计算设备和计算机可读存储介质。

技术介绍

[0002]随着互联网的快速发展,信息量的不断增加,每天产生的数据以 TB (TeraByte)级的规模增长。随着数据的不断增长,单一的查询索引或缓存已不能满足快速变化的用户请求。需要针对复杂的业务提供优化的组合查询技术,以提高数据查询性能。
[0003]目前,现有技术中存在快速查询数据的搜索引擎,例如ElasticSearch、Solr等查询工具。这些工具可以实现数据(GB级)的快速查询,例如,在1秒响应时间内查询GB级的数据。然而这样的搜索引擎对数据存储的要求比较高。如果需要快速反馈查询结果,数据需要存储在高速读取的存储集群设备(例如,固态硬盘SSD)中。
[0004]大数据存储集群可以应用于TB级以上的数据存储。现有的大数据存储集群(例如,Hadoop集群)一般采用单一的机械硬盘作存储。在大数据存储集群中执行查询可能查询时间较长。随着数据不断积累,数据存量可能达到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于查询数据的方法,包括:将所接收的关于待查询数据的语句转换为数据查询服务所使用的语句;解析所转换的语句,以便获取所述待查询数据的数据特征,所述数据特征包括所述待查询数据的数据索引、数据类型中的至少一项;基于所获取的数据特征,根据数据特征算法确定应用于所述待查询数据的数据查询服务以及数据服务集群;以不同的消息通信机制采用所述数据查询服务在所述数据服务集群中查询所述待查询数据,以便获取所述待查询数据的查询反馈以及查询结果;以及根据所获取的查询反馈,动态提供待查询数据的查询结果。2.根据权利要求1所述的方法,其中根据数据特征算法确定应用于所述待查询数据的数据查询服务以及数据服务集群包括:响应于所获取的数据特征是数据索引,根据所述待查询数据的活跃度阈值将所述待查询数据确定为第一活跃型数据或者第二活跃型数据,其中第一活跃型数据的活跃度大于第二活跃型数据的活跃度;响应于所获取的数据特征是数据类型,根据待查询数据的对象类型将待查询数据确定为结构型数据或者非结构型数据;以及响应于所获取的数据特征是数据索引和数据类型,根据所述数据的活跃度阈值以及对象类型将所述数据确定为以下数据中的一类:结构第一活跃型数据、结构第二活跃型数据、非结构第一活跃型数据以及非结构第二活跃型数据。3.根据权利要求2所述的方法,响应于所获取的数据特征是数据索引还包括基于待查询数据的时间维度、大小、所属文件类型采用活跃度计算公式计算所述待查询数据的活跃度。4.根据权利要求2所述的方法,响应于所获取的数据特征是数据类型还包括基于所确定的结构型数据和非结构型数据的模型采用学习算法判断待查询数据的对象类型。5.根据权利要求2

4中任一项所述的方法,其中根据数据特征算法确定应用于所述待查询数据的数据查询服务以及数据服务集群包括:响应于待查询数据被确定为第一活跃型数据或者结构型数据,确定第一数据查询服务以及实时数据服务集群应用于所述数据;响应于待查询数据被确定为第二活跃型数据或者非结构性型数据,确定第一数据查询服务或第二数据查询服务以及大数据服务集群应用于所述数据;响应于待查询数据被确定为结构第一活跃型数据、结构第二活跃型数据以及非结构第一活跃型数据,确定第一...

【专利技术属性】
技术研发人员:周凯邓丽敏李颖柳蒙蒙仝凯元
申请(专利权)人:通联支付网络服务股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1