本公开提供一种数据处理方法、装置、介质和计算设备，该方法包括：根据历史查询数据确定K个目标查询对象，K为正整数；预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果，并基于所述K个目标查询对象中每个目标查询对象对应的查询结果构建M个缓存表，M为大于等于1且小于等于K的整数；在接收到针对所述K个目标查询对象中的目标查询对象的查询请求时，更改所述查询请求的查询路径；其中，更改后的所述查询路径指向所述目标查询对象对应的缓存表；基于更改后的所述查询路径获取所述目标查询对象的查询结果。目标查询对象的查询结果。目标查询对象的查询结果。
【技术实现步骤摘要】
一种数据处理方法、装置、介质和计算设备
[0001]本公开涉及数据处理领域，更具体地，本公开涉及一种数据处理方法、装置、介质和计算设备。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]当前社会已经进入信息化、数字化时代，其明显的特征是单位时间产生的数据量越来越多，数据规模越来越大。线上集群一般包括多个节点，用户终端可以通过用于访问数据库的应用程序接口连接到某个节点，该节点根据用户终端提交的结构化查询语言(Structured Query Language，SQL)语句执行查询操作，在查询完成之后该节点会返回查询结果。如果线上集群同时存在大量的SQL语句，将导致线上集群负载很高，进而影响查询性能，降低用户使用体验。
技术实现思路
[0004]本公开提供了一种数据处理方法、装置、介质和计算设备，至少能提高查询性能。
[0005]本公开实施例的第一方面提供一种数据处理方法，包括：根据历史查询数据确定K个目标查询对象，K为正整数；预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果，并基于所述K个目标查询对象中每个目标查询对象对应的查询结果构建M个缓存表，M为大于等于1且小于等于K的整数；在接收到针对所述K个目标查询对象中的目标查询对象的查询请求时，更改所述查询请求的查询路径；其中，更改后的所述查询路径指向所述目标查询对象对应的缓存表；基于更改后的所述查询路径获取所述目标查询对象的查询结果。
[0006]在本公开的一个实施例中，所述方法还包括：将所述M个缓存表集中式存储至第一预设数据库中，所述第一预设数据库是具有持久化存储功能的数据库。
[0007]在本公开的一个实施例中，所述根据历史查询数据确定K个目标查询对象，包括：根据所述历史查询数据统计第一预设时间范围内各个第一类查询对象的查询频率或查询次数；从所述第一预设时间范围内所述查询频率大于第一阈值或所述查询次数大于第二阈值的所述第一类查询对象中确定K个目标查询对象。
[0008]在本公开的一个实施例中，所述根据历史查询数据确定K个目标查询对象，包括：根据所述历史查询数据统计第二预设时间范围内各个第二类查询对象的使用频率或使用次数；从所述第二预设时间范围内所述使用频率大于第三阈值或所述使用次数大于第四阈值的所述第二类查询对象中确定K个目标查询对象。
[0009]在本公开的一个实施例中，所述预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果，并基于所述K个目标查询对象中每个目标查询对象对应的查询结果构建M个缓存表，包括：获取所述K个目标查询对象中每个目标查询对象的查询数据源；基于
所述K个目标查询对象中每个目标查询对象的查询数据源，预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果；以缓存表的形式存储每个所述目标查询对象与其对应的查询结果之间的对应关系。
[0010]在本公开的一个实施例中，所述更改所述查询请求的查询路径，包括：基于所述查询请求确定所述查询路径指向的初始表；在确定存在与所述初始表对应的所述缓存表，且所述查询请求的查询类型为预设查询类型的情况下，更改所述查询请求的查询路径。
[0011]在本公开的一个实施例中，所述预设查询类型至少包括：聚合函数场景下的查询类型；去重函数场景下的查询类型。
[0012]在本公开的一个实施例中，所述方法还包括：在接收到针对非目标查询对象的查询请求时，根据所述非目标查询对象的查询请求所指示的查询路径，确定所述非目标查询对象的查询结果。
[0013]在本公开的一个实施例中，所述方法还包括：获取集群中N个节点上的查询记录，N为大于1的整数；基于所述N个节点中每个节点上的查询记录，得到历史查询数据；将所述历史查询数据存储到第二预设数据库。
[0014]在本公开的一个实施例中，所述方法还包括：接收所述历史查询数据的获取请求；基于所述获取请求输出所述历史查询数据；其中，所述历史查询数据包括下述数据中的一种或几种：每个历史查询请求的查询节点标识，每个历史查询请求的查询提交时间，每个历史查询请求的查询执行时间，每个历史查询请求的用户信息。
[0015]在本公开的一个实施例中，所述方法还包括：根据第三预设时间范围内的历史查询数据，统计所述第三预设时间范围内的各个历史查询请求的执行情况；利用可视化工具表示所述第三预设时间范围内的各个历史查询请求的执行情况。
[0016]在本公开的一个实施例中，所述方法应用于Impala集群。
[0017]本公开实施例的第二方面提供一种数据处理装置，包括：确定单元，用于根据历史查询数据确定K个目标查询对象，K为正整数；构建单元，用于预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果，并基于所述K个目标查询对象中每个目标查询对象对应的查询结果构建M个缓存表，M为大于等于1且小于等于K的整数；更改单元，用于在接收到针对所述K个目标查询对象中的目标查询对象的查询请求时，更改所述查询请求的查询路径；其中，更改后的所述查询路径指向所述目标查询对象对应的缓存表；获取单元，用于基于更改后的所述查询路径获取所述目标查询对象的查询结果。
[0018]在本公开的一个实施例中，所述装置还包括：存储单元，用于将M个缓存表集中式存储至第一预设数据库中，所述第一预设数据库是具有持久化存储功能的数据库。
[0019]在本公开的一个实施例中，所述确定单元，用于：根据所述历史查询数据统计第一预设时间范围内各个第一类查询对象的查询频率或查询次数；从所述第一预设时间范围内所述查询频率大于第一阈值或所述查询次数大于第二阈值的所述第一类查询对象确定K个目标查询对象。
[0020]在本公开的一个实施例中，所述确定单元，用于：根据所述历史查询数据统计第二预设时间范围内各个第二类查询对象的使用频率或使用次数；从所述第二预设时间范围内所述使用频率大于第三阈值或所述使用次数大于第四阈值的所述第二类查询对象中确定K个目标查询对象。
[0021]在本公开的一个实施例中，所述构建单元，用于：获取所述K个目标查询对象中每个目标查询对象的查询数据源；基于所述K个目标查询对象中每个目标查询对象的查询数据源，预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果；以缓存表的形式存储每个所述目标查询对象与其对应的查询结果之间的对应关系。
[0022]在本公开的一个实施例中，所述更改单元，用于：基于所述查询请求确定所述查询路径指向的初始表；在确定存在与所述初始表对应的所述缓存表，且所述查询请求的查询类型为预设查询类型的情况下，确定更改所述查询请求的查询路径。
[0023]在本公开的一个实施例中，所述预设查询类型至少包括：聚合函数场景下的查询类型；去重函数场景下的查询类型。
[0024]在本公开的一个实施例中，所述装置还包括：控制单元，用于在接收到针对非目标查询对象的查询请求时，根据所述非目标本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据历史查询数据确定K个目标查询对象，K为正整数；预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果，并基于所述K个目标查询对象中每个目标查询对象对应的查询结果构建M个缓存表，M为大于等于1且小于等于K的整数；在接收到针对所述K个目标查询对象中的目标查询对象的查询请求时，更改所述查询请求的查询路径；其中，更改后的所述查询路径指向所述目标查询对象对应的缓存表；基于更改后的所述查询路径获取所述目标查询对象的查询结果。2.根据权利要求1所述的方法，其中，所述方法还包括：将所述M个缓存表集中式存储至第一预设数据库中，所述第一预设数据库是具有持久化存储功能的数据库。3.根据权利要求1所述的方法，其中，所述根据历史查询数据确定K个目标查询对象，包括：根据所述历史查询数据统计第一预设时间范围内各个第一类查询对象的查询频率或查询次数；从所述第一预设时间范围内所述查询频率大于第一阈值或所述查询次数大于第二阈值的所述第一类查询对象中确定K个目标查询对象。4.根据权利要求1所述的方法，其中，所述根据历史查询数据确定K个目标查询对象，包括：根据所述历史查询数据统计第二预设时间范围内各个第二类查询对象的使用频率或使用次数；从所述第二预设时间范围内所述使用频率大于第三阈值或所述使用次数大于第四阈值的所述第二类查询对象中确定K个目标查询对象。5.根据权利要求1所述的方法，其中，所述预先确定所述K个目标查询对象中每个目标查询对象对应的查询结果，并基于所述K个目标查询对象中每个目标查询对象对应的查询结果构建M个缓存表，包括：获取所述K个目标查询对象中每个目标查询对象的查询数据源；基于所述K个目标查...
【专利技术属性】
技术研发人员：余利华，汪源，蒋鸿翔，温正湖，汪胜，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。