System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及大数据和金融领域,更具体地,涉及一种数据处理方法、装置、设备、介质和程序产品。
技术介绍
1、随着大数据领域的蓬勃发展,越来越多企业每天都有大量的基于数据库的数据分析需求,若有大量的查询语句触发了未包含分区函数的使用场景,则必然会影响整个分析的效率。
技术实现思路
1、鉴于上述问题,本公开提供了一种数据处理方法、装置、设备、介质和程序产品。
2、根据本公开的第一个方面,提供了一种数据处理方法,包括:解析查询语句,得到语法树;根据语法树的来源节点,从查询语句中确定数据表查询字段;根据数据表查询字段对查询语句进行分区查询检测,得到检测结果;以及在检测结果表征查询语句不满足分区查询条件的情况下,基于分区函数更新查询语句,得到更新后的目标查询语句。
3、根据本公开的实施例,根据所述数据表查询字段对所述查询语句进行分区查询检测,得到检测结果包括:根据数据表查询字段,与来源节点对应的来源字段,从数据表查询字段中确定数据表标识;基于预设分区条件对与数据表标识相对应的数据表进行分区条件检测,得到分区条件检测结果;在分区条件检测结果表征数据表满足预设分区条件的情况下,对查询语句进行分区函数检测,得到分区函数检测结果;以及在分区函数检测结果表征查询语句的分区函数为空的情况下,确定表征查询语句不满足分区查询条件的检测结果。
4、根据本公开的实施例,根据数据表查询字段,与来源节点对应的来源字段,从数据表查询字段中确定数据表标识,包括:根据数据表查询字段,确定来
5、根据本公开的实施例,数据表满足预设分区条件包括以下至少一项:数据表的下限内存容量大于预设容量阈值;数据表的行标识大于预设行数量;数据表的列名称大于预设列数量。
6、根据本公开的实施例,对查询语句进行分区函数检测,得到分区函数检测结果,包括:确定语法树的条件节点;根据数据表查询字段中,与条件节点对应的条件字段对查询语句进行分区检测,得到分区函数检测结果。
7、根据本公开的实施例,根据数据表查询字段,与条件节点对应的条件字段对查询语句进行分区检测,得到分区函数检测结果,包括以下至少一层级:确定语法树的第1条件节点对应的第1条件字段中包括分区函数;根据语法树的第i-1条件节点和与第i-1条件节点对应的第i-1条件字段,得到分区函数子检测结果;根据多个分区函数子检测结果,确定分区函数检测结果。
8、根据本公开的实施例,在检测结果表征查询语句不满足分区查询条件的情况下,基于分区函数更新查询语句,得到更新后的目标查询语句,还包括:将数据表查询字段与预设字段集合中的预设字段进行匹配,得到匹配结果,在匹配结果表征数据表查询字段与预设字段集合中任意的预设字段均不匹配的情况下,基于分区函数更新查询语句,得到更新后的目标查询语句。
9、本公开的第二方面提供了一种数据处理装置,包括:
10、解析模块,用于解析查询语句,得到语法树;
11、确定模块,用于根据语法树的来源节点,从查询语句中确定数据表查询字段;
12、检测结果模块,用于根据数据表查询字段对查询语句进行分区查询检测,得到检测结果;以及
13、更新模块,用于在检测结果表征查询语句不满足分区查询条件的情况下,基于分区函数更新查询语句,得到更新后的目标查询语句。
14、本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
15、本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
16、本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
17、根据本公开的实施例,通过解析查询语句,得到语法树,根据语法树的来源节点,从查询语句中确定数据表查询字段,根据数据表查询字段对查询语句进行分区查询检测,得到检测结果,通过检查查询语句中是否包含分区函数,以及在检测结果表征查询语句不满足分区查询条件的情况下,基于分区函数更新查询语句,得到更新后的目标查询语句,避免了在数据分析过程中涉及大量和结果无关的数据,节约了数据库资源,提高了数据库的响应速度。
本文档来自技高网...【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据表查询字段对所述查询语句进行分区查询检测,得到检测结果包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据表查询字段,与所述来源节点对应的来源字段,从所述数据表查询字段中确定数据表标识,包括:
4.根据权利要求2所述的方法,其特征在于,所述数据表满足预设分区条件包括以下至少一项:
5.根据权利要求2所述的方法,其特征在于,所述对所述查询语句进行分区函数检测,得到分区函数检测结果,包括:
6.根据权利要求2所述的方法,其特征在于,所述根据所述数据表查询字段,与所述条件节点对应的条件字段对所述查询语句进行分区检测,得到分区函数检测结果,包括以下至少一层级:
7.根据权利要求1所述的方法,其特征在于,所述在所述检测结果表征所述查询语句不满足分区查询条件的情况下,基于分区函数更新所述查询语句,得到更新后的目标查询语句,还包括:
8.一种数据处理装置,其特征在于,所述装置包括:
< ...【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据表查询字段对所述查询语句进行分区查询检测,得到检测结果包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据表查询字段,与所述来源节点对应的来源字段,从所述数据表查询字段中确定数据表标识,包括:
4.根据权利要求2所述的方法,其特征在于,所述数据表满足预设分区条件包括以下至少一项:
5.根据权利要求2所述的方法,其特征在于,所述对所述查询语句进行分区函数检测,得到分区函数检测结果,包括:
6.根据权利要求2所述的方法,其特征在于,所述根据所述数据表查询字段,与所述条件节点对...
【专利技术属性】
技术研发人员:黄萌,阳万里,钱璞昕,罗响,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。