数据库索引方法、装置、服务器及介质制造方法及图纸

本申请提供一种数据库索引方法、装置、服务器及介质，可用于金融领域或其他领域。该方法包括：获取客户端发送的银行业务对应的目标数据库的索引请求，并解析出索引请求中携带的目标键值；通过预先训练好的顶层模型，确定目标键值在预设递归索引模型中所属的目标叶子模型；其中，预设递归索引模型包括预先训练好的顶层模型和多个预先训练好的叶子模型，且基于反向策略训练得到；通过目标叶子模型，输出与目标键值对应的目标索引数据，并向客户端反馈目标索引数据。上述方式提高了索引数据的查询效率。询效率。询效率。

【技术实现步骤摘要】
数据库索引方法、装置、服务器及介质


[0001]本申请可用于金融领域或其他领域，尤其涉及一种数据库索引方法、装置、服务器及介质。

技术介绍

[0002]人工智能是当下的研究热点，相关的硬件如图形处理器(Graphics Processing Unit，GPU)/张量处理器(Tensor Processing Unit，TPU)等也随之研究热度的提升有了极大的发展。据称在2017年，Google的TPU已经可以在单个周期内执行上千次tensor运算。与之相比，同时期的中央处理器(Central Processing Unit，CPU)受指令集、制程、摩尔定律等因素影响，在单核性能上的提升日趋缓慢，不少研究正在转向全新的计算模式。传统的数据库技术面向CPU与内存而设计，因而受限于CPU及相关硬件设施的性能。在当下的硬件发展水平下，受限于单核的串行算法难以在性能上有较大的提升；相关的优化措施，如面向缓存优化、单指令多数据流(Single Instruction Multiple Datastream，SIMD)等，已在各种研究及实践中被发挥到极致。
[0003]索引算法是数据库中的核心技术，在很大程度上影响了数据库的整体性能。典型的数据库索引技术，如B树及其各种变体，使用树形结构将数据分片管理。这些算法主要面向CPU而设计，因而是高度串行化的。过去的研究提出了多种B树的变体，而其中多数面向CPU缓存或某种特定指令集而优化，没有对B树的基本结构做出显著改进。显然缓存优化的提升有限，而且SIMD并不能在根本上提高整个数据结构的并行化程度。更重要的一点是，在使用传统索引技术管理大规模数据时，索引算法本身并不对数据的分布模式做任何的假设。显然现实中绝大多数的数据具有模式可循，例如：日志数据具有时间模式、指定区域内的银行业务数据与人口数量具有关系等。但是，为某一种特定模式设计特殊的算法的工程代价太高且适应性不佳。
[0004]因此，现有技术存在因索引算法构建方式不合理导致的数据查询效率低的技术问题。

技术实现思路

[0005]本申请提供了一种数据库索引方法、装置、服务器及介质，用以解决数据查询效率低的问题。
[0006]第一方面，本申请提供了一种数据库索引方法，包括：
[0007]获取客户端发送的银行业务对应的目标数据库的索引请求，并解析出所述索引请求中携带的目标键值；
[0008]通过预先训练好的顶层模型，确定所述目标键值在预设递归索引模型中所属的目标叶子模型；其中，所述预设递归索引模型包括所述预先训练好的顶层模型和多个预先训练好的叶子模型，且基于反向策略训练得到；
[0009]通过所述目标叶子模型，输出与所述目标键值对应的目标索引数据，并向所述客
户端反馈所述目标索引数据。
[0010]可选地，所述预设递归索引模型的训练过程，包括：
[0011]构建初始递归索引模型，并获取目标批次的数据集；其中，所述数据集包括多组键值和对应的索引数据；
[0012]对所述键值进行归一化操作，得到归一化数据；其中，所述归一化操作包括压缩操作和/或转换操作；
[0013]通过所述归一化数据和所述对应的索引数据，对所述初始递归索引模型进行训练，得到预设递归索引模型。
[0014]可选地，所述初始递归索引模型包括顶层模型和M个叶子模型，M大于等于2；
[0015]则所述对所述初始递归索引模型进行训练，得到预设递归索引模型，包括：
[0016]对所有归一化数据进行划分，得到多个键值区间；其中，每个所述键值区间中的所有键值所属同一叶子模型；
[0017]通过图形处理器GPU，采用所述反向策略对所述叶子模型进行批量训练，得到所述预先训练好的叶子模型；其中，每批训练的所述叶子模型的数量均小于等于预设阈值；
[0018]根据所有所述预先训练好的叶子模型，构建预设递归索引模型。
[0019]可选地，在所述采用所述反向策略对所述叶子模型进行批量训练之前，所述方法还包括：
[0020]通过所述顶层模型学习所述归一化数据的分布特征；
[0021]根据所述归一化数据的分布特征，确定训练区间的数量，以及各批训练的所述叶子模型的数量；其中，同一批训练的所述叶子模型所属同一所述训练区间。
[0022]可选地，所述构建初始递归索引模型，包括以下至少一项：
[0023]初始化所述初始递归索引模型的计算图；其中，所述计算图中的每个节点均对应一个子模型，所述子模型为顶层模型或叶子模型；
[0024]设置所述初始递归索引模型的学习率、优化函数和/或损失函数。
[0025]可选地，在采用所述反向策略对所述叶子模型进行批量训练，得到所述预先训练好的叶子模型之后，所述方法还包括：
[0026]当所述初始递归索引模型的误差小于预设阈值时，停止训练；
[0027]对所述预先训练好的叶子模型管理的键值区间进行外延，并在外延过程中识别出不同预先训练好的叶子模型管理的重叠键值区间。
[0028]可选地，每个所述叶子模型管理的键值区间中的所有键值构成数据子集；
[0029]则在采用所述反向策略对所述叶子模型进行批量训练的过程中，所述方法还包括：
[0030]在顶层模型根据所述数据子集输出的预测值变化量达到预设条件时，将所述数据子集进行数据拆分，并将拆分后的数据子集分配至不同的叶子模型。
[0031]第二方面，本申请提供了一种数据库索引装置，包括：
[0032]获取模块，用于获取客户端发送的银行业务对应的目标数据库的索引请求，并解析出所述索引请求中携带的目标键值；
[0033]确定模块，用于通过预先训练好的顶层模型，确定所述目标键值在预设递归索引模型中所属的目标叶子模型；其中，所述预设递归索引模型包括所述预先训练好的顶层模
型和多个预先训练好的叶子模型，且基于反向策略训练得到；
[0034]输出反馈模块，用于通过所述目标叶子模型，输出与所述目标键值对应的目标索引数据，并向所述客户端反馈所述目标索引数据。
[0035]根据本申请的第三方面，提供了一种服务器，包括：至少一个处理器和存储器；
[0036]所述存储器存储计算机执行指令；
[0037]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面所述的数据库索引方法。
[0038]根据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面所述的数据库索引方法。
[0039]根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的数据库索引方法。
[0040]本申请提供的一种数据库索引方法，包括：获取客户端发送的银行业务对应的目标数据库的索引请求，并解析出索引请求中携带的目标键值；通过预先训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库索引方法，其特征在于，包括：获取客户端发送的银行业务对应的目标数据库的索引请求，并解析出所述索引请求中携带的目标键值；通过预先训练好的顶层模型，确定所述目标键值在预设递归索引模型中所属的目标叶子模型；其中，所述预设递归索引模型包括所述预先训练好的顶层模型和多个预先训练好的叶子模型，且基于反向策略训练得到；通过所述目标叶子模型，输出与所述目标键值对应的目标索引数据，并向所述客户端反馈所述目标索引数据。2.根据权利要求1所述的方法，其特征在于，所述预设递归索引模型的训练过程，包括：构建初始递归索引模型，并获取目标批次的数据集；其中，所述数据集包括多组键值和对应的索引数据；对所述键值进行归一化操作，得到归一化数据；其中，所述归一化操作包括压缩操作和/或转换操作；通过所述归一化数据和所述对应的索引数据，对所述初始递归索引模型进行训练，得到预设递归索引模型。3.根据权利要求2所述的方法，其特征在于，所述初始递归索引模型包括顶层模型和M个叶子模型，M大于等于2；则所述对所述初始递归索引模型进行训练，得到预设递归索引模型，包括：对所有归一化数据进行划分，得到多个键值区间；其中，每个所述键值区间中的所有键值所属同一叶子模型；通过图形处理器GPU，采用所述反向策略对所述叶子模型进行批量训练，得到所述预先训练好的叶子模型；其中，每批训练的所述叶子模型的数量均小于等于预设阈值；根据所有所述预先训练好的叶子模型，构建预设递归索引模型。4.根据权利要求3所述的方法，其特征在于，在所述采用所述反向策略对所述叶子模型进行批量训练之前，所述方法还包括：通过所述顶层模型学习所述归一化数据的分布特征；根据所述归一化数据的分布特征，确定训练区间的数量，以及各批训练的所述叶子模型的数量；其中，同一批训练的所述叶子模型所属同一所述训练区间。5.根据权利要求2所述的方法，其特征在于，所述构建初始递归索引模型，包括以下至少一项：初始化所述初始递...

【专利技术属性】
技术研发人员：白松灵，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：