基于人工智能的数据高效检索方法及相关设备技术

本申请提出一种基于人工智能的数据高效检索方法、装置、电子设备及存储介质，基于人工智能的数据高效检索方法包括：读取目标数据库中所有数据文件，提取同一数据文件中最大索引值和最小索引值以作为各数据文件的索引标签，数据文件包含多条数据信息，数据信息包括索引值和数据内容；将索引标签作为节点信息以构建平衡查找树；当目标数据库有新增数据时，基于新增数据的索引值查找平衡查找树以获取目标数据文件；基于新增数据的索引值检索目标数据文件以获取检索结果，基于检索结果对目标数据文件进行更新；基于更新后的目标数据文件更新平衡查找树以用于下一次检索。本申请能构建平衡查找树并实现平衡查找树的自动平衡，保证了数据的高效检索。数据的高效检索。数据的高效检索。

【技术实现步骤摘要】
基于人工智能的数据高效检索方法及相关设备


[0001]本申请涉及人工智能
，尤其涉及一种基于人工智能的数据高效检索方法、装置、电子设备及存储介质。

技术介绍

[0002]数据湖是传统数据仓库的扩展，能够解决任意规模、任意来源、任意类型数据的采集与存储，并支持海量数据的插入、更新、增量查询。在数据湖建设的过程中，常常使用Apache Hudi作为存储组件以支持用户对数据执行插入、更新、增量查询操作。
[0003]目前，在数据湖中常常以线段树作为索引结构以实现大量数据中目标数据的查询，然而，随着数据量级的不断提高，线段树会不断加深，出现性能退化的情况，使得数据检索的效率降低。

技术实现思路

[0004]鉴于以上内容，有必要提出一种基于人工智能的数据高效检索方法及相关设备，以解决如何保证数据的高效检索这一技术问题，其中，相关设备包括基于人工智能的数据高效检索装置、电子设备及存储介质。
[0005]本申请提供基于人工智能的数据高效检索方法，所述方法包括：
[0006]读取目标数据库中所有数据文件，提取同一数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的数据高效检索方法，其特征在于，所述方法包括：读取目标数据库中所有数据文件，提取同一数据文件中的最大索引值和最小索引值以作为每一个数据文件的索引标签，所述数据文件包含多条数据信息，所述数据信息包括索引值和数据内容；将所述索引标签作为节点信息以构建平衡查找树；当所述目标数据库有新增数据时，基于所述新增数据的索引值查找所述平衡查找树以获取目标数据文件；基于所述新增数据的索引值检索所述目标数据文件以获取检索结果，并基于所述检索结果更新所述目标数据文件以获取更新后的目标数据文件；基于所述更新后的目标数据文件对所述平衡查找树进行更新，以用于下一次检索。2.如权利要求1所述的基于人工智能的数据高效检索方法，其特征在于，所述将所述索引标签作为节点信息以构建平衡查找树包括：A1，从所有索引标签中随机选取一个索引标签作为根节点的节点信息以构建初始查找树；A2，从未被选取的索引标签中随机选取一个索引标签作为节点信息作为新增节点；A3，对比所述新增节点和所述初始查找树中节点的节点信息以获取对比结果，并基于所述对比结果将所述新增节点插入所述初始查找树得到第一查找树；A4，计算所述第一查找树中节点的平衡系数以筛选异常节点；A5，若未筛选到异常节点，则将所述第一查找树作为新的初始查找树，若筛选到异常节点，依据预设规则对所述异常节点进行旋转以获取第二查找树，并将所述第二查找树作为新的初始查找树；A6，重复执行步骤A2
‑
A5不断从剩下的索引标签获取新增节点以更新所述初始查找树，直到遍历完所有的索引标签时停止更新，得到平衡查找树。3.如权利要求2所述的基于人工智能的数据高效检索方法，其特征在于，所述对比所述新增节点和所述初始查找树中节点的节点信息以获取对比结果，并基于所述对比结果将所述新增节点插入所述初始查找树得到第一查找树，包括：a.选取所述初始查找树中的根节点作为目标节点；b.将所述目标节点中索引最大值和索引最小值分别作为目标最大值和目标最小值，将所述新增节点中的索引最大值和索引最小值分别作为新增最大值和新增最小值；c.对比所述新增节点和所述目标节点的节点信息以获取对比结果，所述对比结果包括所述新增最大值小于所述目标最小值、所述新增最小值大于所述目标最大值两种情况；d.若所述对比结果为所述新增最大值小于所述目标最小值，则所述新增节点为所述目标节点的备选左子节点，判断所述目标节点是否已经存在左子节点，若不存在，则将所述新增节点作为所述目标节点的左子节点以插入所述初始查找树中；若已经存在，则将所述目标节点的左子节点作为新的目标节点；e.若所述新增最小值大于所述目标最大值，则所述新增节点为所述目标节点的备选右子节点，判断所述目标节点是否已经存在右子节点，若不存在，则将所述新增节点作为所述目标节点的右子节点以插入所述初始查找树中；若已经存在，则将所述目标节点的右子节点作为新的目标节点；
f.重复执行步骤b到步骤e，直到所述新增节点插入所述初始查找树中，得到第一查找树。4.如权利要求2所述的基于人工智能的数据高效检索方法，其特征在于，所述计算所述第一查找树中节点的平衡系数以筛选异常节点包括：a.将所述新增节点作为计算节点；b.计算所述计算节点的平衡系数，所述平衡系数满足关系式：p＝|h
left
‑
h
right
|其中，h
left
为所述计算节点左子树的高度，所述计算节点左子树为以所述计算节点为根节点的树结构中左侧的分支；h
right
为所述计算节点右子树的高度，所述计算节点右子树为以所述计算节点为根节点的树结构中右侧的分支；c.若所述计算节点的平衡系数大于预设阈值，则将所述计算节点作为异常节点；若所述计算节点的平衡系数不大于所述预设阈值，则说明所述计算节点为正常节点，则将所述计算节点的父节点作为新的计算节点；d.重复执行步骤b到步骤c以筛选异常节点，...

【专利技术属性】
技术研发人员：易晓博，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：