数据索引方法及系统技术方案

本发明专利技术提供一种数据索引方法及系统，方法包括：根据预设索引构建方法，确定样本集中待匹配数据的第一索引值；根据所述样本集中原始数据集的索引表和所述第一索引值，确定与所述待匹配数据最匹配的第一预设数量个目标数据。所述系统用于执行上述方法。本发明专利技术提供的数据索引方法及系统，结合矢量量化方法和BIRCH算法思想，先将样本集分割为多个子向量，利用BIRCH算法对每组子向量建立聚类特征树，并记录各个叶子节点索引值，基于待匹配数据的索引值，能够从原始数据集的索引表中快速检索到与待匹配数据最匹配的目标数据，提高了数据匹配速度。速度。速度。

【技术实现步骤摘要】
数据索引方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种数据索引方法及系统。

技术介绍

[0002]高维大数据集索引是一个在人工智能、大数据、信息检索等领域广泛存在的问题。例如在人工智能领域进行图像识别、查找时，往往会将图像数据转化为高维向量后，在大量图像集中进行查找匹配。又如自然语言处理进行文本匹配时，也会将文本转为为词向量、文本向量等高维度向量后，与文本库中的大量数据进行匹配。在这些场景中，如果采用待匹配数据与数据集依次计算相似度再进行排序的方法，会导致查询效率低下，影响生产业务正常进行。
[0003]现有技术中针对高维大数据集索引问题的方法如Annoy(Approximate Nearest Neighbors Oh Yeah)算法、局部敏感哈希(Local Sensitive Hashing，LSH)方法等，虽能在一定程度上提供高维向量数据索引能力，但索引模型一旦确立，便无法再添加新的索引数据，否则需要重新训练索引模型，在大数据场景中将重复耗费大量计算资源。而矢量量化方法如乘积量化(Product Quant本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据索引方法，其特征在于，包括：根据预设索引构建方法，确定样本集中待匹配数据的第一索引值；根据所述样本集中原始数据集的索引表和所述第一索引值，确定与所述待匹配数据最匹配的第一预设数量个目标数据；其中，所述索引表是根据所述原始数据集的第二索引值确定的；所述第二索引值是由根据所述预设索引构建方法获取的所述原始数据集的索引值确定的；所述预设索引构建方法包括：将所述样本集划分为第二预设数量个子向量，并基于BRICH算法对每个子向量进行聚类，以获取每个子向量的聚类特征树；根据所述聚类特征树的深度和每层聚类特征树的最大节点数量，确定每个子向量的索引值；根据所述每个子向量的索引值，确定所述样本集的索引值。2.根据权利要求1所述的数据索引方法，其特征在于，所述根据所述聚类特征树的深度和每层聚类特征树的最大节点数量，确定每个子向量的索引值，包括：遍历所述聚类特征树，根据所述深度和所述最大节点数量确定聚类特征树中所有层级各个节点的索引点值；遍历所述样本集，根据所述索引点值，确定每个子向量与当前层级最邻近节点的索引值，遍历各层级，确定所述每个子向量的索引值。3.根据权利要求2所述的数据索引方法，其特征在于，所述根据所述样本集中原始数据集的索引表和所述第一索引值，确定与所述待匹配数据最匹配的第一预设数量个目标数据，包括：若同一层级的所述待匹配数据的子向量的第一索引值与所述原始数据集的子向量的第二索引值相同，则确定所述待匹配数据的子向量和所述原始数据集的子向量匹配；根据与所述待匹配数据匹配的所述原始数据集的子向量，确定匹配数据；若所述匹配数据的个数大于等于所述预设数量，则根据所述待匹配数据与所述匹配数据之间的相似度，确定与所述待匹配数据最匹配的第一预设数量个目标数据。4.根据权利要求1所述的数据索引方法，其特征在于，对所述索引表进行更新，包括：根据所述预设索引构建方法，确定所述样本集中待添加数据的索引值；根据所述待添加数据的索引值，确定所述待添加数据的每个子向量在所述原始数据集的各聚类特征树所属的第一目标叶子节点；若所述第一目标叶子节点包含的聚类特征节点数与预设最大分簇数之间的差值大于第一预设值，则基于所述预设索引构建方法分裂所述第一目标叶子节点和目标父节点；将分裂后的目标子节点的索引值添加到所述索引表中；确定受影响的所述原始数据集中的第一相关数据，并基于所述预设索引构建方法，对所述第一相关数据的第二索引值进行更新；其中，所述目标父节点是根据所述第一目标叶子节点的父节点确定的。5.根据权利要求4所述的数据索引方法，其特征在于，所述将分裂后的目标子节点的索引值添加到所述索引表中，包括：
若分...

【专利技术属性】
技术研发人员：钟维坚，何庆，徐海勇，陶涛，尚晶，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：