【技术实现步骤摘要】
本专利技术涉及人工智能、计算机以及数据挖掘，尤其涉及基于知识蒸馏的量化索引构建方法、装置及设备。
技术介绍
1、随着数据规模的快速变大，相似近邻搜索技术已经被广泛地应用于推荐系统、信息检索、文档匹配等场景中。一般地，由于数据规模庞大，例如在电商场景中物品数量超过千万级，对所有物品遍历计算会消耗大量的计算和存储资源，一方面计算机内存、加速器显存（即gpu、tpu加速器）无法存储下这些数量庞大的样本，另一方面由于物品由较高纬度的特征进行表示，对所有物品进行计算时间开销过高。
2、在实施本专利技术的过程中发现，解决上述计算和存储资源问题的一种方案是通过扩大计算资源，比如更换内存更大的处理器、采用多卡并行等方案，存储数量庞大的物品。另一种更为直观的方案是相似近邻搜索技术，通过索引结构存储高维向量，为查询向量近似计算出最近邻居，从而大大降低时间和空间开销，提高计算资源利用率。然而，现有相似近邻搜索技术中存在存储向量空间花费大，搜索召回率低的问题。
技术实现思路
1、鉴于上述问题，本专利技...
【技术保护点】
1.一种基于知识蒸馏的量化索引构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标低维索引模型的训练方法包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述量化样本查询向量、K个所述量化样本相似最近邻居以及所述知识蒸馏损失函数，对所述初始低维索引模型进行训练，包括：
4.根据权利要求2所述的方法，其特征在于，所述目标损失函数还包括重构损失函数；
5.根据权利要求4所述的方法，其特征在于，所述目标损失函数还包括预设算法约束函数；
6.根据权利要求2所述的方法，其特征...
【技术特征摘要】
1.一种基于知识蒸馏的量化索引构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标低维索引模型的训练方法包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述量化样本查询向量、k个所述量化样本相似最近邻居以及所述知识蒸馏损失函数，对所述初始低维索引模型进行训练，包括：
4.根据权利要求2所述的方法，其特征在于，所述目标损失函数还包括重构损失函数；
5.根据权利要求4所述的方法，其特征在于，所述目标损失函数还包括预设算法约束函数；
6.根据权利要求2所述的方法，其特征在于，所述基于初始化的量化码本，分...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。