【技术实现步骤摘要】
本申请实施例涉及数据库领域，特别涉及一种面向向量数据库的混合加速架构。
技术介绍
1、对于非结构化的数据或知识，可以通过一定的学习和训练将其编码为向量，这些非结构化的数据包括：文本、图像、音频、视频等等。向量数据库的主要作用是存储和处理向量数据，并提供高效的向量检索功能。向量数据库的核心思想就是相似度搜索，通过计算一个向量与其他所有向量之间的距离来找到最相似的向量。
2、为提高向量数据库的性能，以往的研究方向都倾向于更高效率的向量索引结构和更合理的向量查询方法，因此涌现出了各式各样的向量搜索算法。这些算法都有一个特点：为了提高搜索性能，可以仅计算一部分向量的距离。这种方法称为近似最近邻（approximate nearest neighbors:ann），它提高了速度，但牺牲了结果的质量。常用的ann索引包括局部敏感哈希（locally sensitive hashing:lsh）、分层可导航小世界（hierarchical navigable small worlds:hnsw）、倒排文件索引（inverted file index:ivf）、倒排乘积量化等。
3、另外一种提高向量数据库性能的方向是通过使用 gpu、npu、fpga等专有硬件加速向量查询。比如milvus、faiss等数据库除了提供了cpu版本，还提供了gpu版本加速查询。由于不同加速硬件和专有芯片的结构设计均不相同，如何能够结合这些硬件的特性从而高效地执行向量索引的请求目前仍在探索中。
技术实现思路
1、本申请实施例提供面向向量数据库的混合加速架构，解决使用软件加速数据库查询向量速度慢和牺牲结果质量的问题。
2、本申请提供了面向向量数据库的混合加速架构，包括主核和两个以多流水线并发处理的第一副核与第二副核，所述主核包含有任务调度模块和任务切分模块；所述任务切分模块根据查询任务进行任务切分，所述任务调度模块根据切分任务调度第一副核和/或第二副核执行相应的流水线加速任务；所述第一副核与第二副核分别连接高速存储器，所述高速存储器中缓存有用于向量加速查询的向量库；
3、所述第一副核根据接收的切分任务执行距离计算流水线，每条距离计算流水线包括计算管理模块和距离计算模块，所述距离计算模块根据向量库和待查询向量计算向量距离；所述计算管理模块根据切分任务从高速存储器中提取待查询向量和向量库、缓存向量距离，以及向主核反馈距离计算流水线的计算结果；
4、所述第二副核根据接收的切分任务执行排序流水线，每条排序流水线包含有数据排序模块，所述数据排序模块根据第一副核获得的向量距离进行向量排序，以及向主核反馈排序流水线的排序结果，所述主核根据排序结果输出向量查询结果。
5、本申请实施例提供的技术方案带来的有益效果至少包括：
6、1)提供更加灵活的模型配置；混合加速架构中引入了fpga/asic/soc等硬件，这些硬件能够灵活的实现各种自定义功能，从而因此为向量检索提供了更多的可能性。
7、2)提供多种硬件混合加速；混合加速架构将不同的运算功能进行分离，并根据各自运算的特点，使用不同的硬件进行加速，充分发挥硬件的优势，从而能大大提高了数据处理能力。
8、3)加速不同类型的算法模型；向量库检索的算法模型有很多种，使用混合加速架构能在一定程度上对各种算法模型都有一定的加速效果。混合加速架构中使用新的计算方式和排序方式，并使用流水线和多batch等技术，同时提高了存储访问的带宽。从而对多种不同的算法模型都有一定加速作用。
9、5)多级流水线处理；混合加速架构在设计时采用流水线的设计思想，并通过多级流水线并行的方式提高处理带宽。混合加速架构中会将任务按照功能拆分成多个不同的子任务，并将功能相同的任务进行批量处理，从而实现多任务并行处理的功能。
本文档来自技高网...【技术保护点】
1.一种面向向量数据库的混合加速架构，其特征在于，包括主核和两个以多流水线并发处理的第一副核与第二副核，所述主核包含有任务调度模块和任务切分模块；所述任务切分模块根据查询任务进行任务切分，所述任务调度模块根据切分任务调度第一副核和/或第二副核执行相应的流水线加速任务；所述第一副核与第二副核分别连接高速存储器，所述高速存储器中缓存有用于向量加速查询的向量库；
2.根据权利要求1所述的面向向量数据库的混合加速架构，其特征在于，加速架构还包括多流水线并发处理的第三副核；所述第三副核根据接收的切分任务执行查表流水线，每个查表流水线包含有查表距离计算模块，所述查表距离计算模块根据压缩向量库和第一副核输出的距离矩阵计算查表距离；
3.根据权利要求2所述的面向向量数据库的混合加速架构，其特征在于， 当所述第一副核接收的切分任务不含查表操作时，所述第一副核查询向量并输出向量距离；
4.根据权利要求2所述的面向向量数据库的混合加速架构，其特征在于，所述主核中设置有所有副核的任务切分模块、队列模块和结果模块；
5.根据权利要求3所述的面向向量数据库的混
6.根据权利要求5所述的面向向量数据库的混合加速架构，其特征在于， 所述距离计算模块包括单维距离计算单元和高维距离计算单元；所述单维度计算单元将多维向量按照单维向量逐个计算，所述高维距离计算单元将单拍数据的各个维度的维度距离并行累加计算；
7.根据权利要求6所述的面向向量数据库的混合加速架构，其特征在于，所述查表距离计算模块包括DMA传输单元、数据对齐单元、队列选择单元、队列选择器和距离累加单元；
8.根据权利要求6所述的面向向量数据库的混合加速架构，其特征在于，所述数据排序模块包括排序单元和缓存单元；
9.根据权利要求8所述的面向向量数据库的混合加速架构，其特征在于，分拣器参数设置为m-sorter/n，其中的m表示分拣器sorter对每组的m个数据进行排序，n表示分拣器中用于辅助排序的缓存器数量；后分拣器接收前分拣器输出，且排序数量是前分拣器排序数量的两倍；其中，最后一级分拣器根据设定的目标数量截取输出。
10.根据权利要求9所述的面向向量数据库的混合加速架构，其特征在于，所述第二副核还包括数据重排模块，所述数据重排模块包含二叉树结构的比较器，二叉树结构的比较器连接各个排序流水线的输出，将排序结果进行逐级比较，输出最小距离的排序流水线，并反馈排序结果。
11.根据权利要求10所述的面向向量数据库的混合加速架构，其特征在于，当排序任务切分为单个排序流水线执行时，所述缓存单元直接根据排序结果向主核反馈；
12.根据权利要求2所述的面向向量数据库的混合加速架构，其特征在于，所述主核为CPU、第一副核为GPU、第二副核以及第三副核为FPGA/ASIC/SOC。
...【技术特征摘要】
1.一种面向向量数据库的混合加速架构，其特征在于，包括主核和两个以多流水线并发处理的第一副核与第二副核，所述主核包含有任务调度模块和任务切分模块；所述任务切分模块根据查询任务进行任务切分，所述任务调度模块根据切分任务调度第一副核和/或第二副核执行相应的流水线加速任务；所述第一副核与第二副核分别连接高速存储器，所述高速存储器中缓存有用于向量加速查询的向量库；
2.根据权利要求1所述的面向向量数据库的混合加速架构，其特征在于，加速架构还包括多流水线并发处理的第三副核；所述第三副核根据接收的切分任务执行查表流水线，每个查表流水线包含有查表距离计算模块，所述查表距离计算模块根据压缩向量库和第一副核输出的距离矩阵计算查表距离；
3.根据权利要求2所述的面向向量数据库的混合加速架构，其特征在于， 当所述第一副核接收的切分任务不含查表操作时，所述第一副核查询向量并输出向量距离；
4.根据权利要求2所述的面向向量数据库的混合加速架构，其特征在于，所述主核中设置有所有副核的任务切分模块、队列模块和结果模块；
5.根据权利要求3所述的面向向量数据库的混合加速架构，其特征在于，所述计算管理模块包括query缓存单元、数据分离单元和id距离同步单元；
6.根据权利要求5所述的面向向量数据库的混合加速架构，其特征在于， 所述距离计算模块包括单维距离计算单元和高维距离计算单元；所述单维度计算单元将多维向量按照单维向量逐个计算，...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。