一种通过智能网卡对持久化学习型索引进行加速的方法技术

技术编号:46590234 阅读:0 留言:0更新日期:2025-10-10 21:24
本发明专利技术公开了一种通过智能网卡对持久化学习型索引进行加速的方法,属于计算机存储技术领域,其通过智能网卡卸载模型重训练机制,将索引操作与重训练解耦合,从而提高持久化学习型索引的性能。同时根据智能网卡的硬件隔离特性为主机端持久化学习型索引提供故障容错,并通过直接内存访问技术将智能网卡的模型结构拷贝到主机端以快速恢复索引结构,从而提高持久化学习型索引的可用性。本发明专利技术所构建的持久化学习型索引能充分利用非易失性内存和智能网卡的硬件特征,具有崩溃一致性和快速恢复的特性,能够解决基于非易失性内存的持久化学习型索引在运行期间重训练和持久化开销高的技术问题。

【技术实现步骤摘要】

本专利技术属于计算机存储,更具体地,涉及一种通过智能网卡对持久化学习型索引进行加速的方法


技术介绍

1、随着现代数据中心规模的持续扩大和网络流量的急剧增长,传统cpu在处理复杂网络协议栈和高吞吐数据包时面临显著的性能瓶颈,因此,智能网卡的概念应运而生。智能网卡在传统网卡的基础上集成可编程逻辑(如arm处理器、fpga、asic等)和硬件加速器,能够在网路层面运行定制化的数据包处理、加解密、计算卸载等任务,从而降低主机负载并提高系统性能与可扩展性,因此,智能网卡被广泛应用于云计算、安全防护、边缘计算等场景,特别适用于加速索引处理等计算密集型任务。

2、内存索引用于加速对数据的查询、插入、更新和删除等操作,是现代数据中心的关键组成部分,被广泛部署在数据库和键值存储系统中。然而,随着现代数据中心规模的持续扩大和数据量的爆炸式增长,传统内存索引的内存占用量不断增大,在处理海量数据时面临索引性能、可扩展性和和资源效率等多方面瓶颈。此外,随着数据多样性和分布模式的不断变化,传统索引难以适应复杂的数据分布,这也对索引技术提出了新的挑战。

3、学本文档来自技高网...

【技术保护点】

1.一种通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,包括:

2.如权利要求1所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,还包括:

3.如权利要求2所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,所述智能网卡通过直接内存访问技术访问所述非易失性内存中索引数据并执行索引操作,包括:

4.如权利要求2所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,所述智能网卡通过直接内存访问技术访问所述非易失性内存中索引数据并执行索引操作,包括:

5.如权利要求3所述的通过智能网卡对持久化学习型索...

【技术特征摘要】

1.一种通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,包括:

2.如权利要求1所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,还包括:

3.如权利要求2所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,所述智能网卡通过直接内存访问技术访问所述非易失性内存中索引数据并执行索引操作,包括:

4.如权利要求2所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,所述智能网卡通过直接内存访问技术访问所述非易失性内存中索引数据并执行索引操作,包括:

5.如权利要求3所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,所述智能网卡通过直接内存访问技术访问所述非易失性内存中索引数据并执行索引操作,还包括:

6.如权利要求2所述的通过智能网卡对持久化学习型索引进行加速的方法,其特征在于,所述将索引数据存储于非易失性内...

【专利技术属性】
技术研发人员:华宇童傲洋
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1