数据管理方法和数据管理系统技术方案

技术编号:42010432 阅读:21 留言:0更新日期:2024-07-12 12:29
提供了数据管理方法和数据管理系统。方法可以在主机端执行。方法可以包括:分配所述主机端的暂存内存,所述暂存内存被划分为用于临时存储数据的具有预设大小的两个暂存分区;确定从所述主机端的内存到设备端的内存的待拷贝数据,并基于所述预设大小对所述待拷贝数据进行切分,得到多个数据块;将所述多个数据块经由所述两个暂存分区依次从所述主机端的内存拷贝到所述设备端的内存,其中:对于每个数据块,在所述数据块被拷贝到所述两个暂存分区中的一个暂存分区,并且所述两个暂存分区中的另一个暂存分区空闲的情况下,并行地进行将所述数据块从所述一个暂存分区拷贝到所述设备端的内存的操作和将另一个数据块拷贝到所述另一个暂存分区的操作。

【技术实现步骤摘要】

本申请涉及数据处理,更具体地,涉及一种数据管理方法和数据管理系统


技术介绍

1、cpu(中央处理器)是计算机系统中的主要处理单元,负责执行程序的指令。gpu(图形处理器)最初设计用于处理图形和图像相关的任务,但是由于其高度并行化的结构,在科学计算和人工智能等领域也被广泛应用。为了进一步专注通用计算,通用图形处理器(gpgpu)便应运而生。gpgpu去掉gpu的图形显示部分,将其余部分全部投入通用计算,可以成为ai加速器的核心。gpgpu(通用图形处理单元)是指将gpu用于一般目的计算的技术,允许开发人员利用gpu的并行处理能力来加速各种类型的应用程序,而不仅仅是图形相关的应用。tpu(张量处理单元)是一种专门用于加速人工智能工作负载的处理器,特别是在深度学习任务中。tpu专注于高效地执行张量操作,这使得它在处理大规模神经网络时比通用的cpu和gpu更具优势。也就是说,gpu、gpgpu和tpu芯片等等类似芯片可以认为是人工智能芯片,与cpu一样都是现代计算中的重要组成部分,它们各自在不同的应用场景中发挥着关键作用,也经常被用于协同工作以提高计算性能。...

【技术保护点】

1.一种数据管理方法,应用于主机端,包括:

2. 根据权利要求1所述的方法,其中,将所述多个数据块经由所述两个暂存分区依次从所述主机端的内存拷贝到所述设备端的内存,包括:

3.根据权利要求2所述的数据管理方法,其中,将所述多个数据块经由所述两个暂存分区依次从所述主机端的内存拷贝到所述设备端的内存,还包括:

4.根据权利要求3所述的数据管理方法,其中,将所述多个数据块经由所述两个暂存分区依次从所述主机端的内存拷贝到所述设备端的内存,还包括:

5.根据权利要求2所述的数据管理方法,其中,将所述第一数据块从所述第一暂存分区拷贝到所述设备端的内存的...

【技术特征摘要】

1.一种数据管理方法,应用于主机端,包括:

2. 根据权利要求1所述的方法,其中,将所述多个数据块经由所述两个暂存分区依次从所述主机端的内存拷贝到所述设备端的内存,包括:

3.根据权利要求2所述的数据管理方法,其中,将所述多个数据块经由所述两个暂存分区依次从所述主机端的内存拷贝到所述设备端的内存,还包括:

4.根据权利要求3所述的数据管理方法,其中,将所述多个数据块经由所述两个暂存分区依次从所述主机端的内存拷贝到所述设备端的内存,还包括:

5.根据权利要求2所述的数据管理方法,其中,将所述第一数据块从所述第一暂存分区拷贝到所述设备端的内存的操作,包括:

6. 根据权利要求1所述的数据管理方法,其中,对于所述两个暂存分区中的每一者,仅当相应的暂存分区中的数据块已经被拷贝到设备端,才向所述相应的暂存分区拷贝新的数据块。

7.根据权利要求1所述的数据管理方法,其中,所述主机端包括中央处理器,并且所述设备端包括人工智能芯片,并且

8. 一种数据管理方法,应用于设备端,包括:

9. 根据权利要求8所述的方法,其中,将所述多个数据块经由所述两个暂存分区依次从所述设备端的内存拷贝到所述主...

【专利技术属性】
技术研发人员:请求不公布姓名
申请(专利权)人:北京壁仞科技开发有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1