一种面向异构计算的数据传输方法、装置、系统和产品制造方法及图纸

本申请实施例提供了一种面向异构计算的数据传输方法、装置、系统和产品，属于数据处理的技术领域，所述方法包括获取目标数据的数据大小、目标数据在系统的内存中的缓存情况以及目标异构加速设备；根据目标数据的数据大小和目标数据在系统的内存中的缓存情况，确定目标数据的目标传输策略；根据目标传输策略将目标数据传输到目标异构加速设备的内存中；当目标数据的数据大小大于预设的数据阈值，且目标数据在系统的内存中部分缓存时，根据代价模型确定目标数据对应的传输代价最小的内存中转策略和/或点对点传输策略作为目标传输策略。本申请实施例旨在提高数据传输效率。

【技术实现步骤摘要】

本申请实施例涉及数据处理的，具体而言，涉及一种面向异构计算的数据传输方法、装置、系统和产品。

技术介绍

1、随着数据处理技术与需求的不断增长，如何提高数据处理或任务处理的效率是一直备受关注的问题，而异构计算的应用提高计算效率，异构计算主要是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式，异构计算加速可以充分利用不同类型处理器的优势，通过将任务分配给不同的处理器并行执行可以提高计算效率。

2、但是随着数据集规模不断增加，载入数据花费的时间越来越长，进而导致数据从固态硬盘传输到异构加速设备的数据传输已经成为异构加速性能的瓶颈。

技术实现思路

1、本申请实施例提供一种面向异构计算的数据传输方法、装置、系统和产品，旨在提高数据传输效率。

2、第一方面本申请实施例提供一种面向异构计算的数据传输方法，应用于包括异构加速设备和固态硬盘的异构加速系统，所述方法包括：

3、获取目标数据的数据大小、所述目标数据在所述系统的内存中的缓存情况以及目标异构加速设备；</p>

4、根据本文档来自技高网...

【技术保护点】

1.一种面向异构计算的数据传输方法，其特征在于，应用于包括异构加速设备和固态硬盘的异构加速系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据所述目标数据的数据大小和所述目标数据在所述系统的内存中的缓存情况，确定所述目标数据对应的目标传输策略，包括：

3.根据权利要求1所述的方法，其特征在于，根据所述目标数据的数据大小和所述目标数据在所述系统的内存中的缓存情况，确定所述目标数据对应的目标传输策略，包括：

4.根据权利要求1所述的方法，其特征在于，根据所述目标数据的数据大小和所述目标数据在所述系统的内存中的缓存情况，确定所述目标数据对应的...

【技术特征摘要】

1.一种面向异构计算的数据传输方法，其特征在于，应用于包括异构加速设备和固态硬盘的异构加速系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据所述目标数据的数据大小和所述目标数据在所述系统的内存中的缓存情况，确定所述目标数据对应的目标传输策略，包括：

3.根据权利要求1所述的方法，其特征在于，根据所述目标数据的数据大小和所述目标数据在所述系统的内存中的缓存情况，确定所述目标数据对应的目标传输策略，包括：

4.根据权利要求1所述的方法，其特征在于，根据所述目标数据的数据大小和所述目标数据在所述系统的内存中的缓存情况，确定所述目标数据对应的目标传输策略，包括：

5.根据权利要求1所述的方法，其特征在于，根据所述目标数据的数据大小和所述目标数据在所述系统的内存中的缓存情况，确定所述目标数据对应的目标传输策略，包括：

6.根据权利要求5所述的方法，其特征在于，所述代价模型包括内存中转策略对应的代价子模型和点对点传输策略对应的代价子模型，通过代价模型分别计算任一传输策略组合的传输代价，包括：

7.根据权利要求6所述的方法，其特征在于，通过代价模型分别计算任一传输策略组合的传输代价的过程中，所述方法还包括：

8.根据权利要求6所述的方法，其特征在于，通过所述内存中转策略对应的代价子模型，计算该传输策略组合中候选传输策略为内存中转策略的每个数据块对应的传输代价，包括：

9.根据权利要求6所述的方法，其特征在于，通过所述点对点传输策略对应的代价子模型，计算该传输策略组合中候选传输策略为点对点传输策略的每个数据块对应的传输代价，包括：

10.根据权利要求1-9任一项所述的方法，其特征在于，获取目标数据的数据大小、所述目标数据在所述系统的内存中的缓存情况以及目标异构加速设备，包括：

11.根据权利要求9所述的方法，其特征在于，获取所述目标数据在所述固...

【专利技术属性】
技术研发人员：谢志勇，李仁刚，赵雅倩，张闯，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：