一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及基于特定计算模型的计算机系统技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取GPU显存中存储的至少部分数据；确定对各数据执行预设驱逐策略的代价；预设驱逐策略包括重计算策略、转移策略、子图策略中的一项或多项；其中，子图策略包括：将目标数据所在子图中第一节点的数据转移到CPU中，并由CPU对子图中第二节点的数据进行重计算；根据对各数据执行预设驱逐策略的代价，确定最小代价对应的数据；按照最小代价对应的预设驱逐策略，对最小代价对应的数据执行驱逐。通过本公开，将子图策略与重计算策略、转移策略结合，有效提升了易用性，使得GPU可以稳定的执行如模型训练等运算。

【技术实现步骤摘要】

本公开涉及基于特定计算模型的计算机系统，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

1、随着科技的发展，人工智能日益受到关注。目前，可结合实际情况建立模型以对不同场景下的问题进行求解，由于模型适用范围广泛且通过模型可快速得到准确的预测结果，因此在各种各样的场景下，模型被广泛应用；在模型用于实际应用前，需要对模型进行训练。现有技术中，通常使用图形处理器（graphic processing unit，gpu）对模型进行训练，在训练过程中，模型本身的参数及训练过程中产生的数据等通常存储在gpu显存中；对于较复杂的模型，模型本身参数多且训练过程中产生的数据量大，会导致gpu显存无法存储所有数据。因此，需要对gpu显存中存储的数据进行处理，以对gpu显存进行优化。

技术实现思路

1、有鉴于此，本公开提出了一种数据处理方法、装置、电子设备、存储介质及计算机程序产品。

2、根据本公开的一方面，提供了一种数据处理方法，所述方法包括：

3、获取图形处理器gpu显存中存储的至少部分数本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一节点包括目标数据对应节点相连的前驱节点，所述第二节点包括所述前驱节点相连的至少部分后继节点；其中，所述至少部分后继节点包括目标数据对应节点。

3.根据权利要求1所述的方法，其特征在于，所述确定对所述至少部分数据中各数据分别执行预设驱逐策略的代价，包括：

4.根据权利要求1所述的方法，其特征在于，对目标数据执行所述转移策略的代价与目标数据占用的所述GPU显存及当前时刻距离所述GPU上次访问目标数据时刻的时间间隔负相关，与转移时延被掩盖指数正相关；其中，所述...

【技术特征摘要】

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一节点包括目标数据对应节点相连的前驱节点，所述第二节点包括所述前驱节点相连的至少部分后继节点；其中，所述至少部分后继节点包括目标数据对应节点。

3.根据权利要求1所述的方法，其特征在于，所述确定对所述至少部分数据中各数据分别执行预设驱逐策略的代价，包括：

4.根据权利要求1所述的方法，其特征在于，对目标数据执行所述转移策略的代价与目标数据占用的所述gpu显存及当前时刻距离所述gpu上次访问目标数据时刻的时间间隔负相关，与转移时延被掩盖指数正相关；其中，所述转移时延被掩盖指数表示当前时刻距离所述gpu下次访问目标数据时刻的时间间隔相对于转移目标数据的时延的掩盖程度，所述转移目标数据的时延为将目标数据由所述gpu传输到所述cpu、再从所述cpu传输回所述gpu所对应的时延。

5.根据权利要求4所述的方法，其特征在于，所述转移时延被掩盖指数由所述gpu下次访问目标数据时刻、当前时刻、目标数据由所述gpu传输到所述cpu的通信时间、目标数据由所述cpu传输到所述gpu的通信时间、目标数据由所述gpu传输到所述cpu的排队等待时间及目标数据由所述cpu传输到所述gpu的排队等待时间确定。

6.根据权利要求1所述的方法，其特征在于，对目标数据执行所述子图策略的代价与目标数据占用的所述gpu显存及当前时刻距离所述gpu上次访问目标数据时刻的时间间隔负相关，与所述子图策略的预估时延正相关；其中，所述子图策略的预估时延表示将所述第一节点的数据由所述gpu传输到所述cpu、将所述第一节点的数据由所述cp...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：