一种参数读取方法、装置、计算机存储介质及设备制造方法及图纸

本申请公开了一种参数读取方法、装置、存储介质及电子设备。在本方案中，在执行模型训练任务的过程中，需要预先读取执行L个训练步骤所需的训练样本，然后，针对任意两个连续训练步骤，基于预先读取执行L个训练步骤所需的训练样本，确定第一GPU执行完前一训练步骤后产生的各参数值，根据在后一训练步骤中所使用的训练样本，从各参数值中确定在后一训练步骤中需要被读取的目标参数值，而后，在执行后一训练步骤之前，判断是否已将目标参数值刷写到预设的DRAM中，若是，则通过第二GPU访问DRAM，以从DRAM中读取目标参数值，以执行后一训练步骤，否则，等待将目标参数值刷写到DRAM中。本申请可以显著降低CPU的介入次数，降低模型训练任务时的通信开销。

【技术实现步骤摘要】

本申请涉及计算机和人工智能领域，尤其涉及一种参数读取方法、装置、计算机存储介质及设备。

技术介绍

1、随着计算机技术的不断发展，人工智能技术已经广泛地应用于诸如无人驾驶、信息推荐、智能客服、语音应答、知识问答等众多领域，极大地加速了相关产业的发展。

2、目前，对于人工智能技术的发展，已经细分出多个技术方向，在这其中，关于人工智能模型训练的这一技术方向，已经逐渐成为热点技术方向之一。在这一技术方向中，主要涉及诸如专用训练设备的研发、训练算法优化、训练参数读取等关键技术问题的解决。

3、训练参数读取，主要是指在人工智能模型训练的过程中对训练所需参数的读取过程进行优化，以提高人工智能模型的训练效率，降低训练开销。而对于人工智能模型训练的具体实现，目前主要通过使用数据中心级gpu(如nvdia a100、nvdia a30、nvdia h100等)，或是使用消费级gpu(如rtx3090、rtx4090等)来执行模型训练任务。

4、但是，当使用消费级gpu来执行模型训练任务时，gpu之间的参数读取则会带来极大的通信开销。具体的，本文档来自技高网...

【技术保护点】

1.一种参数读取方法，其特征在于，所述方法应用于模型训练任务中消费级图形处理器GPU的参数读取，第一GPU执行训练步骤所产生的参数值需要被第二GPU在执行后续训练步骤时读取，包括：

2.如权利要求1所述的方法，其特征在于，在执行所述后一训练步骤之前，判断是否已将所述目标参数值刷写到预设的动态随机存取存储器DRAM中，具体包括：

3.如权利要求2所述的方法，其特征在于，针对所述优先级队列中包含的每个参数值，所述优先级队列中记录有该参数值对应参数键的元数据，该参数键的元数据包括：该参数键，该参数键对应的读集、该参数键对应的写集以及该参数键对应的优先级数值，该参数键用于...

【技术特征摘要】

1.一种参数读取方法，其特征在于，所述方法应用于模型训练任务中消费级图形处理器gpu的参数读取，第一gpu执行训练步骤所产生的参数值需要被第二gpu在执行后续训练步骤时读取，包括：

2.如权利要求1所述的方法，其特征在于，在执行所述后一训练步骤之前，判断是否已将所述目标参数值刷写到预设的动态随机存取存储器dram中，具体包括：

3.如权利要求2所述的方法，其特征在于，针对所述优先级队列中包含的每个参数值，所述优先级队列中记录有该参数值对应参数键的元数据，该参数键的元数据包括：该参数键，该参数键对应的读集、该参数键对应的写集以及该参数键对应的优先级数值，该参数键用于对应执行训练步骤时所要使用的训练样本，该参数键对应的写集中记录有后续使用该参数键对应训练样本的训练步骤的步骤号，若该参数值尚未被刷写到所述dram中，该参数键对应的读集中记录有该参数值；

4.如权利要求3所述的方法，其特征在于，根据所述目标参数值对应的写...

【专利技术属性】
技术研发人员：陆游游，谢旻晖，
申请(专利权)人：清华大学，
类型：发明
国别省市：