基于内存池的智能计算系统架构和并行训练方法技术方案

本申请涉及一种基于内存池的智能计算系统架构和并行训练方法，其中智能计算系统架构支持高速互联网络协议，包括：访问设备、适配器以及交换机；访问设备包括并行设备和存储设备；适配器用于将访问设备接入交换机，以在访问设备之间构建内存池进行内存共享；并行设备从内存池中读取训练集数据，对待训练模型进行并行训练，并将训练得到的模型梯度写入内存池；在内存池中加载存储设备的训练集数据，并基于模型梯度对待训练模型进行参数更新，通过在并行设备和存储设备之间构建内存池，在内存池中进行数据读取，以及待训练模型的参数更新，无需在每轮训练中对存储设备进行数据访问，解决了在并行训练中频繁的数据读取影响训练效率的问题。练效率的问题。练效率的问题。

【技术实现步骤摘要】
基于内存池的智能计算系统架构和并行训练方法


[0001]本申请涉及深度学习
，特别是涉及一种基于内存池的智能计算系统架构和并行训练方法。

技术介绍

[0002]近年来人工智能领域快速发展，深度学习训练的计算量逐年大幅增长，同时数据集规模和网络层数的扩增，也导致深度学习的训练过程需要耗费大量的存储和计算资源。为了减少深度学习训练的时间，近年来以分布式计算为主的加速方法被广泛应用在深度学习中，分布式训练包括数据并行、模型并行以及流水线并行等模式。
[0003]在数据并行方式下进行并行训练时，将训练数据集分为多份，每个服务器节点上保存完整的模型副本，可以独立且并行地处理多份数据来加速模型训练。但是在数据并行训练中，每一轮训练都需要从存储设备读取不同的数据（比如训练数据集），还需要将读取的数据复制到处理器进行并行训练，其中涉及服务器间的通信，这样频繁的数据读取会影响训练效率。
[0004]针对相关技术中并行训练中频繁的数据读取影响训练效率的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种基于内存池的智能计算系统架构和并行训练方法，以解决相关技术中并行训练中频繁的数据读取影响训练效率的问题。
[0006]第一个方面，在本实施例中提供了一种基于内存池的智能计算系统架构，支持高速互联网络协议，包括：访问设备、适配器以及交换机；所述访问设备包括并行设备和存储设备；所述适配器用于将所述访问设备接入所述交换机，以在所述访问设备之间构建内存池进行内存共享；所述并行设备从所述内存池中读取训练集数据，对待训练模型进行并行训练，并将训练得到的模型梯度写入所述内存池；在所述内存池中加载所述存储设备的训练集数据，并基于所述模型梯度对所述待训练模型进行参数更新。
[0007]在其中的一些实施例中，所述并行设备为中央处理器和/或加速器。
[0008]在其中的一些实施例中，所述适配器包括请求适配器和响应适配器；所述并行设备通过所述请求适配器接入所述交换机；所述存储设备通过所述响应适配器接入所述交换机；所述并行设备和所述存储设备通过所述交换机进行数据传输。
[0009]在其中的一些实施例中，所述请求适配器包括依次连接的桥接器、请求转换器、第一链路层以及第一物理层；
其中，所述并行设备连接所述桥接器，向所述请求转换器发送请求；通过所述第一链路层向所述存储设备发送请求数据包和接收响应数据包；所述响应适配器包括依次连接的内存控制器、响应转换器、第二链路层以及第二物理层；其中，所述响应转换器接收所述第二链路层传输的所述请求数据包，并发送到所述内存控制器；所述内存控制器连接所述存储设备，基于所述请求数据包对所述存储设备进行读写，以及将所述响应数据包通过所述第二链路层传输到所述并行设备；所述第一物理层和所述第二物理层用于为所述第一链路层和所述第二链路层提供物理连接。
[0010]在其中的一些实施例中，所述交换机用于在所述第一链路层和所述第二链路层之间进行数据包交换。
[0011]第二个方面，在本实施例中提供了一种并行训练方法，应用于第一个方面所述的基于内存池的智能计算系统架构中的并行设备；所述方法包括：预先获取待训练模型，并从内存池中读取训练集数据；基于所述训练集数据，训练所述待训练模型得到模型梯度，并将所述模型梯度写入所述内存池；基于所述内存池中的所述模型梯度，更新所述待训练模型，得到所述待训练模型更新后的模型参数。
[0012]在其中的一些实施例中，所述从内存池中读取训练集数据，包括：基于随机序列，从所述内存池中并行读取经过划分的所述训练集数据。
[0013]在其中的一些实施例中，所述基于所述训练集数据，训练所述待训练模型得到模型梯度，并将所述模型梯度写入所述内存池，包括：输入所述训练集数据，通过前向传播经过所述待训练模型的各层级，得到误差损失；基于所述误差损失，通过反向传播得到所述模型梯度，并将所述模型梯度并行写入所述内存池。
[0014]在其中的一些实施例中，所述基于所述内存池中的所述模型梯度，更新所述待训练模型，得到所述待训练模型更新后的模型参数，包括：读取所述内存池中将所述模型梯度经过梯度规约处理得到的规约梯度；基于所述规约梯度对所述待训练模型进行参数更新，得到更新后的模型参数。
[0015]第三个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第二个方面所述的并行训练方法。
[0016]与相关技术相比，在本实施例中提供的基于内存池的智能计算系统架构和并行训练方法，其中智能计算系统架构支持高速互联网络协议，包括：访问设备、适配器以及交换机；所述访问设备包括并行设备和存储设备；所述适配器用于将所述访问设备接入所述交换机，以在所述访问设备之间构建内存池进行内存共享；所述并行设备从所述内存池中读取训练集数据，对待训练模型进行并行训练，并将训练得到的模型梯度写入所述内存池；在所述内存池中加载所述存储设备的训练集数据，并基于所述模型梯度对所述待训练模型进行参数更新。该智能计算系统架构能够通过高速互联网络协议，在并行设备和存储设备之
间构建内存池，通过在内存池进行数据读取，以及在内存池中进行待训练模型的参数更新，实现了在每轮训练中无需对存储设备进行数据访问，并且减少了服务器间的通信的效果，解决了在并行训练中频繁的数据读取影响训练效率的问题。
[0017]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是一个实施例中基于内存池的智能计算系统架构的示意图；图2是一个实施例中基于内存池的智能计算系统架构的分层示意图；图3是一个实施例中并行训练方法的流程图；图4是一个实施例中每轮训练中更新待训练模型的模型参数的示意图；图5是一个优选实施例中基于内存池的智能计算系统架构的示意图；图6是一个优选实施例中并行训练方法的流程图。
具体实施方式
[0019]为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
[0020]除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属
具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内存池的智能计算系统架构，其特征在于，支持高速互联网络协议，包括：访问设备、适配器以及交换机；所述访问设备包括并行设备和存储设备；所述适配器用于将所述访问设备接入所述交换机，以在所述访问设备之间构建内存池进行内存共享；所述并行设备从所述内存池中读取训练集数据，对待训练模型进行并行训练，并将训练得到的模型梯度写入所述内存池；在所述内存池中加载所述存储设备的训练集数据，并基于所述模型梯度对所述待训练模型进行参数更新。2.根据权利要求1所述的基于内存池的智能计算系统架构，其特征在于，所述并行设备为中央处理器和/或加速器。3.根据权利要求1所述的基于内存池的智能计算系统架构，其特征在于，所述适配器包括请求适配器和响应适配器；所述并行设备通过所述请求适配器接入所述交换机；所述存储设备通过所述响应适配器接入所述交换机；所述并行设备和所述存储设备通过所述交换机进行数据传输。4.根据权利要求3所述的基于内存池的智能计算系统架构，其特征在于，所述请求适配器包括依次连接的桥接器、请求转换器、第一链路层以及第一物理层；其中，所述并行设备连接所述桥接器，向所述请求转换器发送请求；通过所述第一链路层向所述存储设备发送请求数据包和接收响应数据包；所述响应适配器包括依次连接的内存控制器、响应转换器、第二链路层以及第二物理层；其中，所述响应转换器接收所述第二链路层传输的所述请求数据包，并发送到所述内存控制器；所述内存控制器连接所述存储设备，基于所述请求数据包对所述存储设备进行读写，以及将所述响应数据包通过所述第二链路层传输到所述并行设备；所述第一物理层和所述第二物理层用于为所述第一链路层和所述第二链路层...

【专利技术属性】
技术研发人员：唐雪飞，秦亦，赖彦名，
申请(专利权)人：之江实验室，
类型：发明
国别省市：