一种基于数据并行可信分布式神经网络加速器架构构建方法技术

一种基于数据并行可信分布式神经网络加速器架构构建方法

【技术实现步骤摘要】
一种基于数据并行可信分布式神经网络加速器架构构建方法


[0001]本专利技术涉及计算机科学
，特别涉及人工智能神经网络加速器领域
。

技术介绍

[0002]随着技术扩展的放缓，计算系统越来越依赖于硬件加速器来提高性能和能源效率
。
例如，现代机器学习
(ML)
模型，如深度神经网络
(DNNs)
，通常是相当计算密集型的，并且越来越多地在硬件加速器上运行
。
同样，硬件加速器被广泛应用于其他计算密集型的工作负载，如视频解码
、
信号处理
、
加密操作
、
基因组组装等
。
[0003]同时，随着训练数据的增多，神经网络模型的规模也随之增大，单个加速器已经难以支持大模型的训练和推理，基于多机多卡的分布式训练模式已经广为应用
。
具体来说，目前包含流水线并行
、
数据并行
、
张量并行等并行策略
。
流水线并行将模型按序列划分为多个部分，每个加速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于数据并行可信分布式神经网络加速器架构构建方法，其特征在于，包括以下步骤：构建主机节点步骤，用于对多个神经网络加速器节点进行远程认证
、
控制和数据分发；构建动态随机存取内存步骤；构建所述多个神经网络加速器节点步骤，进一步包括：构建控制处理器步骤；构建计算单元步骤；构建内存控制器步骤，用于提供数据可信保护，其中，又包括：在片上构建分布式大模型的全局版本号结构；利用不使用数据地址的方式对数据进行加密
、
解密
、
完整性保护生成和完整性保护验证；所述加密
、
解密
、
完整性保护生成和完整性保护验证以神经网络层的张量为粒度进行通信
。2.
如权利要求1所述的方法，其特征在于，所述对多个神经网络加速器节点进行远程认证的步骤进一步包括：步骤
S11
：主机节点向所述神经网络加速器节点请求远程认证并建立可信通信通道；步骤
S12
：神经网络加速器节点根据片上信任根生成报告，并发送给主机节点；步骤
S13
：主机节点根据生产商提供信息对所述报告进行可信性验证；步骤
S14
：主机节点向神经网络加速器节点分配全局加速器编号和应用密钥，完成远程认证
。3.
如权利要求2所述的方法，其特征在于，所述提供数据可信保护包括对神经网络加速器节点内和对神经网络加速器节点间的数据可信保护
。4.
如权利要求1或3所述的方法，其特征在于，所述在片上构建分布式大模型的全局版本号结构的步骤包括：构建片上根状态结构；在片上根状态中设置全局版本号结构，包括：节点内张量字典，进一步包括：第一张量版本号；层号；其他节点最大版本号数组，进一步包括：第一节点编号；最大版本号；节点间张量字典，进一步包括：张量地址；第二张量版本号；第二节点编号
。5.
如权利要求4所述的方法，其特征在于，所述第一张量版本号和所述第二张量版本号在各自对应的神经网络加速器节点内是全局递增
、
不重复的
。6.
如权利要求4所述的方法，其特征在于，所述不使用地址方式对数据进行加密
、
解密
、
完整性保护生成和完整性保护验证的步骤是通过全局版本号进行的
。7.
如权利要求6所述的方法，其特征在于，所述通过全局版本号进行加密
、
解密
、
完整性保护生成和完整性保护验证步骤还包括：步骤
S61
：构建加解密引擎，用于保证数据传输过程中的加密
、
解密
、
完整性保护生成和完整性保护验证，包括：步骤
S62
：构建加解密模块；步骤
S63
：构建哈希模块；步骤
S64
：构建通信验证引擎，用于保证神经网络加速器节点间可信传输
。8.
如权利要求7所述的方法，其特征在于，所述通过全局版本号进行加密
、
解密是通过分组加密方式进行的，包括：
AES
‑
CTR
方式
。9.
如权利要求8所述的方法，其特征在于，所述通过全局版本号进行加密的步骤进一步包括：步骤
S811
：将第一数据，第二数据，第三数据组合后得到数据块标识；步骤
S812
：加解密模块对所述数据块标识进行加密，得到密文；步骤
S813
：将密文和明文进行异或操作得到密文数据
。10.
如权利要求9所述的方法，其特征在于，所述通过全局版本号进行解密的步骤进一步包括：步骤
S821
：将第一数据，第二数据，第三数据组合后得到数据块标识；步骤
S822
：加解密模块对所述数据块标识进行加密，得到密文；步骤
S823
：将密文数据和数据块标识进行异或操作得到明文
。11.
如权利要求
10
所述的方法，其特征在于，所述对神经网络加速器节点内进行加密和解密的步骤进一步包括：所述第一数据为当前节点编号；所述第二数据为第一张量版本号；所述第三数据为块序号
。12.
如权利要求
10
所述的方法，其特征在于，所述对神经网络加速器节点间进行加密和解密的步骤进一步包括：所述第一数据为第二节点编号；所述第二数据为第二张量版本号；所述第三数据为块序号
。13.
如权利要求7所述的方法，其特征在于，所述通过全局版本号进行完整性保护生成的步骤进一步包括：步骤
S831
：通过所述哈希模块对每个数据块的密文做哈希；步骤
S832
：将哈希后结果与对应密文做异或操作得到每个数据块的消息验证码；步骤
S833
：对每个数据块的消息验证码进行异或得到张量的消息验证码，并存入存入动态随机存取内存
。14.
如权利要求
13
所述的方法，其特征在于，所述通过全局版本号进行完整性保护验证的步骤进一步包括：步骤
S841
：根据解密步骤中得到的数据块密文计算每个数据块的消息验证码；
步骤
S842
：对每个数据块的消息验证码进行异或得到张量的消息验证码；步骤
S843
：将张量的消息验证码和动态随机存取内存中的张量的消息验证码进行比较；步骤
S844
：比较结果一致通过完整性保护验证
。15.
如权利要求7所述的方法，其特征在于，所述保证神经网络加速器节点间可信传输的步骤进一步包括：步骤
S641
：在神经网络加速器节点间片上可信传输；步骤
S642
：在神经网络加速器节点间片外可信传输；步骤
S643
：进行防重放攻击验证；步骤
S644
：设置传输过程中的张量数据权限
。16.

【专利技术属性】
技术研发人员：胡杏，韩虎生，党朴成，宋新开，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：