深度学习模型的通信优化方法及装置、存储介质制造方法及图纸

本申请实施例提供了一种深度学习模型的通信优化方法及装置、存储介质，方法包括：对深度学习模型进行切分，得到位于第一通信节点下的第一子模型和位于第二通信节点下的第二子模型；在第一通信节点下，根据稀疏化比例参数和第一子模型传输的前向数据，计算前向数据的稀疏化阈值，并且根据稀疏化阈值和稀疏化比例参数对前向数据进行压缩，得到中间数据；在第二通信节点下，根据量化参数对中间数据进行解压缩，得到后向数据；向第二子模型传输后向数据以进行训练。本申请实施例中，两个子模型所处的两个通信节点之间采用低带宽网络连接，整个通信过程的负载消耗能够得到限制，从而能够在保持深度学习模型的训练精度的前提下，有效地降低通信负载。地降低通信负载。地降低通信负载。

【技术实现步骤摘要】
深度学习模型的通信优化方法及装置、存储介质


[0001]本申请涉及人工智能
，尤其涉及一种深度学习模型的通信优化方法及装置、计算机可读存储介质。

技术介绍

[0002]目前，深度学习模型的训练往往需要利用高性能计算设备，单个计算设备能够提供的资源通常是有限的。随着深度学习模型的参数规模朝着越来越大的趋势发展，所需要的算力资源也越来越多，很多模型都已经无法在单个计算设备上完成训练，这时，必须将模型拆分为多个部分，将每个部分分别部署在不同的计算设备上进行训练，这个过程中，计算设备之间的通信问题是面临的重要挑战。许多情况下，单一算力中心的资源可能无法满足较大模型的训练需求，此时如果需要利用多个跨域的算力中心的计算设备，常常只能依赖于公共网络进行跨域互联，在这种低带宽环境下，通信时长会达到计算时长的数倍，严重制约着深度学习模型的训练效率。目前，通用的分布式训练压缩方案应用在数据并行场景，通过对模型的整体梯度进行压缩以降低通信负载，操作相对复杂，训练精度无法保证。因此，如何在保持深度学习模型的训练精度的前提下，有效地降低通信负载，成为了亟待解决的技术问题。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种深度学习模型的通信优化方法及装置、计算机可读存储介质，旨在保持深度学习模型的训练精度的前提下，有效地降低通信负载。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种深度学习模型的通信优化方法，包括：
[0005]对所述深度学习模型进行切分，得到位于第一通信节点下的第一子模型和位于第二通信节点下的第二子模型，其中，所述第一通信节点和所述第二通信节点采用低带宽网络连接；
[0006]在所述第一通信节点下，根据预配置的稀疏化比例参数和所述第一子模型传输的前向数据，计算所述前向数据的稀疏化阈值，并且根据所述稀疏化阈值和所述稀疏化比例参数对所述前向数据进行压缩，得到中间数据；
[0007]将所述中间数据从所述第一通信节点传输至所述第二通信节点；
[0008]在所述第二通信节点下，根据预配置的量化参数对所述中间数据进行解压缩，得到后向数据；
[0009]向所述第二子模型传输所述后向数据，使得所述第二子模型根据所述后向数据进行训练。
[0010]在一些实施例中，所述对所述深度学习模型进行切分，包括：
[0011]获取所述深度学习模型的通信数据分布，并确定所述深度学习模型的数据输入架构；
[0012]根据所述通信数据分布和所述数据输入架构对所述深度学习模型进行切分。
[0013]在一些实施例中，所述前向数据包括数据批处理参数、序列长度以及隐藏层维度；所述根据预配置的稀疏化比例参数和所述第一子模型传输的前向数据，计算所述前向数据的稀疏化阈值，包括：
[0014]根据所述数据批处理参数、所述序列长度以及所述隐藏层维度构建第一矩阵，并获取所述第一矩阵的总数据量；
[0015]将所述稀疏化比例参数与所述第一矩阵的总数据量相乘并向下取整，得到大小为N的选择参数；
[0016]对所述第一矩阵中的各个元素按照绝对值由小到大的顺序进行排序得到第一序列；
[0017]从所述第一序列中，按序选择第N个的所述元素作为所述前向数据的稀疏化阈值。
[0018]在一些实施例中，所述根据所述稀疏化阈值和所述稀疏化比例参数对所述前向数据进行压缩，得到中间数据，包括：
[0019]根据所述第一矩阵构建第二矩阵和第一量化列表，其中，所述第二矩阵对应于所述前向数据，所述第一量化列表中的各个元素为空；
[0020]遍历所述第一矩阵中的各个元素，在遍历的过程中，当一个所述元素的绝对值大于所述稀疏化阈值，将所述第二矩阵中的对应元素的取值配置为第一预设值，将所述第一预设值添加到所述第一量化列表中，或者，当一个所述元素的绝对值不大于所述稀疏化阈值，将所述第二矩阵中的对应元素的取值配置为第二预设值；
[0021]根据所述第二矩阵、所述第一量化列表以及所述稀疏化比例参数，对所述前向数据进行压缩，得到中间数据。
[0022]在一些实施例中，所述根据所述第二矩阵、所述第一量化列表以及所述稀疏化比例参数，对所述前向数据进行压缩，得到中间数据，包括：
[0023]根据所述第二矩阵的比特数、所述第一量化列表的比特数以及所述稀疏化比例参数，计算得到压缩率；
[0024]按照所述压缩率对所述前向数据进行压缩，得到中间数据。
[0025]在一些实施例中，所述量化参数包括量化上界和量化位数，所述根据预配置的量化参数对所述中间数据进行解压缩，得到后向数据，包括：
[0026]根据所述量化上界、所述量化位数和所述稀疏化阈值生成第一量化策略；
[0027]根据所述第一量化策略逐一地对所述第一量化列表中的每个元素进行替换，形成第二量化列表；
[0028]对所述第二量化列表进行再替换处理，得到第三量化列表；
[0029]根据所述第二矩阵和所述第三量化列表生成第三矩阵，并通过所述第三矩阵对所述中间数据进行解压缩，得到后向数据。
[0030]在一些实施例中，所述对所述第二量化列表进行再替换处理，得到第三量化列表，包括：
[0031]根据所述量化上界、所述稀疏化阈值和所述量化位数生成第二量化策略；
[0032]根据所述第二量化策略逐一地对所述第二量化列表中的每个元素进行替换，形成第三量化列表。
[0033]在一些实施例中，所述根据所述第二矩阵和所述第三量化列表生成第三矩阵，包括：
[0034]遍历所述第二矩阵中的各个元素，从所有所述元素中筛选得到目标元素，其中，所述目标元素为取值配置为第一预设值的所述元素；
[0035]按照所述第三量化列表中的元素排序，依次将各个所述目标元素对应替换为所述第三量化列表中的各个所述元素，得到第三矩阵。
[0036]为实现上述目的，本申请实施例的第二方面提出了一种深度学习模型的通信优化装置，包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器；所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述第一方面所述的深度学习模型的通信优化方法。
[0037]为实现上述目的，本申请实施例的第三方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述第一方面所述的深度学习模型的通信优化方法。
[0038]本申请提出的深度学习模型的通信优化方法及装置、存储介质,在第一通信节点下，通过对拆分得到的第一子模型和第二子模型之间的中间层数据，即基于预配置的稀疏化比例参数对第一子模型传输的前向数据进行压缩而得到中间数据，也即无需对模型的整体梯度进行压缩，整体操作更加简便，进而在第二通信节点下，根据预配置的量化参数对中间数据进行解压缩，得到后向数据，从而向第二子模型传输该后向数据，使得深度学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型的通信优化方法，其特征在于，包括：对所述深度学习模型进行切分，得到位于第一通信节点下的第一子模型和位于第二通信节点下的第二子模型，其中，所述第一通信节点和所述第二通信节点采用低带宽网络连接；在所述第一通信节点下，根据预配置的稀疏化比例参数和所述第一子模型传输的前向数据，计算所述前向数据的稀疏化阈值，并且根据所述稀疏化阈值和所述稀疏化比例参数对所述前向数据进行压缩，得到中间数据；将所述中间数据从所述第一通信节点传输至所述第二通信节点；在所述第二通信节点下，根据预配置的量化参数对所述中间数据进行解压缩，得到后向数据；向所述第二子模型传输所述后向数据，使得所述第二子模型根据所述后向数据进行训练。2.根据权利要求1所述的深度学习模型的通信优化方法，其特征在于，所述对所述深度学习模型进行切分，包括：获取所述深度学习模型的通信数据分布，并确定所述深度学习模型的数据输入架构；根据所述通信数据分布和所述数据输入架构对所述深度学习模型进行切分。3.根据权利要求1所述的深度学习模型的通信优化方法，其特征在于，所述前向数据包括数据批处理参数、序列长度以及隐藏层维度；所述根据预配置的稀疏化比例参数和所述第一子模型传输的前向数据，计算所述前向数据的稀疏化阈值，包括：根据所述数据批处理参数、所述序列长度以及所述隐藏层维度构建第一矩阵，并获取所述第一矩阵的总数据量；将所述稀疏化比例参数与所述第一矩阵的总数据量相乘并向下取整，得到大小为N的选择参数，N为正整数；对所述第一矩阵中的各个元素按照绝对值由小到大的顺序进行排序得到第一序列；从所述第一序列中，按序选择第N个的所述元素作为所述前向数据的稀疏化阈值。4.根据权利要求3所述的深度学习模型的通信优化方法，其特征在于，所述根据所述稀疏化阈值和所述稀疏化比例参数对所述前向数据进行压缩，得到中间数据，包括：根据所述第一矩阵构建第二矩阵和第一量化列表，其中，所述第二矩阵对应于所述前向数据，所述第一量化列表中的各个元素为空；遍历所述第一矩阵中的各个元素，在遍历的过程中，当一个所述元素的绝对值大于所述稀疏化阈值，将所述第二矩阵中的对应元素的取值配置为第一预设值，将所述第一预设值添加到所述第一量化列表中，或者，当一个所述元素的绝对值不大于所述稀疏化阈值，将所述第二矩阵中的对应元素的取值配置为第二预设值；根据所述第二矩阵、所述...

【专利技术属性】
技术研发人员：杨卿，相洋，侯永帅，余跃，王晖，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：