数据传输方法、装置、系统、设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据传输方法、装置、系统、设备及存储介质，应用于第一网络设备，第一网络设备与第二网络设备通信连接，该方法包括：获取待传输数据及待传输数据的初始数据精度，在待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将待传输数据的初始数据精度转换为传输数据精度，发送转换为传输数据精度的待传输数据至第二网络设备。本发明专利技术通过集成智能网卡类通讯设备之间进行数据传输时，实时降低数据精度，当接收数据后恢复数据精度，实现网络传输数据精度的实时转换，从而有效降低数据传输过程中的网络通讯量，提高通讯效率，进一步提高数据处理效率。处理效率。处理效率。

【技术实现步骤摘要】
数据传输方法、装置、系统、设备及存储介质


[0001]本专利技术涉及网络通信
，特别是涉及一种数据传输方法、装置、系统、设备及存储介质。

技术介绍

[0002]近年来，人工智能发展出超大规模智能模型(简称“大模型”)，其泛化能力强，利用少量数据进行微调或不进行微调就能完成多个场景的任务，可以显著解决小模型研发过程中存在的问题。
[0003]随着AI模型逐渐向大规模训练数据、大模型训练等方向发展，分布式训练相关技术再次受到普遍关注，通过分布式训练能够训练超大模型，加速训练过程，减少耗时。然而，面对千亿、万亿参数规模的大模型训练，仅仅是单次计算迭代内梯度同步需要的通信量就达到了百GB量级，此外还有各种并行模式、加速框架引入的通信需求，使得传统低速网络的带宽远远无法支撑GPU集群的多计算结点间数据通讯，数据通讯占用太多带宽，降低数据传输的速度，进一步影响模型训练的数据处理效率，因此，各计算节点间通讯速度及效率成为模型训练最大的瓶颈。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种数据传输方法、装置、系统、设备及存储介质，解决现有多计算结点间数据通讯占用带宽较多影响数据处理效率的问题，以实现高效数据传输，具体技术方案如下：
[0005]在本专利技术实施的第一方面，首先提供了一种数据传输方法，应用于第一网络设备，所述第一网络设备与第二网络设备通信连接，所述方法包括：
[0006]获取待传输数据及所述待传输数据的初始数据精度；
[0007]在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度；
[0008]发送转换为传输数据精度的待传输数据至所述第二网络设备。
[0009]可选地，所述获取待传输数据及所述待传输数据的初始数据精度之后，还包括：
[0010]获取所述第二网络设备的传输数据精度，其中，所述第二网络设备的传输数据精度小于所述初始数据精度；
[0011]判断所述待传输数据的初始数据精度与所述传输数据精度是否一致；
[0012]在所述待传输数据的初始数据精度与所述传输数据精度一致的情况下，发送所述待传输数据至所述第二网络设备。
[0013]可选地，所述在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度，包括：
[0014]在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，判断预设转
换因子是否大于预设缩放阈值；
[0015]若所述预设转换因子小于预设缩放阈值，更新所述预设转换因子，以使更新后的预设转换因子大于所述预设缩放阈值；
[0016]根据所述预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度。
[0017]在本专利技术实施的第二方面，还提供了一种数据传输方法，应用于第二网络设备，所述第二网络设备与第一网络设备通信连接，所述方法包括：
[0018]接收所述第一网络设备发送的传输数据精度的待传输数据；
[0019]在所述待传输数据的传输数据精度与初始数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的传输数据精度恢复为所述初始数据精度。
[0020]可选地，所述接收所述第一网络设备发送的传输数据精度的待传输数据之后，还包括：
[0021]获取所述第二网络设备的初始数据精度，其中，所述第二网络设备的初始数据精度大于所述传输数据精度；
[0022]判断所述待传输数据的传输数据精度与所述初始数据精度是否一致；
[0023]在所述待传输数据的传输数据精度与所述初始数据精度一致的情况下，对所述待传输数据进行处理。
[0024]在本专利技术实施的第三方面，还提供了一种数据传输装置，应用于第一网络设备，所述第一网络设备与第二网络设备通信连接，所述装置包括：
[0025]获取数据模块，用于获取待传输数据及所述待传输数据的初始数据精度；
[0026]数据转换模块，用于在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度；
[0027]发送数据模块，用于发送转换为传输数据精度的待传输数据至所述第二网络设备。
[0028]在本专利技术实施的第四方面，还提供了一种数据传输装置，应用于第二网络设备，所述第二网络设备与第一网络设备通信连接，所述装置包括：
[0029]接收数据模块，用于接收所述第一网络设备发送的传输数据精度的待传输数据；
[0030]数据恢复模块，用于在所述待传输数据的传输数据精度与初始数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的传输数据精度恢复为所述初始数据精度。
[0031]在本专利技术实施的第五方面，还提供了一种数据传输系统，包括第一网络设备和第二网络设备，所述第一网络设备与所述第二网络设备通信连接，所述系统包括：
[0032]所述第一网络设备，用于获取待传输数据及所述待传输数据的初始数据精度，在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度，发送转换为传输数据精度的待传输数据至所述第二网络设备；
[0033]所述第二网络设备，用于接收所述第一网络设备发送的传输数据精度的待传输数据，在所述待传输数据的传输数据精度与初始数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的传输数据精度恢复为所述初始数据精度。
[0034]在本专利技术实施的又一方面，还提供了一种通信设备，包括：收发机、存储器、处理器
及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现执行上述任一所述的数据传输方法。
[0035]在本专利技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的数据传输方法。
[0036]本专利技术实施例提供的数据传输方法，通过获取待传输数据及待传输数据的初始数据精度，在待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将待传输数据的初始数据精度转换为传输数据精度，发送转换为传输数据精度的待传输数据至第二网络设备。本专利技术通过集成智能网卡类通讯设备之间进行数据传输时，实时降低数据精度，当接收数据后恢复数据精度，实现网络传输数据精度的实时转换，从而有效降低数据传输过程中的网络通讯量，提高通讯效率，通过降低数据传输的精度，实现占用更少的内存和更少的内存带宽，加快数据传输速度，进一步提高数据处理效率。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0038]图1为本专利技术实施例提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于第一网络设备，所述第一网络设备与第二网络设备通信连接，所述方法包括：获取待传输数据及所述待传输数据的初始数据精度；在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度；发送转换为传输数据精度的待传输数据至所述第二网络设备。2.根据权利要求1所述的方法，其特征在于，所述获取待传输数据及所述待传输数据的初始数据精度之后，还包括：获取所述第二网络设备的传输数据精度，其中，所述第二网络设备的传输数据精度小于所述初始数据精度；判断所述待传输数据的初始数据精度与所述传输数据精度是否一致；在所述待传输数据的初始数据精度与所述传输数据精度一致的情况下，发送所述待传输数据至所述第二网络设备。3.根据权利要求1所述的方法，其特征在于，所述在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度，包括：在所述待传输数据的初始数据精度与传输数据精度不一致的情况下，判断预设转换因子是否大于预设缩放阈值；若所述预设转换因子小于预设缩放阈值，更新所述预设转换因子，以使更新后的预设转换因子大于所述预设缩放阈值；根据所述预设转换因子，将所述待传输数据的初始数据精度转换为所述传输数据精度。4.一种数据传输方法，其特征在于，应用于第二网络设备，所述第二网络设备与第一网络设备通信连接，所述方法包括：接收所述第一网络设备发送的传输数据精度的待传输数据；在所述待传输数据的传输数据精度与初始数据精度不一致的情况下，根据预设转换因子，将所述待传输数据的传输数据精度恢复为所述初始数据精度。5.根据权利要求4所述的方法，其特征在于，所述接收所述第一网络设备发送的传输数据精度的待传输数据之后，还包括：获取所述第二网络设备的初始数据精度，其中，所述第二网络设备的初始数据精度大于所述传输数据精度；判断所述待传输数据的传输数据精度与所述初始数据精度是否一致；在所述待传输数据的传输数据精度与所述初始数据精度一致的情况下，对所述待传输数据进行处理。6.一种数据传输装置，其特征在于，应用于第...

【专利技术属性】
技术研发人员：戴钰桀，黄宬，朱克峰，黄伟，王彦伟，阚宏伟，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：