一种数据传输方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种数据传输方法、装置、设备及介质。方法包括：获取待传输数据、与所述待传输数据对应的目的内存区域的区域信息；其中，所述目的内存区域是与所述待传输数据对应的目的加速卡的内存区域；通过直接映射区域与所述目的内存区域之间的直接映射关系或所述待传输数据的内存区域与所述目的内存区域之间的页表映射关系，将所述待传输数据传输至所述目的内存区域；解除所述直接映射关系或所述页表映射关系。本发明专利技术实施例可以通过直接映射或页表映射，将AI加速卡中的待传输数据传输至其他AI加速卡的内存区域，对硬件要求较低，提高AI加速卡之间的数据传输过程的稳定性和效率。率。率。

【技术实现步骤摘要】
一种数据传输方法、装置、设备及介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据传输方法、装置、设备及介质。

技术介绍

[0002]电子设备内通常会部署多张人工智能(Artificial Intelligence，AI)加速卡。通过多张AI加速卡来共同完成电子设备的计算任务。在计算任务的执行过程中，将有大量数据在各个AI加速卡之间传输。AI加速卡之间的数据传输过程的稳定性和效率将极大影响计算任务的执行效率。
[0003]相关技术中，常用的数据传输方案为：在各个AI加速卡之间设置专有的通路，使得各个AI加速卡通过专有的通路实现数据直传。相关技术的数据传输方案对硬件要求较高，容易受到硬件支持、现场部署、物理链路损坏等因素的影响，无法保证AI加速卡之间的数据传输过程的稳定性和效率。

技术实现思路

[0004]本专利技术提供了一种数据传输方法、装置、设备及介质，以解决相关技术的数据传输方案对硬件要求较高，容易受到硬件支持、现场部署、物理链路损坏等因素的影响，无法保证AI加速卡之间的数据传输过程的稳定性和效率的问题。
[0005]根据本专利技术的一方面，提供了一种数据传输方法，包括：
[0006]获取待传输数据、与所述待传输数据对应的目的内存区域的区域信息；其中，所述目的内存区域是与所述待传输数据对应的目的加速卡的内存区域；
[0007]通过直接映射区域与所述目的内存区域之间的直接映射关系或所述待传输数据的内存区域与所述目的内存区域之间的页表映射关系，将所述待传输数据传输至所述目的内存区域；
[0008]解除所述直接映射关系或所述页表映射关系。
[0009]根据本专利技术的另一方面，提供了一种数据传输装置，包括：
[0010]数据获取模块，用于获取待传输数据、与所述待传输数据对应的目的内存区域的区域信息；其中，所述目的内存区域是与所述待传输数据对应的目的加速卡的内存区域；
[0011]数据传输模块，用于通过直接映射区域与所述目的内存区域之间的直接映射关系或所述待传输数据的内存区域与所述目的内存区域之间的页表映射关系，将所述待传输数据传输至所述目的内存区域；
[0012]关系解除模块，用于解除所述直接映射关系或所述页表映射关系。
[0013]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0014]至少一个处理器；
[0015]以及与所述至少一个处理器通信连接的存储器；
[0016]其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例
所述的数据传输方法。
[0017]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据传输方法。
[0018]本专利技术实施例的技术方案，通过获取待传输数据、与待传输数据对应的目的内存区域的区域信息；然后通过直接映射区域与目的内存区域之间的直接映射关系或待传输数据的内存区域与目的内存区域之间的页表映射关系，将待传输数据传输至目的内存区域；最后解除直接映射关系或页表映射关系，解决了相关技术的数据传输方案对硬件要求较高，容易受到硬件支持、现场部署、物理链路损坏等因素的影响，无法保证AI加速卡之间的数据传输过程的稳定性和效率的问题，取得了在AI加速卡需要将待传输数据从AI加速卡的内存区域传输至其他AI加速卡的内存区域的情况下，根据其他AI加速卡的内存区域的区域信息，动态地根据直接映射关系或页表映射关系将待传输数据传输至其他AI加速卡的内存区域，从而通过直接映射或页表映射，将待传输数据传输至其他AI加速卡的内存区域，对硬件要求较低，不容易受到硬件支持、现场部署、物理链路损坏等因素的影响，提高AI加速卡之间的数据传输过程的稳定性和效率的有益效果。
[0019]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术实施例一提供的一种数据传输方法的流程图。
[0022]图2为本专利技术实施例二提供的一种数据传输方法的流程图。
[0023]图3为本专利技术实施例三提供的一种数据传输装置的结构示意图。
[0024]图4为实现本专利技术实施例的数据传输方法的电子设备的结构示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0026]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“目标”、“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包含”、“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产
品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027]本专利技术是基于电子设备中已有的高速串行计算机扩展总线标准(Peripheral Component Interconnect Express，PCIE)通道进行电子设备内设置的AI加速卡之间的数据传输。
[0028]实施例一
[0029]图1为本专利技术实施例一提供的一种数据传输方法的流程图。本实施例可适用于电子设备内设置的AI加速卡将数据传输至电子设备内设置的其他AI加速卡，通过多张AI加速卡来共同完成电子设备的计算任务的情况，该方法可以由数据传输装置来执行，该数据传输装置可以采用硬件和/或软件的形式实现，该数据传输装置可配置于电子设备内设置的AI加速卡中。电子设备可以为服务器。如图1所示，该方法包括：
[0030]步骤101、获取待传输数据、与所述待传输数据对应的目的内存区域的区域信息。
[0031]其中，所述目的内存区域是与所述待传输数据对应的目的加速卡的内存区域。
[0032]可选的，待传输数据是AI加速卡中的一项或多项数据。与待传输数据对应的目的加速卡是需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：获取待传输数据、与所述待传输数据对应的目的内存区域的区域信息；其中，所述目的内存区域是与所述待传输数据对应的目的加速卡的内存区域；通过直接映射区域与所述目的内存区域之间的直接映射关系或所述待传输数据的内存区域与所述目的内存区域之间的页表映射关系，将所述待传输数据传输至所述目的内存区域；解除所述直接映射关系或所述页表映射关系。2.根据权利要求1所述的方法，其特征在于，所述通过直接映射区域与所述目的内存区域之间的直接映射关系或所述待传输数据的内存区域与所述目的内存区域之间的页表映射关系，将所述待传输数据传输至所述目的内存区域，包括：检测直接映射区域是否已建立直接映射关系；若所述直接映射区域没有建立直接映射关系，则根据所述区域信息，建立所述直接映射区域与所述目的内存区域之间的直接映射关系，对所述直接映射关系的引用计数加1；根据所述直接映射关系将所述待传输数据传输至所述目的内存区域；在所述待传输数据传输完成后，对所述直接映射关系的引用计数减1。3.根据权利要求2所述的方法，其特征在于，解除所述直接映射关系，包括：判断所述直接映射关系的引用计数是否为0；若所述直接映射关系的引用计数为0，则解除所述直接映射关系；若所述直接映射关系的引用计数不为0，则保留所述直接映射关系。4.根据权利要求2所述的方法，其特征在于，在检测直接映射区域是否已建立直接映射关系之后，还包括：若所述直接映射区域已建立目标直接映射关系，则检测所述目标直接映射关系中的目的区域是否包含所述目的内存区域；若所述目标直接映射关系中的目的区域包含所述目的内存区域，则对所述目标直接映射关系的引用计数加1；根据所述目标直接映射关系将所述待传输数据传输至所述目的内存区域；在所述待传输数据传输完成后，对所述目标直接映射关系的引用计数减1。5.根据权利要求4所述的方法，其特征在于，解...

【专利技术属性】
技术研发人员：胡淮，罗安，张亚林，丁圣阁，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：