基于联邦学习的数据传输优化方法、设备及可读存储介质技术

本申请公开了一种基于联邦学习的数据传输优化方法、设备及可读存储介质，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。本申请解决了联邦学习异构框架中不同类型硬件设备进行数据传输时兼容性差的技术问题。

【技术实现步骤摘要】
基于联邦学习的数据传输优化方法、设备及可读存储介质
本申请涉及通信
，尤其涉及一种基于联邦学习的数据传输优化方法、设备及可读存储介质。
技术介绍
随着计算机技术的不断发展，通信技术的发展也越来越快，目前，在进行数据传输时，通常是由数据发送方的CPU设备直接发送至数据接收方的CPU设备执行计算任务，在联邦学习场景中，由于数据通常为数据位宽极大的密态数据，CPU设备的算力往往无法满足联邦学习的要求，进而联邦学习的各参与方通常具备各自的硬件加速方案，例如，基于GPU硬件的并行加速计算方案和基于FPGA硬件的并行加速计算方案等，进而在联邦学习异构框架中，各参与方的不同类型硬件设备进行数据传输时的兼容性较差。
技术实现思路
本申请的主要目的在于提供一种基于联邦学习的数据传输优化方法、设备及可读存储介质，旨在解决现有技术中联邦学习异构框架中不同类型硬件设备进行数据传输时兼容性差的技术问题。为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流；接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据；将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第一设备，所述基于联邦学习的数据传输优化装置包括：转换模块，用于获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；发送模块，用于将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第二设备，所述基于联邦学习的数据传输优化装置包括：反序列化模块，用于接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；转换模块，用于获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；内存拷贝模块，用于将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第一设备，所述基于联邦学习的数据传输优化装置包括：接收模块，用于接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；转换模块，用于基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；发送模块，用于将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第二设备，所述基于联邦学习的数据传输优化装置包括：发送模块，用于获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流；转换模块，用于接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据；内存拷贝模块，用于将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。本申请还提供一种基于联邦学习的数据传输优化设备，所述基于联邦学习的数据传输优化设备为实体设备，所述基于联邦学习的数据传输优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于联邦学习的数据传输优化方法的程序，所述基于联邦学习的数据传输优化方法的程序被处理器执行时可实现如上述的基于联邦学习的数据传输优化方法的步骤。本申请还提供一种可读存储介质，所述可读存储介质上存储有实现基于联邦学习的数据传输优化方法的程序，所述基于联邦学习的数据传输优化方法的程序被处理器执行时实现如上述的基于联邦学习的数据传输优化方法的步骤。本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于联邦学习的数据传输优化方法的步骤。本申请提供了一种基于联邦学习的数据传输优化方法、设备及可读存储介质，相比于现有技术采用的由数据发送方的CPU设备直接发送至数据接收方的CPU设备执行计算任务的技术手段，本申请首先获取待传输本文档来自技高网...

【技术保护点】
1.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：/n获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；/n将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。/n

【技术特征摘要】
1.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：
获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；
将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。


2.如权利要求1所述基于联邦学习的数据传输优化方法，其特征在于，所述将所述待传输数据转换为携带第一硬件设备信息的待传输比特流的步骤包括：
在预设应用层中对所述第一硬件设备信息进行序列化，获得第一序列化数据；
对所述待传输数据进行第二次序列化，获得第二序列化数据；
将所述第一序列化数据和所述第二序列化数据进行拼接，获得所述携带第一硬件设备信息的待传输比特流。


3.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：
接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；
获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；
将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。


4.如权利要求3所述基于联邦学习的数据传输优化方法，其特征在于，所述基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据的步骤包括：
基于所述第一硬件设备信息和所述第二硬件设备信息，确定反序列化函数信息；
通过调用所述反序列函数信息对应的目标反序列化函数，对所述待转换比特流进行第二次反序列化，获得所述目标格式数据。


5.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：
接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；
基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；
将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所...

【专利技术属性】
技术研发人员：胡水海，苏霖锋，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：广东;44